用spss怎么找出离群值和异常值

第一步：异常值检测

异常值的检验有很多种方法，最常见的是图示法，也有使用分析方法进行探索，如下说明。

箱盒图：实验研究时经常使用，非常直观的展示出异常数据；

散点图：研究X和Y的关系时，可直观展示查看是否有异常数据；

描述分析：可通过最大最小值等各类指标大致判断数据是否有异常；

其它：比如结合正态分布图，频数分析等判断是否有异常值。

02

第二步：异常值判定

上述已经说明异常值会带来严重的影响，扭曲数据结论等。那么首先需要设定异常值的标准，然后再对其进行处理。异常值的判定标准并不统一，更多是通过人为标准进行设定，SPSSAU提供以下几类判定规则：

缺失数字

小于设定标准的数字

大于设定标准的数字

大于3个标准差

03

第三步：异常值处理

完成异常值的判定之后，接着需要进行处理；SPSSAU提供两类处理方式，分别为：

1、设置为Null值；此类处理最简单，而且绝大多数情况下均使用此类处理；直接将异常值“干掉”，相当于没有该异常值。如果异常值不多时建议使用此类方法

2、填补；如果异常值非常多时，则可能需要进行填补设置，SPSSAU共提供平均值，中位数，众数和随机数共四种填补方式。建议使用平均值填补方式。

异常值是指一个时间序列观测值中，原来序列一般水平的极端大值和极端小值，有时称为离群点或野值。

用SAS软件运行上述程序，可以从图形中直观看到1579是异常值。

修正方法一：

如果X_(t+1)是一个异常值，我们可以用^X_(t)来修正X_(t+1),即

^X_(t)=2X_(t)-X_(t-1)

这里我们用200625-01880=-0063代替15979

title 'Extreme Blood Pressure Observations';

ods select ExtremeObs;

proc univariate data=BPressure;

var Systolic Diastolic;

id PatientID;

run;

这个是help中给出的 identify extreme value 的方法，check 取到Systolic 和 Diastolic 两组变量的极值的patient 并给出其ID。

title 'Extreme Blood Pressure Values';

ods select ExtremeValues;

proc univariate data=BPressure nextrval=5;

var Systolic Diastolic;

run;

这个是 指定Systolic 和 Diastolic 两组变量的极值，输出排序到5的，

结果 很简单，我上不了图，你自己肯定能看懂。

不过这不应该算是严格异常值检验吧。

建议 Glimmix或者别的过程，看学生残差是否有大于3或小于-3的，以判断是否有异常点。

所谓异常值，设置一个变量的值非常极端或者出现的频次非常的低。 1）数值型变量异常值检测 数值型的变量异常值检测可以通过PROC UNIVARIATE过程来完成 代码如下：PROC UNIVARIATE DATA＝IREAD．DA_FIN_200909； VAR _NUMERIC_； RUN；然后查看每个变量的分位数表，分析哪些变量可能存在异常的情况。 2）字符型变量异常值检测 字符型的变量异常值检测可以通过PROC FREQ过程来完成 代码如下：PROC FREQ DATA＝IREAD．DA_FIN_200909； TABLE 变量1 变量2．．．/MISSING； RUN；查看每个字符型变量的频数分布，发现异常的值。

Bojan Miletic在使用机器学习算法时询问了有关数据集中异常值检测的问题。这篇文章是对他的问题的回答。

许多机器学习算法对输入数据中属性值的范围和分布敏感。输入数据中的异常值可能会扭曲和误导机器学习算法的训练过程，从而导致更长的训练时间，更不准确的模型以及最终的较差结果。

异常值

由 Robert S Donovan拍摄 ，保留一些权利

即使在针对训练数据准备预测模型之前，异常值也可能导致误导性表示，进而导致对收集数据的误导性解释。异常值可以在描述性统计中偏离属性值的摘要分布，如平均值和标准差，以及直方图和散点图等图形，压缩数据体。

最后，异常值可以表示与问题相关的数据实例的示例，例如欺诈检测和计算机安全性中的异常。

异常值是极端值，远远超出其他观察值。例如，在正态分布中，异常值可以是分布尾部的值。

识别异常值的过程在数据挖掘和机器学习中有许多名称，例如异常值挖掘，异常值建模和新颖性检测以及异常检测。

在他的书 Outlier Analysis （会员链接）中，Aggarwal提供了一个有用的离群检测方法分类，如下：

Aggarwal评论说，异常模型的可解释性至关重要。对于特定数据实例为何或不是异常值的决策，需要上下文或基本原理。

在他的 数据挖掘和知识发现手册 （会员链接）的贡献章节中 ，Irad Ben-Gal提出了异常模型的分类，如单变量或多变量，参数和非参数。这是基于已知数据来构造方法的有用方法。例如：

有许多方法和很多研究都用于异常检测。首先进行一些假设和设计实验，您可以清楚地观察这些假设对某些性能或准确度测量的影响。

我建议通过极值分析，接近方法和投影方法的步进过程。

您无需了解高级统计方法即可查找，分析和过滤数据中的异常值。通过极值分析开始简单。

一旦探索了更简单的极值方法，请考虑转向基于邻近度的方法。

投影方法应用起来相对简单，并且可以快速突出显示无关的值。

另一种策略是转向对异常值具有鲁棒性的模型。有强大的回归形式可以最小化中位数最小二乘误差而不是均值（所谓的稳健回归），但计算量更大。还有一些方法，如决策树，对异常值很强。

您可以检查一些对异常值有效的方法。如果存在显着的模型准确性优势，则可能有机会对训练数据中的异常值进行建模和过滤。

有很多网页讨论异常值检测，但我建议阅读一本关于这个主题的好书，更具权威性。即使查看机器学习和数据挖掘的入门书籍也不会对您有用。有关统计学家对异常值的经典处理，请查看：

解释变量内生性检验

首先检验解释变量内生性（解释变量内生性的Hausman 检验：使用工具变量法的前提是存在内生解释变量。Hausman 检验的原假设为：所有解释变量均为外生变量，如果拒绝，则认为存在内生解释变量，要用IV；反之，如果接受，则认为不存在内生解释变量，应该使用OLS。

reg ldi lofdi

estimates store ols

xtivreg ldi (lofdi=llofdi ldep lexr)

estimates store iv

hausman iv ols

（在面板数据中使用工具变量，Stata提供了如下命令来执行2SLS:xtivreg depvar [varlist1] (varlist_2=varlist_iv) （选择项可以为fe，re等，表示固定效应、随机效应等。详见help xtivreg）

如果存在内生解释变量，则应该选用工具变量，工具变量个数不少于方程中内生解释变量的个数。“恰好识别”时用2SLS。2SLS的实质是把内生解释变量分成两部分，即由工具变量所造成的外生的变动部分，以及与扰动项相关的其他部分；然后，把被解释变量对中的这个外生部分进行回归，从而满足OLS前定变量的要求而得到一致估计量。tptqtp

二、异方差与自相关检验

在球型扰动项的假定下，2SLS是最有效的。但如果扰动项存在异方差或自相关，

面板异方差检验：

xtgls enc invs exp imp esc mrl,igls panel(het)

estimates store hetero

xtgls enc invs exp imp esc mrl,igls

estimates store homo

local df = e(N_g) - 1

lrtest hetero homo, df(`df')

面板自相关：xtserial enc invs exp imp esc mrl

则存在一种更有效的方法，即GMM。从某种意义上，GMM之于2SLS正如GLS之于OLS。好识别的情况下，GMM还原为普通的工具变量法；过度识别时传统的矩估计法行不通，只有这时才有必要使用GMM，过度识别检验（Overidentification Test或J Test）：estat overid

三、工具变量效果验证

工具变量：工具变量要求与内生解释变量相关，但又不能与被解释变量的扰动项相关。由于这两个要求常常是矛盾的，故在实践上寻找合适的工具变量常常很困难，需要相当的想象力与创作性。常用滞后变量。

需要做的检验：

检验工具变量的有效性：

（1） 检验工具变量与解释变量的相关性

如果工具变量z与内生解释变量完全不相关，则无法使用工具变量法；如果与仅仅微弱地相关，。这种工具变量被称为“弱工具变量”（weak instruments）后果就象样本容量过小。检验弱工具变量的一个经验规则是，如果在第一阶段回归中，F统计量大于10，则可不必担心弱工具变量问题。Stata命令：estat first（显示第一个阶段回归中的统计量）

（2） 检验工具变量的外生性（接受原假设好）

在恰好识别的情况下，无法检验工具变量是否与扰动项相关。在过度识别（工具变量个数>内生变量个数）的情况下，则可进行过度识别检验（Overidentification Test），检验原假设所有工具变量都是外生的。如果拒绝该原假设，则认为至少某个变量不是外生的，即与扰动项相关。0H

Sargan统计量，Stata命令：estat overid

四、GMM过程

在Stata输入以下命令，就可以进行对面板数据的GMM估计。

ssc install ivreg2 （安装程序ivreg2 ）

ssc install ranktest （安装另外一个在运行ivreg2 时需要用到的辅助程序ranktest）

use "trafficdta"（打开面板数据）

xtset panelvar timevar （设置面板变量及时间变量）

ivreg2 y x1 (x2=z1 z2),gmm2s （进行面板GMM估计，其中2s指的是2-step GMM）

以上就是关于用spss怎么找出离群值和异常值全部的内容，包括:用spss怎么找出离群值和异常值、时间序列分析中，异常值的检验和处理、sas中的univariate过程如何做异常值检验 具体的代码是怎样的 还有怎样分析结果等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！