sas9.4剔除异常值

信用评分之番外篇异常值的识别

今天想分享给大家的是我早期建模的时候一个识别异常值的办法，也许你在“信用风险评分卡研究”看过，但是代码只能识别一个变量，我将这个代码作了改良，但是我在这里必须声明一点，就是假设你身处的公司数据并不多的话，我不建议你使用这个代码，因为我是简单粗暴的将异常值直接剔除了。

就因为我的数据不多，所以我之前在做建模的时候使用的是先等量分组再最优分段的方式来使变量不用识别异常值，说道这里，我又需要跟大家提醒一下就是关于最优分段的代码，说有过拟合的现象。这里跟大家解释一下就是关于最优分段过拟合，因为最优分段的基础是建立在等量分组的基础上，所以重点就是在等量分组上，假设你领导能接受的最小一组的总数据量的1/20，那么你就在等量分组中分20组，保证在后面的产出至少一组都是1/20以上，以此类推。

进入正题，我来讲这个识别异常值的代码，首先，这个代码只针对连续变量，而且是正态分布或者是接近正态分布的变量，若是双峰或者左偏单峰，或者右偏单峰都不适用这个代码的识别。其实这个代码有很多局限性，所以我写出来之后也不是经常的用到，所以叫做番外篇。

接下来的这个代码分为两部分，第一就是针对缺失值大于30%的变量在业务上可以解释的通的，那这个变量做异常值处理的时候就会去除缺失值做异常值处理。对于缺失值小于30%,就让其变量的缺失值跟其他值一起做异常值处理。第二就是针对判定为异常值观测不会就直接删掉，而是先输出该观测，等到全部的变量做完了异常值检查之后，再判断这个观测出现了几次的异常。这时候你定一个伐值，假设是5次就删掉，那就是只要一个观测在这批变量中出现过5次判断为异常的那就会删掉。基本思路就是这样子啦。那就上代码吧。

对Sashelp.Class数据集中，按性别对年龄求均值。并输出到A数据集，平均值变量名 为Age_Mean

Proc Summary Data=Sashelp.Class Nway

Class Sex

Var Age

Output Out=A(Drop=_:) Mean=Age_Mean

Run

Proc Print

Run

SAS (Statistical Analysis System)是一个模块化、集成化的大型应用软件系统。

它由数十个专用模块构成，功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等等。

SAS系统基本上可以分为四大部分：SAS数据库部分；SAS分析核心；SAS开发呈现工具；SAS对分布处理模式的支持及其数据仓库设计。

SAS系统主要完成以数据为中心的四大任务：数据访问；数据管理(sas 的数据管理功能并不很出色，而是数据分析能力强大所以常常用微软的产品管理数据，再导成sas数据格式．要注意与其他软件的配套使用）；数据呈现；数据分析。当前（2016年）软件最高版本为SAS9.4。其中Base SAS模块是SAS系统的核心。其它各模块均在Base SAS提供的环境中运行。用户可选择需要的模块与Base SAS一起构成一个用户化的SAS系统。

---