异常值处理

R语言：异常数据处理

前言

在数据处理中，尤其在作函数拟合时，异常点的出现不仅会很大程度的改变函数拟合的效果，而且有时还会使得函数的梯度出现奇异梯度，这就导致算法的终止，从而影响研究变量之间的函数关系。为了有效的避免这些异常点造成的损失，我们需要采取一定的方法对其进行处理，而处理的第一步便是找到异常点在数据中的位置。

什么是异常值？如何检测异常值？

目录

1. 单变量异常值检测

2. 使用LOF（local outlier factor，局部异常因子）进行异常检测

3. 通过聚类的方法检验异常值

4. 检验时间序列数据里面的异常值

5. 讨论

主要程序包

install.packages(c(\,\)) library(DMwR) library(dprep）

1. 单变量异常值检测

这节主要讲单变量异常值检测，并演示如何将它应用到多元（多个自变量）数据中。使用函数boxplot.stats()实现单变量检测，该函数根据返回的统计数据生成箱线图。在上述函数的返回结果中，有一个参数out，它是由异常值组成的列表。更明确的说就是里面列出了箱线图中箱须线外面的数据点。其中参数coef可以控制箱须线从箱线盒上延伸出来的长度，关于该函数的更多细节可以通过输入‘？boxplot.ststs’查看。

画箱线图：

set.seed（3147）

#产生100个服从正态分布的数据 x <- rnorm(100) summary(x) #输出异常值

boxplot.stats(x)$out #绘制箱线图 boxplot(x)

如上的单变量异常检测可以用来发现多元数据中的异常值，通过简单搭配的方式。在下例中，我们首先产生一个数据框df，它有两列x和y。之后，异常值分别从x和y检测出来。然后，我们获取两列都是异常值的数据作为异常数据。

x <- rnorm(100) y <- rnorm(100)

# 生成一个包含列名分别为x与y的数据框df df<- data.frame(x, y) rm(x,y) head(df)

# 连接数据框df attach(df) # 输出x中的异常值

(a <- which(x %in% boxplot.stats(x)$out)) # 输出y中的异常值

(b <- which(y %in% boxplot.stats(y)$out)) # 断开与数据框的连接 detach(df) # 输出x,y相同的异常值

(outlier.list1 <- intersect(a,b)) plot(df) # 标注异常点

points(df[outlier.list1,], col=\, pch=\, cex=2.5) # x或y中的异常值

(outlier.list2 <- union(a, b)) plot(df)

points(df[outlier.list2,], col=\, pch=\, cex=2)

当有三个以上的变量时，最终的异常值需要考虑单变量异常检测结果的多数表决。当选择最佳方式在真实应用中进行搭配时，需要涉及领域知识。

2. 使用LOF（local outlier factor，局部异常因子）进行异常检测

LOF（局部异常因子）是一种基于密度识别异常值的算法。算法实现是：将一个点的局部密度与分布在它周围的点的密度相比较，如果前者明显的比后者小，那么这个点相对于周围的点来说就处于一个相对比较稀疏的区域，这就表明该点事一个异常值。（使用LOF，一个点的局部密度会与它的邻居进行比较。如果前者明显低于后者（有一个大于1 的LOF值），该点位于一个稀疏区域，对于它的邻居而言，这就表明，该点是一个异常值。）LOF算法的缺点是它只对数值型数据有效。

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库异常值处理在线全文阅读。