一种基于加权KNN的大数据集下离群检测算法_王茜(3)

大数据,数据挖掘

Ｑ为ｕｅｒＨｅａｐｐｐ中的队首划分。

，步骤５　如果Ｐ．则算法停止，输出ｕｅｒ≤ｍｉｎＤＫＤｉｓｔｐｐ否则转到步骤３。Ｐ．ｕｅｒ与Ｐ．ｌｏｗｅｒ，ｐｐ

步骤６　把当前节点的孩子节点插入节点链表，并以降序排列，转到步骤２。

在候选划分计算阶段，首先对数据集ＤａｔａＳｅｔ中的点采用Ｂ将数据集中的点聚类成一些划分，并建立一ＩＲＣＨ算法，。通过计算每个划分的上界值（棵索引树ＣＦｒｅｅＰ．ｕｅｒ）－Ｔｐｐ）和下界值（来寻找候选划分。算法用一个集合Ｓ来Ｐ．ｌｏｗｅｒ临时保存当前找到的这样一些划分：这些划分有最大的下界值并以该值降序排列，且Ｓ中至少包含ｎ个点，当Ｓ中的点，大于ｎ个时更新ｍ其为Ｓ中划分的最小下界值。ｉｎＤｋＤｉｓｔ当每个划分都计算完后，以最后得到的ｍｉｎＤＫＤｉｓｔ值找候选划分并用集合ｃａｎｄＳｅｔ存放。ｃａｎｄＳｅｔ中得到的划分为Ｐ．

个，则删除其离ｐ最远的对象，并更新ｐ．Ｄｋｄｉｓｔ值。此步中有两个减少计算量的优化措施：当寻找到点ｐ的最近的第ｋ个邻居的距离小于ｍ算法则停止计算，此时点ｐｉｎＤｋＤｉｓｔ时，不可能是离群点；当从节点链表ｎｏｄｅＬｉｓｔ中循环寻找点ｐ的最近的ｋ个邻居时，如果当前节点与点ｐ间的距离的最小值比当前寻找到的Ｄｋ（还大时，则从节点链表中删除此节点，ｐ）即不必再计算该节点和其子节点中所包含的点与点ｐ的距离，因为它们不可能是点ｐ的最近的ｋ个邻居点。

在计算前ｎ个离群点时先用一个集合ＯｕｔＨｅａｐ保存当前找到的前ｎ个具有最大Ｄｋ的点，然后继续计算候选点的

ｋ

值，如果比当前集合中的点的ｍＤｉｎＤＫ（ＯｕｔＨｅａｐ中所有点

的最小的Ｄｋ值）值还大，则更新集合Ｏ并删除集合ｕｔＨｅａｐ，

ｋ

如果有几个这样的点，则要删除ＯｕｔＰＨｅａｐ中Ｄ最小的点，ｋ

的点为这几个点中ｗ权重）最小的点。计算每个点的Ｄ值ｋ（

ｕｅｒ且比ｍｉｎＤＫＤｉｓｔ大的划分。ｐｐ

，然后再为ｃ这ａｎｄＳｅｔ中的每个划分寻找邻居划分ＮＰＳｅｔ些邻居划分为与当前划分的最近距离比当前划分的上界值小／的划分。之后根据性质１，这些划分中如果其ｍｉｎＤＫＤｉｓｔ２邻域内的点超过ｎ个，则从ｃａｎｄＳｅｔ和ＮＰＳｅｔ中删除这些划分，计算候选划分的具体步骤如下：

；输入：数据集Ｄ邻居数Ｋ；离群点数ｎ。ａｔａＳｅｔ

步骤１　初始化临时划分集合Ｓ和Ｐ．ｌｏｗｅｒ的最小值

ｋｋ

（），（）使其Ｓ＝Φ，ｍｉｎＤｍｉｎＤ＝０。

的具体步骤如下：

ｋ

，输入：邻居数ｋ，离群点的最小ＤＲｔｒｅｅ的根节点Ｒｏｏｔ－

，值ｍ当前点ｐ。ｉｎＤｋＤｉｓｔ

ｋ

（步骤１　初始化Ｄ＝∞，ｗ＝０，ｎｅａｒＨｅａｋ（ｐ＝Φ。ｐ）ｐ）

步骤２　从树的根节点开始生成一个节点链表。如果当（，前节点是叶子节点，则计算ｄｉｓｔｐ，ｑ）ｑ为叶子节点中包含的

数据点。

ｋ

（，步骤３　如果ｄ则把点ｑ加入以Ｄｋｉｓｔ≤Ｄ（ｐ，ｑ）ｐ）

（降序排列的集合ｎｅａｒＨｅａｐ中。ｐ）

步骤４　如果｜则删除集合中离ｐ最远的ｎｅａｒＨｅａｋ，｜＞ｐｋ

（（点。此时又如果有｜则Ｄ且ｒｎｅａｒＨｅａｋ，＝ｄｉｓｔｒ）｜＝ｐｐ）ｐ，

步骤２　对数据集Ｄ并初始化ａｔａＳｅｔ调用ＢＩＲＣＨ算法，。对每个划分Ｐ计算其Ｐ．一棵ＣＦｒｅｅｕｅｒ和Ｐ．ｌｏｗｅｒ。－Ｔｐｐ

ｋ

（），步骤３　如果Ｐ．则Ｐ并入集合Ｓ中。ｌｏｗｅｒ≥ｍｉｎＤ

为ｎｅａｒＨｅａｐ中离ｐ最远的点。

ｋｋｋ

（），（步骤５　如果Ｄ则返回Ｄ算法结ｉｎ（Ｄ≤ｍｐ）ｐ）

步骤４　如果｜则把Ｓ中具有最小Ｐ．Ｓｌｏｗｅｒ的划｜≥ｎ，分删除。

ｋ

（），步骤５　如果｜则更新ｍ转到步骤３，否则Ｓｎ，ｉｎＤ｜≥

算，否则返回步骤３。

步骤６　把当前节点的子节点加入节点链表，并以降序排列，转到步骤２。

ｋ

（当每点的Ｄ计算得到后，则以如下步骤检测出离群ｐ）

转到步骤６。

步骤６　对于数据集Ｄ如果其Ｐ．ａｔａＳｅｔ上的每个划分，

ｋ

（），。则ｃｕｅｒ≥ｍｉｎＤａｎｄＳｅｔ＝ｃａｎｄＳｅｔＰ｝∪｛ｐｐ

步骤７　对ｃ如果ＭＡａｎｄＳｅｔ上的所有划分，Ｘ（Ｐ，Ｑ）≤

点：

输入：ｃａｎｄＳｅｔ候选集，ＮＰＳｅｔ邻居集，ｋ邻居数，ｎ离群点数，ｐ当前点。

，步骤１　初始化离群点集合Ｏ其ｕｔＰＨｅａｉｎＤｋＤｉｓｔｐ和ｍ

ｋ

，ｍｉｎＤｋＤｉｓｔ表示所有点最小的ＤＯｕｔＰＨｅａｍｉｎＤｋＤｉｓｔ＝ｐ＝Φ，

，，。则ＮＰ．ｕｅｒ且Ｐ∈ｃａｎＳｅｔＱ∈ＰｓｅｔＰＳｅｔ＝ＮＰＳｅｔＱ｝∪｛ｐｐ步骤８　如果｜Ｐ∪｛Ｑ：Ｑ∈ｃａｎｄＳｅｔ∪ＮＰＳｅｔ且ＭＡＸ－

／则ｃＤＩＳＴ（Ｐ，Ｑ）ｉｎＤｋＤｉｓｔ２｝ａｎｄＳｅｔ＝ｃａｎｄＳｅｔ－≤ｍ｜＞ｎ，｛。Ｐ｝

。步骤９　输出ｃａｎＳｅｔ和ＮＰＳｅｔ３．２．２　离群点检测阶段

ｋｋ

。在计算Ｄ为了找到离群点，需要计算每个点的Ｄ阶

０。

步骤２　用候选划分计算阶段得到的候选划分集和邻居。集中的点创建一棵Ｒｔｒｅｅ－

ｋ

（。步骤３　计算每个数据点的Ｄ和ｗｋ（ｐ）ｐ）

ｋ

（，步骤４　如果Ｄ则点ｐ有可能是离群ｉｎＤｋＤｉｓｔ＞ｍｐ）

段，先以ｃ此树ａｎｄＳｅｔ和ＮＰＳｅｔ中的点建立一个Ｒｔｒｅｅ结构，－然后再以这个结的结构也是一棵平衡树且与ＣＦｒｅｅ类似，－Ｔ

ｋ

构计算每个点的Ｄ和权重ｗｋ，其计算方法与上阶段计算划

点，插入集合ＯｕｔＰＨｅａｐ中。

步骤５　如果｜则删除集合ＯＯｕｔＰＨｅａｕｔＰＨｅａ｜＞ｎ，ｐｐ中Ｄｋ最小的点，如果有几个这样的点，则删除的点为这几个点中Ｗｋ最小的点。

步骤６　如果｜则更新ｍＯｕｔＰＨｅａｉｎＤｋＤｉｓｔ＝ｍｉｎ｜＝ｎ，ｐ

ｋ

（），并返回步骤３，否则输出ＯＤｕｔＰＨｅａｐ。

分的上界值和下界值类似。该过程用ｎｅａｒＨｅａｐ来保存当前

ｋ

（点ｐ的最近ｋ个邻居，用Ｄ来跟踪点ｐ与其最近的第ｋｐ）

个邻居间的距离，以Ｒｔｒｅｅ结构的根节点Ｒｏｏｔ为入口来寻找－当前点ｐ的最近的ｋ个邻居。首先把Ｒｏｏｔ节点插入一个节如果当前寻找到的节点不是叶子节点，点链表ｎｏｄｅＬｉｓｔ中，则把当前节点插入以此节点与点ｐ间的最小距离ＭＩＮＤＩＳＴ升序排列的节点链表ｎｏｄｅＬｉｓｔ中。算法循环寻找点ｐ的最

ｋ

如果当前点ｑ与点ｐ间的距离ｄ近的ｋ个邻居，ｉｓｔ（＜Ｄｐ，ｑ）

（，则将点ｑ插入以其与点ｐ间的距离降序排列的集合ｐ）

算法首先计算候选划分，这样可以有效约减数据集中大量的非离群点的数据，在后面计算离群点时就可以有效地避免扫描数据集中大量的数据点。在候选划分中计算离群点时

ｋ

我们引入了数据点权重的概念，对具有相同Ｄ值的数据对

象，那些与其最近的ｋ个邻居的平均距离（权重）更大的点更这样就可以更准确地删除输出集合中不可能可能是离群点，

ｎｅａｒＨｅａｅａｒＨｅａｐ中的相应位置。如果ｎｐ中的对象数超过ｋ

·１７９·