值,認(rèn)為不相似度大于這一閾值的離群點(diǎn)為異常。

2）選擇固定數(shù)量的離群點(diǎn),即按照不相似度排序從大到小固定選擇前N個(gè)離群點(diǎn)認(rèn)為是異常。

3）選擇不相似度量值發(fā)生突變的點(diǎn),即觀察經(jīng)排序后的離群點(diǎn)的不相似度變化曲線(xiàn),找出變化率有顯著變化的點(diǎn)作為判定異常的閾值。

4）人工檢查各個(gè)離群點(diǎn),根據(jù)管理分析人員的經(jīng)驗(yàn)來(lái)判定是否異常。

上述方法適用不同場(chǎng)景,前2種方法適用于變化不大的網(wǎng)絡(luò)環(huán)境,第3種方法能根據(jù)場(chǎng)景有一定的動(dòng)態(tài)自適應(yīng)性,第4種方法則是在前3種方法表現(xiàn)不佳的情況下引入管理分析人員的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)作為異常檢測(cè)判定的依據(jù)。

2.2 自主的網(wǎng)絡(luò)行為建模與異常檢測(cè)

2.2.1 通過(guò)聚類(lèi)建立初始的檢測(cè)模型

首先應(yīng)用子空間聚類(lèi)算法的思想,從m維特征中選取k維形成子空間以供進(jìn)一步分析,若要完全探索特征空間,所要分析的子空間總數(shù)為從m個(gè)不同元素中取出k個(gè)元素的組合數(shù)。在每個(gè)子空間內(nèi)將應(yīng)用基于密度的聚類(lèi)算法,如DBSCAN、OPTICS等對(duì)數(shù)據(jù)集進(jìn)行分簇。

以DBSCAN為例,它是一種能夠有效發(fā)現(xiàn)識(shí)別任意形狀和大小的簇的聚類(lèi)算法,并且能標(biāo)注出游離于各分簇之外的離群點(diǎn),適合于無(wú)監(jiān)督的網(wǎng)絡(luò)流量分析場(chǎng)景,且無(wú)需事先指定分簇的數(shù)量。

對(duì)于每個(gè)子空間應(yīng)用如DBSCAN的基于密度的聚類(lèi)算法后均可得到一組分簇結(jié)果和離群點(diǎn)集。為了選取合理的k值,即子空間維度的大小,利用聚類(lèi)的一個(gè)單調(diào)性質(zhì),稱(chēng)為向下封閉屬性（downward closure property）,這個(gè)性質(zhì)直接說(shuō)明了如果一個(gè)空間中存在有關(guān)于數(shù)據(jù)點(diǎn)密度的某項(xiàng)證據(jù),那么它一定會(huì)存在于這一空間的最低維子空間中。本文推薦使用k = 2,也就是會(huì)產(chǎn)生N = m(m-1)/2個(gè)子空間,分別應(yīng)用基于密度的聚類(lèi)算法處理得到N個(gè)分簇結(jié)果和相應(yīng)的離群點(diǎn)集合。然后,使用證據(jù)積累聚類(lèi)技術(shù)來(lái)對(duì)這些結(jié)果進(jìn)行融合,形成統(tǒng)一的離群點(diǎn)排序。具體來(lái)說(shuō),對(duì)于任何子空間中的一個(gè)離群點(diǎn),計(jì)算它與該子空間中最大簇中心的距離并將其累計(jì)到不相似度向量的相應(yīng)的維度。這一計(jì)算方法的思想是明確突出那些在不同子空間中與正常網(wǎng)絡(luò)流量相差較遠(yuǎn)的流（用與最大簇中心的距離來(lái)表示）。這里距離的計(jì)算使用馬式距離（Mahalanobis distance）,在樣本方差較小時(shí)更能突出離群點(diǎn)的不相似度。得出不相似度向量后,將其每一維的取值進(jìn)行排序就得到所有離群點(diǎn)的不相似度排序。

2.2.2 在高速海量數(shù)據(jù)流環(huán)境中檢測(cè)異常并實(shí)時(shí)更新檢測(cè)模型

本文在數(shù)據(jù)收集過(guò)程中采用的基于時(shí)間序列的變化檢測(cè)技術(shù)具有自適應(yīng)的特性,與大數(shù)據(jù)處理和流處理技術(shù)相配合,能夠很好地適應(yīng)高速海量數(shù)據(jù)流環(huán)境。其中,在基于時(shí)間序列的變化檢測(cè)中可以采用連續(xù)滑動(dòng)的時(shí)間窗口,從而達(dá)到在線(xiàn)實(shí)時(shí)檢測(cè)的效果,能夠更及時(shí)地發(fā)現(xiàn)新產(chǎn)生的異常。每發(fā)現(xiàn)一個(gè)存在異常的時(shí)間窗口,就會(huì)觸發(fā)后續(xù)的聚類(lèi)分析及異常檢測(cè)處理過(guò)程,可以看作是網(wǎng)絡(luò)行為模型隨時(shí)間窗口行進(jìn)的不斷動(dòng)態(tài)更新。

 3 結(jié)語(yǔ)

大數(shù)據(jù)處理技術(shù)及流處理技術(shù)的飛速發(fā)展,產(chǎn)生了諸多優(yōu)秀的聚類(lèi)算法。這些聚類(lèi)算法能夠保證初始檢測(cè)模型構(gòu)建的高效性和合理性,且聚類(lèi)算法屬于無(wú)監(jiān)督學(xué)習(xí),確保了檢測(cè)機(jī)制的普適性。本文提出了基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為建模,通過(guò)聚類(lèi)算法識(shí)別偏離正常的流量,并對(duì)偏離流量的異常程度排序,采用基于閾值的方法將異常度高的流量標(biāo)記為網(wǎng)絡(luò)異常行為,其實(shí)現(xiàn)步驟和總體框架流程均參考借鑒了已有的研究成果,其可行性也有相應(yīng)的技術(shù)支持。