電力通信大數(shù)據(jù)并行化聚類算法研究
確度均高于k-medoids并行化算法和DBSCAN并行化算法,并且在處理較大數(shù)量級(jí)的數(shù)據(jù)集時(shí),本文算法準(zhǔn)確度更占優(yōu)勢(shì)。不同數(shù)據(jù)集上各算法的執(zhí)行時(shí)間如圖2。
根據(jù)圖2,隨著數(shù)據(jù)量的增大,三種算法執(zhí)行效率差異逐漸增大,本文算法性能明顯優(yōu)于k-medoids并行性算法和DBSCAN并行算法。接著對(duì)三個(gè)算法使用7個(gè)線程時(shí)的執(zhí)行時(shí)間進(jìn)行比較,如圖3所示。
從圖3中可以看出,使用7個(gè)線程在1 000、5 000、10 000數(shù)據(jù)級(jí)時(shí),本文算法執(zhí)行時(shí)間明顯優(yōu)于其他兩個(gè)算法。
3.3 實(shí)驗(yàn)小結(jié)
仿真實(shí)驗(yàn)可知,在同一線程數(shù)時(shí),本文算法比對(duì)比算法聚類準(zhǔn)確率高,執(zhí)行時(shí)間短;在線程數(shù)增加時(shí),本文算法執(zhí)行時(shí)間顯著降低;隨著數(shù)據(jù)量的增長,本文算法在保證更高準(zhǔn)確度的基礎(chǔ)上,執(zhí)行時(shí)間優(yōu)勢(shì)逐漸凸顯。
4 結(jié)論
本文針對(duì)電力通信數(shù)據(jù)的聚類處理問題,提出基于密度的聚類思想對(duì)k-medoids算法初始點(diǎn)的選取策略進(jìn)行優(yōu)化,并利用MapReduce編程框架實(shí)現(xiàn)了算法的并行化處理。通過仿真實(shí)驗(yàn)表明本文提出的優(yōu)化算法可行有效,并具有較好的執(zhí)行效率。在接下來的研究中可以考慮線程數(shù)小于聚類數(shù)時(shí)的優(yōu)化分配策略,進(jìn)一步提高算法性能。
參考文獻(xiàn)
[1] 蔡永強(qiáng),陳平華,李惠.基于云計(jì)算平臺(tái)的并行DBSCAN算法[J].廣東工業(yè)大學(xué)學(xué)報(bào),2016,33(1):51-56.
[2] PARK H S,JUN C H.A simple and fast algorithm for k-medoids clustering[J].Expert System with Applications,2009,36(2):3336-3341.
[3] 趙燁,黃澤君.蟻群K-medoids融合的聚類算法[J].電子測量與儀器學(xué)報(bào),2012,26(9):800-804.
[4] 馬菁,謝娟英.基于粒計(jì)算的k-medoids聚類算法[J].計(jì)算機(jī)應(yīng)用,2012,32(7):1973-1977.
[5] 吳景嵐,朱文興.基于k中心點(diǎn)的迭代局部搜索聚類算法[J].計(jì)算機(jī)研究與發(fā)展,2004,41(Z):246-252.
[6] Jiang Yaobin,Zhang Jiongmin.Parallel k-medoids clustering algorithm based on Hadoop[C].Proceedings of the IEEE International Conference on Software Engineering and Service Sciences,2014:649-651.
[7] 孫勝,王元珍.基于核的自適應(yīng)k-medoid聚類[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30(3):674-677.
[8] 馬曉慧.一種改進(jìn)的可并行的K-medoids聚類算法[J].智能計(jì)算機(jī)與應(yīng)用,2015:874-876.
作者信息:
曾 瑛,李星南,劉新展
(廣東電網(wǎng)公司 廣東電網(wǎng)電力調(diào)度控制中心,廣東 廣州510600)

責(zé)任編輯:售電衡衡
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實(shí)踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個(gè)行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動(dòng)化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲(chǔ)能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市
-
山西省首座電力與通信共享電力鐵塔試點(diǎn)成功
-
中國電建公司公共資源交易服務(wù)平臺(tái)摘得電力創(chuàng)新大獎(jiǎng)
-
電力系統(tǒng)對(duì)UPS的技術(shù)要求