2.2 電力大數(shù)據(jù)技術(shù)體系

2.2.2 電力大數(shù)據(jù)關(guān)鍵技術(shù)

大數(shù)據(jù)所涉及的關(guān)鍵技術(shù)主要包括：數(shù)據(jù)集成管理技術(shù)、數(shù)據(jù)存儲管理技術(shù)、高性能計(jì)算技術(shù)和分析挖掘技術(shù)，具體技術(shù)內(nèi)涵以及范疇見表2-1。

表 2 - 1 大數(shù)據(jù)的關(guān)琎技術(shù)及其內(nèi)涵與范疇

(1 ) 數(shù)據(jù)集成管理技術(shù)

是指將不同數(shù)據(jù)源的大數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化）收集、整理、清洗、轉(zhuǎn)換以后加載到一個(gè)新的數(shù)據(jù)源中，并對這些數(shù)據(jù)源實(shí)行集中管理，對外部訪問統(tǒng)一提供服務(wù)的數(shù)據(jù)集成方式。數(shù)據(jù)集成管理技術(shù)包括數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)消洗和過濾技術(shù)，具體是指電力數(shù)據(jù)ETL( Extract、Transfer和Load，即提取、轉(zhuǎn)換和裝載 )、電力數(shù)據(jù)統(tǒng)一公共模型等技術(shù)。電力數(shù)據(jù)質(zhì)量本身不高，準(zhǔn)確性、及時(shí)性均有所欠缺，這也對數(shù)據(jù)處理技術(shù)提出了更高的要求。

(2 ) 數(shù)據(jù)存儲管理技術(shù)

數(shù)據(jù)存儲管理是指將大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問。電網(wǎng)數(shù)據(jù)結(jié)構(gòu)各異，結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)并存，在應(yīng)用實(shí)時(shí)性需求上存在著非實(shí)時(shí)性和實(shí)時(shí)性需求的數(shù)據(jù)。因此，需要協(xié)調(diào)不同功能需求的數(shù)據(jù)庫協(xié)同存儲管理海量電網(wǎng)數(shù)據(jù)。

(3 )高性能計(jì)算技術(shù)

包括分布式計(jì)算技術(shù)、內(nèi)存計(jì)算技術(shù)、流處理技術(shù)，具體是指電力云、電力數(shù)據(jù)中心軟硬件資源虛擬化等技術(shù)。近幾年電力數(shù)據(jù)的海量增長使得電力企業(yè)需要通過新型數(shù)據(jù)處理技術(shù)來更有效地利用軟硬件資源，在降低IT 投入、維護(hù)成本和物理能耗的同時(shí)，為電力大數(shù)據(jù)的發(fā)展提供更為穩(wěn)定、強(qiáng)大的數(shù)據(jù)處理能力。

( 4 ) 分析挖掘技術(shù)包括數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等人工智能技術(shù)，具體是指電網(wǎng)安全在線分析、間歇性電源發(fā)電預(yù)測、設(shè)施線路運(yùn)行狀態(tài)分析等技術(shù)，由于電力系統(tǒng)安全穩(wěn)定運(yùn)行的重要性以及電力發(fā)輸變配用的瞬時(shí)性，比其他行業(yè)，電力大數(shù)據(jù)對分析結(jié)果的準(zhǔn)確度要求更高。當(dāng)然，大數(shù)據(jù)技術(shù)是一系列技術(shù)的集合。在電力大數(shù)據(jù)事業(yè)推的過程中，電力企業(yè)可以借鑒圖表中所示不同大數(shù)據(jù)技術(shù)的成熟程度以及成熟時(shí)間，并結(jié)合自身實(shí)際需求，合理開展電力大數(shù)據(jù)實(shí)踐，使大數(shù)據(jù)在電力行業(yè)中其正落地。