電力消費大數(shù)據(jù)智能分析技術(shù)架構(gòu)

隨著能源互聯(lián)網(wǎng)技術(shù)的發(fā)展和應用，互聯(lián)網(wǎng)與用電行為逐步實現(xiàn)深度融合，體現(xiàn)在大量能源互聯(lián)網(wǎng)數(shù)據(jù)、互聯(lián)網(wǎng)用電行為數(shù)據(jù)、自然環(huán)境數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)共同支撐用電環(huán)節(jié)的網(wǎng)絡(luò)化和智能化，包括節(jié)電負荷預測、錯峰調(diào)度等電力消費相關(guān)大數(shù)據(jù)在類型、性質(zhì)、形式和內(nèi)容上均存在極大的差異。表現(xiàn)為顯著的多源異構(gòu)特性，雖然為進一步的分析與挖掘提供了豐富的可用信息，但由此帶來的異構(gòu)數(shù)據(jù)源的語義關(guān)聯(lián)問題又使其面臨著新的挑戰(zhàn)。互聯(lián)網(wǎng)環(huán)境下的電力消費大數(shù)據(jù)智能分析技術(shù)路線圖如圖5-17所示。本書針對能源互聯(lián)網(wǎng)接入數(shù)據(jù)、互聯(lián)網(wǎng)用電行為數(shù)據(jù)、地理社會環(huán)境數(shù)據(jù)的“規(guī)模龐大”和“異質(zhì)多源”兩個特性，為智能用電相關(guān)的大規(guī)模多源異構(gòu)數(shù)據(jù)的融合和管理提供新原理與新方法，實現(xiàn)多源異構(gòu)大數(shù)據(jù)的智能處理及高效運算。關(guān)鍵支撐技術(shù)主要包括：智能用電相關(guān)大數(shù)據(jù)的預處理及質(zhì)量控制;針對智能用電相關(guān)大數(shù)據(jù)的分布式數(shù)據(jù)庫架構(gòu)的研究，以及多源異構(gòu)大數(shù)據(jù)的融合及可視化;大規(guī)模多源異構(gòu)數(shù)據(jù)的特征表示技術(shù)，以及大規(guī)模多源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)分析模型建立;針對不同類型用戶實現(xiàn)身份驗證及安全訪問控制等。

圖5-17互聯(lián)網(wǎng)環(huán)境下的電力消費大數(shù)據(jù)智能分析技術(shù)路線圖

電力消費大數(shù)據(jù)處理流程

互聯(lián)網(wǎng)環(huán)境下的電力消費相關(guān)大數(shù)據(jù)在采集以及傳輸過程中，都可能出現(xiàn)錯誤，產(chǎn)生噪聲或空值。數(shù)據(jù)預處理可以改進數(shù)據(jù)的質(zhì)量，消除數(shù)據(jù)的不完整性、冗余性和模糊性等，有助于保障挖掘過程中的數(shù)據(jù)精度和質(zhì)量。

圖5-18多源異構(gòu)數(shù)據(jù)處理流程

由于互聯(lián)網(wǎng)環(huán)境下的電力消費相關(guān)大數(shù)據(jù)的來源及組成不同，如圖5-18所示，首先對數(shù)據(jù)進行屬性的分析，并建立合適的屬性索引和分類。然后，通過數(shù)據(jù)評估、數(shù)據(jù)重組、數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)過濾、數(shù)據(jù)歸約等六個模塊分別對多源異構(gòu)數(shù)據(jù)進行處理。這六個子模塊先后作用于現(xiàn)實數(shù)據(jù)源，共同完成了現(xiàn)實數(shù)據(jù)源向系統(tǒng)使用的數(shù)據(jù)矩陣的轉(zhuǎn)換。數(shù)據(jù)的評估和重組是數(shù)據(jù)預處理的前提。將數(shù)據(jù)源先清洗為適合挖掘的干凈數(shù)據(jù)，然后根據(jù)數(shù)據(jù)集的大小確定是否需要進行數(shù)據(jù)抽取，再對數(shù)據(jù)集中不符合挖掘格式的數(shù)據(jù)進行數(shù)據(jù)過濾，若數(shù)據(jù)集中的冗余屬性較多，則需要進行數(shù)據(jù)歸約，經(jīng)過這些數(shù)據(jù)預處理模塊的處理后，保存為數(shù)據(jù)矩陣的格式，為后面的挖掘算法做好準備。并非所有數(shù)據(jù)源的數(shù)據(jù)都需要全部經(jīng)過上述六個步驟的處理，具體操作視數(shù)據(jù)而定。

另外，在矩陣恢復理論框架下，建立多源數(shù)據(jù)的結(jié)構(gòu)化低秩表示模型，表征多模態(tài)數(shù)據(jù)間的結(jié)構(gòu)關(guān)系，通過矩陣的低秩與結(jié)構(gòu)化稀疏性約束，能夠從稀疏的顯著誤差中恢復出關(guān)系矩陣，從而實現(xiàn)數(shù)據(jù)的質(zhì)量控制。

1.互聯(lián)網(wǎng)環(huán)境下的電力消費數(shù)據(jù)屬性與分類

互聯(lián)網(wǎng)環(huán)境下的電力消費相關(guān)的大數(shù)據(jù)主要包括用戶的社會屬性、用電行為、能源互聯(lián)網(wǎng)接入等信息，存在著各種結(jié)構(gòu)化和非結(jié)構(gòu)類型，在進行預處理和數(shù)據(jù)融合前需要對數(shù)據(jù)屬性和類型進行分析，建立合適的屬性索引和分類，為數(shù)據(jù)的預處理奠定基礎(chǔ)，見表5-4。

表5-4 互聯(lián)網(wǎng)環(huán)境下的電力消費數(shù)據(jù)屬性和類型

2.數(shù)據(jù)預處理

互聯(lián)網(wǎng)環(huán)境下的電力消費數(shù)據(jù)預處理的主要目的是使多源異構(gòu)數(shù)據(jù)更易于數(shù)據(jù)挖掘等工作的高效計算，過程包括：

(1)質(zhì)量檢查。質(zhì)量檢查部分不會對數(shù)據(jù)進行任何修改，而是從一些客觀的角度對數(shù)據(jù)進行衡量，如對屬性的掃描、檢查屬性類型、檢查數(shù)據(jù)的缺損狀況等，對數(shù)據(jù)的衡量是數(shù)據(jù)分析的參考依據(jù)。

(2)數(shù)據(jù)清理。數(shù)據(jù)清理部分旨在處理數(shù)據(jù)源中的錯誤，如填充缺損值、平滑噪聲數(shù)據(jù)、重復記錄檢測、孤立點檢測等。

(3)屬性變換。屬性變換指的是對數(shù)據(jù)列的變換，包括對屬性值的處理和屬性類型的變換，如屬性的增加與刪除、有監(jiān)督離散化和無監(jiān)督離散化等。

(4)實例變換。實例變換指的是對數(shù)據(jù)行的變換，包括數(shù)據(jù)實例的增加與約簡，如模擬數(shù)據(jù)的產(chǎn)生和數(shù)據(jù)的抽樣等。

(5)實例檢測。實例檢測的目的在于發(fā)現(xiàn)一些特定的實例，如重復記錄和孤立點(又稱為離群點)，這樣的數(shù)據(jù)實例有時候也是數(shù)據(jù)分析的重點，如欺詐檢測等。

數(shù)據(jù)預處理系統(tǒng)如圖5-19所示，從整體上分為數(shù)據(jù)格式轉(zhuǎn)換子系統(tǒng)、預處理算法實現(xiàn)環(huán)境子系統(tǒng)和數(shù)據(jù)管理子系統(tǒng)三個部分。從整體上看，系統(tǒng)的輸入是一個數(shù)據(jù)文件，或者是一個數(shù)據(jù)庫表，輸出的結(jié)果是對其進行處理后的數(shù)據(jù)文件或者數(shù)據(jù)庫表處理包括應用數(shù)據(jù)預處理算法對數(shù)據(jù)進行預處理，或者是格式轉(zhuǎn)換。因此，系統(tǒng)被設(shè)計成為數(shù)據(jù)文件驅(qū)動型的，任何操作都必須建立在有可用的數(shù)據(jù)文件的前提下。

(1)格式轉(zhuǎn)換子系統(tǒng)。由于大數(shù)據(jù)智能分析任務(wù)所需要的數(shù)據(jù)有可能來自許多不同的地方，因此數(shù)據(jù)的格式可能會千差萬別大部分的數(shù)據(jù)都存儲在數(shù)據(jù)庫中，此外，也有等文件格式因此格式轉(zhuǎn)換子系統(tǒng)主要功能就是將數(shù)據(jù)庫表中的數(shù)據(jù)轉(zhuǎn)換為格式，同時也能將一種數(shù)據(jù)庫格式轉(zhuǎn)換為其他數(shù)據(jù)庫格式。

數(shù)據(jù)格式轉(zhuǎn)換部分的架構(gòu)如圖5-20所示，由于涉及對各種數(shù)據(jù)庫的訪問，因此各種數(shù)據(jù)庫的驅(qū)動程序應該集中存放在一起，并建立起各種數(shù)據(jù)庫格式與驅(qū)動程序的映射由此構(gòu)建數(shù)據(jù)庫連接的管理，和數(shù)據(jù)庫操作的管理通過獲取數(shù)據(jù)庫的架構(gòu)信息，完成對數(shù)據(jù)庫結(jié)構(gòu)的解析，實現(xiàn)數(shù)據(jù)庫在異構(gòu)數(shù)據(jù)源中的重建與數(shù)據(jù)記錄的轉(zhuǎn)存。

(2)預處理算法實現(xiàn)子系統(tǒng)。由于系統(tǒng)是文件驅(qū)動的，算法的執(zhí)行必須有數(shù)據(jù)文件在沒有選擇輸入數(shù)據(jù)文件以前算法實現(xiàn)環(huán)境部分處于鎖定狀態(tài)，在輸入數(shù)據(jù)文件后系統(tǒng)的算法實現(xiàn)環(huán)境部分的窗口就被激活根據(jù)前面的分析，算法實現(xiàn)環(huán)境部分包含六個方面，分別是質(zhì)量檢查、數(shù)據(jù)清理、屬性變換、實例變換、屬性選擇和實例檢測。此外，算法實現(xiàn)環(huán)境部分還包括對數(shù)據(jù)文件的操作和瀏覽等部分，如圖5-21所示。

在進入預處理算法實現(xiàn)環(huán)境子系統(tǒng)之后，系統(tǒng)會要求打開一個數(shù)據(jù)文件打開的數(shù)據(jù)文件將存放到數(shù)據(jù)中心，這是系統(tǒng)統(tǒng)一管理數(shù)據(jù)的地方與此同時，系統(tǒng)會掃描數(shù)據(jù)文件中的一些基本信息，包括屬性的數(shù)目、屬性的類型等，并將這些信息顯示到界面上打開文件后算法管理部分對各個算法進行激活，使得算法標簽能夠使用算法管理部分將算法負責算法的分類與調(diào)用如在開啟算法界面的同時對算法需要的條件進行選擇等算法管理部分起著對算法的調(diào)用的功能，算法在執(zhí)行完相應的處理后會調(diào)用數(shù)據(jù)中心的相關(guān)功能實現(xiàn)對數(shù)據(jù)的修改和顯示系統(tǒng)將所有的數(shù)據(jù)預處理算法分成四個部分，每個部分都是獨立運行的在進行了一項數(shù)據(jù)預處理后可以接著對數(shù)據(jù)進行下一項預處理每次處理后數(shù)據(jù)中心都會對數(shù)據(jù)進行一次保存，用于操作的撤銷與重做。

(3)數(shù)據(jù)管理子系統(tǒng)。數(shù)據(jù)管理部分需要完成的基本功能有數(shù)據(jù)的獲取、數(shù)據(jù)查看、數(shù)據(jù)保存、數(shù)據(jù)歷史管理等。如圖5-22所示，數(shù)據(jù)管理部分提供兩個接口，一是數(shù)據(jù)管理部分從數(shù)據(jù)文件中讀取數(shù)據(jù);二是提供一個接口使得算法能夠方便的讀取到數(shù)據(jù)。此外，還要保證各種算法使用的數(shù)據(jù)的統(tǒng)一性。

數(shù)據(jù)查看提供一個隨時查看數(shù)據(jù)的一個界面，以表格的形式將數(shù)據(jù)展示給用戶同時在界面上提供一些基本的數(shù)據(jù)操作功能(數(shù)據(jù)實例或者屬性的插入刪除修改等)數(shù)據(jù)的保存將算法處理后的數(shù)據(jù)保存起來，包括用戶的保存和系統(tǒng)的自動保存兩個方面，用戶可以在任何時候自行保存中間數(shù)據(jù)，系統(tǒng)在對數(shù)據(jù)執(zhí)行任何操作后都應該能回退到操作以前的狀態(tài)，這需要保存功能和歷史管理兩部分的協(xié)同。

歷史管理部分需要對系統(tǒng)的操作進行記錄，在執(zhí)行算法后需要記錄下這次操作，并使用數(shù)據(jù)保存部分的功能對原始數(shù)據(jù)進行保存，對保存的數(shù)據(jù)和系統(tǒng)執(zhí)行的操作進行關(guān)聯(lián)。

(4)數(shù)據(jù)質(zhì)量控制。數(shù)據(jù)的質(zhì)量關(guān)系到大數(shù)據(jù)的融合及相關(guān)關(guān)系分析的準確性，其關(guān)鍵環(huán)節(jié)是不良數(shù)據(jù)檢測，即判斷量測采樣中是否存在不良數(shù)據(jù)。不良數(shù)據(jù)辨識是指在發(fā)現(xiàn)某次量測采樣中存在不良數(shù)據(jù)后，確定哪個(或哪些)量測是不良數(shù)據(jù)。如圖5-23所示，根據(jù)互聯(lián)網(wǎng)環(huán)境下的電力消費大數(shù)據(jù)多源、多渠道的特點，基于不同來源的數(shù)據(jù)進行互校核，實現(xiàn)不良數(shù)據(jù)的檢測與辨識，包括電度量和量測量的互校核、不同數(shù)據(jù)系統(tǒng)間的互校核方法、不同結(jié)構(gòu)數(shù)據(jù)的互校核等。

1)基于電度量與量測量互校核的不良數(shù)據(jù)檢測方法。按獲得方式分，用電相關(guān)多源數(shù)據(jù)可劃分為電度量與量測數(shù)據(jù)，可采用電度量與量測量互校核辨識不良數(shù)據(jù)。

如實際計算中，可用同一節(jié)點下電度量和有功量測進行互校核

(5-6)

式中:為I時刻該節(jié)點的有功電度量;PI-1、P1為I-1、I時刻該節(jié)點的有功功率;δ為準確系數(shù),由實際量測系統(tǒng)準確度決定。

2)基于不同系統(tǒng)間數(shù)據(jù)互校核的不良數(shù)據(jù)撿測方法。互聯(lián)網(wǎng)環(huán)境下的電力消費相關(guān)多源數(shù)據(jù)按獲得來源分，可分為來自不同系統(tǒng)的數(shù)據(jù)，來自不同系統(tǒng)間的數(shù)據(jù)可以進行互校核。如可結(jié)合配電網(wǎng)管理信息系統(tǒng)、生產(chǎn)管理系統(tǒng)的信息以及低壓臺區(qū)互聯(lián)信息，確定配變用電類型，按照不同行業(yè)需量系數(shù)和典型日負荷曲線可擬合出該配變負荷曲線。

3)基于不同結(jié)構(gòu)數(shù)據(jù)互校核的不良數(shù)據(jù)檢測方法。互聯(lián)網(wǎng)環(huán)境下的電力消費相關(guān)多源數(shù)據(jù)中含有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，但是不同類型的數(shù)據(jù)可能包含相同的信息量，如某一線路的長度可由地理信息系統(tǒng)中的非結(jié)構(gòu)化圖形數(shù)據(jù)獲得，也可從生產(chǎn)管理系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)獲得，通過不同類型的數(shù)據(jù)進行互校核，可實現(xiàn)不良數(shù)據(jù)的辨識互聯(lián)網(wǎng)環(huán)境下的電力消費相關(guān)多源數(shù)據(jù)中不同的數(shù)據(jù)源為智能用電研究對象提供了多角度、多時間、多維度的數(shù)據(jù)描述，為了通過大數(shù)據(jù)分析充分挖掘有用信息，需要建立數(shù)據(jù)之間的關(guān)聯(lián)數(shù)學模型。