電力消費大數據智能分析技術架構

隨著能源互聯網技術的發展和應用，互聯網與用電行為逐步實現深度融合，體現在大量能源互聯網數據、互聯網用電行為數據、自然環境數據等多源異構數據共同支撐用電環節的網絡化和智能化，包括節電負荷預測、錯峰調度等電力消費相關大數據在類型、性質、形式和內容上均存在極大的差異。表現為顯著的多源異構特性，雖然為進一步的分析與挖掘提供了豐富的可用信息，但由此帶來的異構數據源的語義關聯問題又使其面臨著新的挑戰。互聯網環境下的電力消費大數據智能分析技術路線圖如圖5-17所示。本書針對能源互聯網接入數據、互聯網用電行為數據、地理社會環境數據的“規模龐大”和“異質多源”兩個特性，為智能用電相關的大規模多源異構數據的融合和管理提供新原理與新方法，實現多源異構大數據的智能處理及高效運算。關鍵支撐技術主要包括：智能用電相關大數據的預處理及質量控制;針對智能用電相關大數據的分布式數據庫架構的研究，以及多源異構大數據的融合及可視化;大規模多源異構數據的特征表示技術，以及大規模多源異構數據的關聯分析模型建立;針對不同類型用戶實現身份驗證及安全訪問控制等。

圖5-17互聯網環境下的電力消費大數據智能分析技術路線圖

電力消費大數據處理流程

互聯網環境下的電力消費相關大數據在采集以及傳輸過程中，都可能出現錯誤，產生噪聲或空值。數據預處理可以改進數據的質量，消除數據的不完整性、冗余性和模糊性等，有助于保障挖掘過程中的數據精度和質量。

圖5-18多源異構數據處理流程

由于互聯網環境下的電力消費相關大數據的來源及組成不同，如圖5-18所示，首先對數據進行屬性的分析，并建立合適的屬性索引和分類。然后，通過數據評估、數據重組、數據清洗、數據抽取、數據過濾、數據歸約等六個模塊分別對多源異構數據進行處理。這六個子模塊先后作用于現實數據源，共同完成了現實數據源向系統使用的數據矩陣的轉換。數據的評估和重組是數據預處理的前提。將數據源先清洗為適合挖掘的干凈數據，然后根據數據集的大小確定是否需要進行數據抽取，再對數據集中不符合挖掘格式的數據進行數據過濾，若數據集中的冗余屬性較多，則需要進行數據歸約，經過這些數據預處理模塊的處理后，保存為數據矩陣的格式，為后面的挖掘算法做好準備。并非所有數據源的數據都需要全部經過上述六個步驟的處理，具體操作視數據而定。

另外，在矩陣恢復理論框架下，建立多源數據的結構化低秩表示模型，表征多模態數據間的結構關系，通過矩陣的低秩與結構化稀疏性約束，能夠從稀疏的顯著誤差中恢復出關系矩陣，從而實現數據的質量控制。

1.互聯網環境下的電力消費數據屬性與分類

互聯網環境下的電力消費相關的大數據主要包括用戶的社會屬性、用電行為、能源互聯網接入等信息，存在著各種結構化和非結構類型，在進行預處理和數據融合前需要對數據屬性和類型進行分析，建立合適的屬性索引和分類，為數據的預處理奠定基礎，見表5-4。

表5-4 互聯網環境下的電力消費數據屬性和類型

2.數據預處理

互聯網環境下的電力消費數據預處理的主要目的是使多源異構數據更易于數據挖掘等工作的高效計算，過程包括：

(1)質量檢查。質量檢查部分不會對數據進行任何修改，而是從一些客觀的角度對數據進行衡量，如對屬性的掃描、檢查屬性類型、檢查數據的缺損狀況等，對數據的衡量是數據分析的參考依據。

(2)數據清理。數據清理部分旨在處理數據源中的錯誤，如填充缺損值、平滑噪聲數據、重復記錄檢測、孤立點檢測等。

(3)屬性變換。屬性變換指的是對數據列的變換，包括對屬性值的處理和屬性類型的變換，如屬性的增加與刪除、有監督離散化和無監督離散化等。

(4)實例變換。實例變換指的是對數據行的變換，包括數據實例的增加與約簡，如模擬數據的產生和數據的抽樣等。

(5)實例檢測。實例檢測的目的在于發現一些特定的實例，如重復記錄和孤立點(又稱為離群點)，這樣的數據實例有時候也是數據分析的重點，如欺詐檢測等。

數據預處理系統如圖5-19所示，從整體上分為數據格式轉換子系統、預處理算法實現環境子系統和數據管理子系統三個部分。從整體上看，系統的輸入是一個數據文件，或者是一個數據庫表，輸出的結果是對其進行處理后的數據文件或者數據庫表處理包括應用數據預處理算法對數據進行預處理，或者是格式轉換。因此，系統被設計成為數據文件驅動型的，任何操作都必須建立在有可用的數據文件的前提下。

(1)格式轉換子系統。由于大數據智能分析任務所需要的數據有可能來自許多不同的地方，因此數據的格式可能會千差萬別大部分的數據都存儲在數據庫中，此外，也有等文件格式因此格式轉換子系統主要功能就是將數據庫表中的數據轉換為格式，同時也能將一種數據庫格式轉換為其他數據庫格式。

數據格式轉換部分的架構如圖5-20所示，由于涉及對各種數據庫的訪問，因此各種數據庫的驅動程序應該集中存放在一起，并建立起各種數據庫格式與驅動程序的映射由此構建數據庫連接的管理，和數據庫操作的管理通過獲取數據庫的架構信息，完成對數據庫結構的解析，實現數據庫在異構數據源中的重建與數據記錄的轉存。

(2)預處理算法實現子系統。由于系統是文件驅動的，算法的執行必須有數據文件在沒有選擇輸入數據文件以前算法實現環境部分處于鎖定狀態，在輸入數據文件后系統的算法實現環境部分的窗口就被激活根據前面的分析，算法實現環境部分包含六個方面，分別是質量檢查、數據清理、屬性變換、實例變換、屬性選擇和實例檢測。此外，算法實現環境部分還包括對數據文件的操作和瀏覽等部分，如圖5-21所示。

在進入預處理算法實現環境子系統之后，系統會要求打開一個數據文件打開的數據文件將存放到數據中心，這是系統統一管理數據的地方與此同時，系統會掃描數據文件中的一些基本信息，包括屬性的數目、屬性的類型等，并將這些信息顯示到界面上打開文件后算法管理部分對各個算法進行激活，使得算法標簽能夠使用算法管理部分將算法負責算法的分類與調用如在開啟算法界面的同時對算法需要的條件進行選擇等算法管理部分起著對算法的調用的功能，算法在執行完相應的處理后會調用數據中心的相關功能實現對數據的修改和顯示系統將所有的數據預處理算法分成四個部分，每個部分都是獨立運行的在進行了一項數據預處理后可以接著對數據進行下一項預處理每次處理后數據中心都會對數據進行一次保存，用于操作的撤銷與重做。

(3)數據管理子系統。數據管理部分需要完成的基本功能有數據的獲取、數據查看、數據保存、數據歷史管理等。如圖5-22所示，數據管理部分提供兩個接口，一是數據管理部分從數據文件中讀取數據;二是提供一個接口使得算法能夠方便的讀取到數據。此外，還要保證各種算法使用的數據的統一性。

數據查看提供一個隨時查看數據的一個界面，以表格的形式將數據展示給用戶同時在界面上提供一些基本的數據操作功能(數據實例或者屬性的插入刪除修改等)數據的保存將算法處理后的數據保存起來，包括用戶的保存和系統的自動保存兩個方面，用戶可以在任何時候自行保存中間數據，系統在對數據執行任何操作后都應該能回退到操作以前的狀態，這需要保存功能和歷史管理兩部分的協同。

歷史管理部分需要對系統的操作進行記錄，在執行算法后需要記錄下這次操作，并使用數據保存部分的功能對原始數據進行保存，對保存的數據和系統執行的操作進行關聯。

(4)數據質量控制。數據的質量關系到大數據的融合及相關關系分析的準確性，其關鍵環節是不良數據檢測，即判斷量測采樣中是否存在不良數據。不良數據辨識是指在發現某次量測采樣中存在不良數據后，確定哪個(或哪些)量測是不良數據。如圖5-23所示，根據互聯網環境下的電力消費大數據多源、多渠道的特點，基于不同來源的數據進行互校核，實現不良數據的檢測與辨識，包括電度量和量測量的互校核、不同數據系統間的互校核方法、不同結構數據的互校核等。

1)基于電度量與量測量互校核的不良數據檢測方法。按獲得方式分，用電相關多源數據可劃分為電度量與量測數據，可采用電度量與量測量互校核辨識不良數據。

如實際計算中，可用同一節點下電度量和有功量測進行互校核

(5-6)

式中:為I時刻該節點的有功電度量;PI-1、P1為I-1、I時刻該節點的有功功率;δ為準確系數,由實際量測系統準確度決定。

2)基于不同系統間數據互校核的不良數據撿測方法。互聯網環境下的電力消費相關多源數據按獲得來源分，可分為來自不同系統的數據，來自不同系統間的數據可以進行互校核。如可結合配電網管理信息系統、生產管理系統的信息以及低壓臺區互聯信息，確定配變用電類型，按照不同行業需量系數和典型日負荷曲線可擬合出該配變負荷曲線。

3)基于不同結構數據互校核的不良數據檢測方法。互聯網環境下的電力消費相關多源數據中含有結構化數據、非結構化數據、半結構化數據，但是不同類型的數據可能包含相同的信息量，如某一線路的長度可由地理信息系統中的非結構化圖形數據獲得，也可從生產管理系統中的結構化數據獲得，通過不同類型的數據進行互校核，可實現不良數據的辨識互聯網環境下的電力消費相關多源數據中不同的數據源為智能用電研究對象提供了多角度、多時間、多維度的數據描述，為了通過大數據分析充分挖掘有用信息，需要建立數據之間的關聯數學模型。