智能電網是大數據的重要技術應用領域之一。智能電網大數據結構復雜、種類繁多，具有分散性、多樣性和復雜性等特征，這些特征給大數據處理帶來極大的挑戰。智能電網大數據平臺是大數據挖掘的基礎，通過智能電網大數據平臺可實現智能電網全數據共享，為業務應用開發和運行提供支撐。

　　智能電網是以物理電網為基礎，將現代先進的傳感測量技術、通信技術、信息技術、計算機技術和控制技術與物理電網高度集成而形成的新型電網，見圖1。它涵蓋發電、輸電、變電、配電、用電和調度等各個環節，對電力市場中各利益方的需求和功能進行協調，在保證系統各部分高效運行、降低運營成本和環境影響的同時，盡可能提高系統的可靠性、自愈性和穩定性。隨著智能電網的發展，電網在電力系統運行、設備狀態監測、用電信息采集、營銷業務系統等各個方面產生和沉淀了大量數據，充分挖掘這些數據的價值具有重要的意義。

　　大數據是近年來受到廣泛關注的新概念，一般是指無法在可容忍的時間內用傳統的it技術、軟硬件工具和數學分析方法，對其進行感知、獲取、管理、處理和分析的數據集合。智能電網被看作是大數據應用的重要技術領域之一。目前許多學者正在進行智能電網大數據研究，包括發展戰略研究、大數據技術研究、應用研究等。

　　智能電網大數據應用眾多，涉及電網安全穩定運行、節能經濟調度、供電可靠性、經濟社會發展分析等諸多方面，進行智能電網大數據分析需要統一智能電網大數據，并且由于應用眾多，對計算、存儲、網絡等性能提出了較高要求，因此需要構建面向智能電網應用的統一大數據處理平臺。本文首先分析智能電網大數據特點以及業務應用需求，接著結合業務應用介紹大數據關鍵技術，進而提出智能電網大數據平臺和應用框架。

　　1智能電網大數據概述

　　1.1智能電網大數據特點

　　根據數據來源的不同，可以將智能電網大數據分為電力企業內部數據和電力企業外部數據。電力企業內部數據源主要包括廣域量測系統(wams)、數據采集與監控系統(scada)、在線監測系統、用電信息采集系統、生產管理系統、能量管理系統、配電管理系統、客戶服務系統、財務管理系統等;電力企業外部數據源包括氣象信息系統、地理信息系統、互聯網數據、公共服務部門數據、社會經濟數據等。這些數據分散放置在不同地方，由不同單位/部門管理，具有分散放置、分布管理的特性。

　　智能電網大數據結構復雜、種類繁多，除傳統的結構化數據外，還包含大量的半結構化、非結構化數據，如客戶服務中心信息系統的語音數據，設備在線監測系統中的視頻數據與圖像數據等。這些數據的采樣頻率與生命周期也各不同，從微秒級、分鐘級、小時級，一直到年度級，見圖2。

圖2 智能電網數據采用頻率和生命周期

　　1.2大數據業務需求分析

　　智能電網大數據業務應用根據對象不同可分為面向電力公司運行管理、面向電力用戶服務、面向政府部門輔助決策等3類。面向電力公司運行管理類應用包括電力系統穩定性分析與控制、輸變電設備故障診斷與狀態檢修、配電網運行狀態評估與預警、配電網故障定位、負荷預測、城市電網規劃等;面向電力用戶服務類應用包括用戶用電行為分析、需求側管理、能效分析、供電服務輿情分析等;面向政府部門輔助決策類應用包括社會經濟狀況分析與預測、政府決策支持與相關政策評估，如電價政策、新能源補貼政策等是否合理等。這些需求需要綜合電網運行狀態信息、用戶用電信息、客服系統信息、氣象數據、經濟社會數據和互聯網數據等。

　　2智能電網大數據關鍵技術

　　根據信息處理流程，大數據在智能電網中的應用可以分為數據采集、數據清理、數據存儲及處理、數據分析、數據解讀和數據應用6個環節，其關鍵技術包括數據集成技術、數據存儲技術、數據處理技術和數據分析技術。 

　　2.1數據集成技術

　　智能電網大數據具有分散性、多樣性和復雜性等特征，這些特征給大數據處理帶來極大的挑戰。要想處理智能電網大數據，首先就需要對眾多數據源的數據進行集成，通過數據抽取、轉換、剔除、修正等處理，建立正確、完整、一致、完備、有效的智能電網大數據。目前通常采用的數據集成模型包括數據聯邦、基于中間件模型和數據倉庫等。

　　etl 是企業數據集成的主要解決方案。etl指extract、transform、load，即抽取、轉換、加載。數據抽取是從源數據源系統抽取目的數據源系統需要的數據;數據轉換是將從源數據源獲取的數據按照業務需求，轉換成目的數據源要求的形式，并對錯誤、不一致的數據進行清洗和加工;數據加載是將轉換后的數據加載到目的數據源。etl過程中的主要環節就是數據抽取、數據轉換和加工、數據加載。為了實現這些功能，各個etl工具一般會進行一些功能上的擴充，例如工作流、調度引擎、規則引擎、腳本支持、統計信息等。

　　數據集成是智能電網大數據應用的關鍵環節。智能電網大數據集成涉及眾多各類型的應用系統，這些系統類型和特征復雜，在實時性要求、數據規模、數據類型等方面存在較大的差異，在智能電網大數據集成中需要綜合考慮各種因素，在集成技術上單一技術可能很難實現，需要結合多種技術來實現智能電網大數據的集成。

　　2.2數據存儲技術

　　在智能電網大數據中，絕大多數數據為結構化數據，同時也存在文本、圖像、音頻、視頻等非結構化或半結構化數據。對非結構化數據可采用分布式文件系統進行存儲，對結構松散無模式的半結構化數據可采用分布式數據庫，對海量的結構化數據可采用傳統關系型數據庫系統或分布式并行數據庫。

　　2.2.1 分布式文件系統

　　分布式文件系統適合存儲海量的非結構化數據，將數據存儲在物理上分散的多個存儲節點上，對這些節點的資源進行統一管理和分配，并向用戶提供文件系統訪問接口，主要解決本地文件系統在文件大小、文件數量、打開文件數等方面的限制問題。

　　hadoop 是大數據的一個解決方案，可以實現大數據的存儲、分析和管理[9]。hdfs (hadoop distributed file system)是一個分布式文件系統，它是開源項目hadoop的家族成員。hdfs將大規模數據分割為大小為64兆字節的數據塊，存儲在多個數據節點組成的分布式集群中，當數據規模增加時，只需要在集群中增加更多的數據節點，具有很強的可擴展性;同時每個數據塊會在不同的節點中存儲多個副本，具有高容錯性;由于數據是分布存儲的，具有高吞吐量的數據訪問能力。

　　2.2.2 分布式數據庫

　　大數據環境下對數據的存儲、管理、查詢和分析需要采用新的技術，傳統的數據庫在數據存儲規模、吞吐量、以及數據類型和支撐應用等存在瓶頸。分布式數據庫由于具有很好的擴展性和協同性，在大規模數據存儲和管理中得到廣泛的應用。目前主要有鍵值存儲系統、文檔數據庫、圖數據庫等。

　　hbase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，它不同于一般的有模式的關系型數據庫，hbase存儲的數據表是無模式的，特別適合結構復雜多樣的半結構化數據存儲。hbase利用hdfs作為其文件存儲系統，可利用map-reduce技術來處理hbase中的海量數據。

　　2.2.3 關系型數據庫系統

　　智能電網中很大一部分數據是結構化數據，針對一些數據和業務應用，傳統關系型數據庫可能更適合，因此在大數據環境下，傳統關系型數據庫也具有一定的應用。基于傳統數據庫如oracle等構建數據倉庫，開展智能電網業務的分析挖掘。

　　智能電網大數據結構復雜、種類繁多，其數據存儲需要根據數據的特點選用適合的數據存儲方式。數據管理也是智能電網大數據的重要功能，從整體上對存儲在不同系統上的數據進行統一管理，并提供數據索引和查詢功能。綜合以上分析，數據存儲對比見表1。 

　　2.3數據處理技術

　　智能電網大數據的應用類型多，需要根據不同的業務需求采用不同的數據處理技術。根據大數據的數據特征和計算需求，大數據處理技術分流處理、批處理、內存計算、圖計算等。

　　2.3.1 流處理

　　流處理的處理模式將數據視為流，源源不斷的數據組成了數據流，當新的數據到來時就立刻處理并返回所需的結果。數據流本身具有持續達到、速度快且規模巨大等特點，因此通常不會對所有的數據進行永久化存儲，而且數據環境處在不斷的變化之中，系統很難準確掌握整個數據的全貌。目前廣泛應用的流處理系統有 twitter storm和yahoo s4。

　　storm是分布式實時計算系統，主要用于流數據處理，可以簡單、高效、可靠地處理大量的數據流。它能夠處理源源不斷流進來的信息，處理之后將結果寫入到某個存儲中去。storm的優點是全內存計算，因為內存尋址速度是硬盤的百萬倍以上，所以 storm的速度較快。storm彌補了hadoop批處理所不能滿足的實時要求，經常用于實時分析、在線機器學習、持續計算、分布式遠程調用和etl等領域。

　　2.3.2 批處理

　　google公司在2004年提出的map-reduce是最具代表性的批處理模式。map-reduce是一個使用簡易的軟件框架，用于大規模數據集的并行運算，主要用來進行大規模離線數據分析。基于它實現的應用程序能夠運行在由數千個商用機器組成的大型集群上，并以一種可靠容錯的并行處理大規模數據集。map-reduce的核心思想是將問題分而治之，并把計算推到數據所在的服務器，有效地避免數據傳輸過程中產生的大量通信開銷。

　　map-reduce的優點主要有2個方面：①不僅能用于處理大規模數據，而且能將很多繁瑣的細節隱藏起來，如自動并行化、負荷均衡和災備管理等，這將極大簡化開發工作;②伸縮性非常好，集群能夠方便的擴展。而map- reduce的不足是其不適應實時應用的需求，只能進行大規模離線數據分析。

　　2.3.3 內存計算

　　隨著內存價格的不斷下降，服務器配置的內存容量不斷增大，用內存計算來完成大規模數據處理成為可能。與hadoop map-reduce批處理相比，內存計算能夠提供高性能的大數據分析處理能力。內存計算是一種體系結構上的解決方法，它可以和各種不同的計算模式相結合，包括批處理、流處理、圖計算等。比如spark是分布式內存計算的一個典型并行計算框架，spark基于map-reduce算法實現的分布式計算，擁有hadoop map-reduce所具有的優點;但不同于map-reduce的是job中間輸出結果可以保存在內存中，從而不再需要讀寫hdfs，因此spark具有更好的性能，適用于數據挖掘與機器學習等需要迭代的map-reduce的算法。

　　智能電網大數據應用根據業務特點和對處理響應的時間來選擇數據處理的方式，針對電網安全在線分析、電網運行監控等業務，數據實時性要求高、需要作出迅速響應，可以采用流處理內存計算;而對于用戶用電行為分析等業務，實時性和響應時間要求低，可以采用批處理方式。綜合以上分析，數據處理方式對比見表2。 

　　2.4數據分析技術

　　數據分析是智能電網大數據處理的核心，由于大數據的海量、復雜多樣、變化快等特性，大數據環境下的傳統小數據分析算法很多已不再適用，需要采用新的數據分析方法或對現有數據分析方法進行改進。

　　數據挖掘方法主要有分類、關聯分析、聚類、異常檢測、回歸分析等，其中每一類包括眾多的算法。分類包括支持向量機、決策樹、貝葉斯、神經網絡等技術;關聯分析包括apriori、fp-growth等算法;聚類分析分為劃分法、層次法、密度法、圖論法、模型法等，具體算法如k-means 算法、k-medoids算法、clara算法、clarans算法、som神經網絡、fcm聚類算法等;異常檢測包括基于統計、距離、偏差、密度等方法。在智能電網應用中需要對現有的算法進行優化和并行化改進，實現分布式處理。

　　機器學習是面向任務解決的基于經驗提煉模型實現最優解設計的計算機程序，通過經驗學習規律，一般應用在缺少理論模型指導但存在經驗觀測的領域中。機器學習分為歸納學習、分析學習、類比學習、遺傳算法、聯接學習、增強學習等。深度學習是機器學習研究中的一個新的領域，2006年由hinton等提出，其目的在于建立模擬人腦進行分析學習的神經網絡，目前深度學習在語音識別、圖像識別、機器翻譯等領域進行了應用，并取得了較好的效果。

　　智能電網大數據挖掘主要為結構化數據，同時也存在文本、圖像、音頻、視頻等數據，在智能電網大數據應用中需要針對具體的業務采用合適的數據分析方法。

　　3智能電網大數據平臺

　　3.1核心平臺框架

　　智能電網大數據應用需要構建在大數據平臺之上，大數據平臺為應用提供統一數據接入、清洗、存儲、管理、分析計算等功能。大數據核心平臺由基礎資源、數據存儲、數據分析與處理、數據管理、平臺服務和平臺管控等組成，見圖3。

圖3 智能電網大數據核心平臺框架圖

　　基礎資源層主要包括計算資源池、存儲資源池、網絡資源池，為虛擬化的資源，能夠實現彈性的資源供給和擴展。基于存儲資源池實現大數據平臺的各種數據存儲功能，包括分布式文件系統、分布式數據庫、傳統數據庫和數據倉庫。數據管理實現大數據平臺的接入管理、數據清洗、數據統一建模、數據檢索、數據服務等功能。數據分析與處理是大數據平臺的核心，大數據平臺根據具體業務需求能夠提供批處理、流處理等功能，同時平臺能夠提供通用的數據分析算法包或工具，包括數據挖掘、統計分析、機器學習等。平臺管控包括資源調度、集群管控、安全管控、用戶管理等，實現對平臺的監控、調度和管理。

　　3.2應用框架

　　結合智能電網的應用需求，在大數據核心平臺之上構建各類大數據應用。面向智能電網大數據的應用框架見圖4。應用整體框架分數據集成與交互層、大數據核心平臺層、應用層。

圖4 智能電網大數據應用框架

　　4結語

　　1)智能電網大數據數據量大、類型多樣、數據特征復雜，同時業務應用需求場景多，且存在交叉融合，對現有數據處理方式和平臺提出了很高的要求，需要采用新的大數據處理技術來支撐。

　　2)智能電網大數據關鍵技術包括數據集成、數據存儲、數據處理、數據分析等技術，需要結合具體業務的特點和需求選擇相應的技術。

　　3)智能電網大數據平臺需要構建統一數據模型來實現智能電網各類數據的融合和共享，基于全數據進行業務的開發和應用，智能電網大數據平臺具有數據共享、應用開發和業務運行3方面功能。

　　4)隨著智能電網的發展，數據將成為核心資源，大數據平臺將承載智能電網眾多各類型應用，其基礎作用將越來越重要。