2.2 電力大數據技術體系

2.2.3 數據集成管理技術

數據集成管理是把不同數據源的大數據 (包括結構化、半結化和非結構化的數據 )收集、整理、清洗、轉換后，加載到一個新的數據源，并對這些數據源實行集中管理 ，對外統一提供服務的大數據集成方式。數據集成管理技術包括大數據連接器技術和 SQL-MapRcduce 技術。

（1 ）大數據連接器技術

大數據連接器技術是用于在傳統關系數據庫和分布式處理系統之問相互傳輸信息，從而實現大數據數據源的相互轉化并為大數據分析提供便利的一種數據集成管理技術。
大數據連接器技術的技術優勢主要體現在以下五個方面：
1）將關系數據庫服務器的壓力轉移至分布式處理系統集群，加大數據分析處理速度。
2）充分利用分布式處理系統集群進行數據分析處理，提高系統資源利用率。
3）為大數據數據源提供統一的轉化方式，改進開發和集成效率。
4）海量非結構化的數據經分布式處理系統處理后形成少量結構化的分析信息并加我至關系數據庫，形成報表和智能分析。
5）技術成熟度比較高，各大數據庫廠商、數據倉庫廠商都有相關的研發產品。

（2 ）SQI-MapReduce技術

SQL- MapReduce技術是指將傳統的關系數據庫處理技術SQL和并行處理樞架MapReduce集成一起，為兩者提供相互轉換方式，從而實現大數據源的高效、簡單、快速分析的一種數據集成管理技術。
SQL-MapReduce技術的技術優勢主要體現在以下五個方面：
1）將傳統的關系數據 SQL 分析轉化為并行處理的MapReduce任務，實現數據分析的分布式處理 ，提高了數據分析速度。
2）轉換過程獨立于數據庫系統，對原有的數據庫系統系統沒有任何影響，具有很大的靈活性。
3）為海量數據的分布式處理提供一 種高效的編程模式和方法，提高了開發效率。
4）數據分析師可以直接利用熟悉的 SQL 技術來分析大規模海量數據，從而提供透明的數據分析平臺。
5）支持海量數據分析，克服傳統數據庫和數據倉庫處理數據量限制的問題。

書名：電力大數據：能源互聯網時代的電力企業轉型與價值創造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業出版社