2.1國內外廠商的技術和產品分析

2.1.2國內廠商在大數據領域的技術和產品

我國目前數據規模增長非常快，蘊含著巨大的數據價值。隨著信息化建設在各行各業的持續深入，越來越多的國內數據廠商加入到了大數據的研發中來。目前國內進行大數據研發的廠商依舊分為兩類：是現一類在已經可獲取大數據能力的公司，他們打算利用自身優勢地位沖擊大數據領域，將現有安裝基礎及產品線口碑推廣到新一輪技術浪潮當中。如百度、阿里巴巴等互聯網巨頭，該類商家主要是以大數據應用技術、相關軟件研究為主要切入點。另一類則是以華為、浪潮、中興等以硬件突破為主的企業，涵蓋了數據采集、數據存儲、數據分析、數據可視化以及數據安全等領域。

2.1.2.1 百度公司

百度公司是全球最大的中文搜索引擎，2012年8月，百度云計算（陽泉）中心在山西省陽泉市奠基。建成后的云計算（陽泉）在數據存儲規模、計算能力和環保節能三方面都將達到亞洲一流水準。 據規劃建成后的百度云計算中心數據存儲量超過4000PB，可存儲的信息量相當中20多萬個中國國家圖書館的藏書總量；同時由于使用了百度自主研發的高性能、低功耗服務器，數據中心CPU總量達70萬顆、CPU內核總數超過300萬個。西度“大數據引擎”包括開放云、數據工廠和百度大腦三個核心組件。百度將通過平臺化和接口化的方式，對外開放其大數據存儲、分析和智能化處理等核心能力，這也是全球首個開放大數據引擎的公司。通過開放自身的大數據分析平臺，百度將獲得各行各業的大數據資料及分析經驗。例如，平安保險正在借助百度大數據加強消費者洞察，從過去的客戶分群進化到按人定制、更進一步，大數據將在保險產品設計的計算、定價、彈性曲線等壞節發揮作用，既有利于改良現基于產品形態，也能實現險種創新。

2.1.2.2 阿里巴巴公司

阿里巴巴公司是一家由中國人創逮的閩際化的互聯網公司，經營多元化的互聯網業務，致力為全球所有人創造便捷的交易渠道。進入大數據時代以來，阿里巴巴陸續建立了領先的消費者電子商務、 網上支付、B2B網上交易市場及云計算業務，近幾年更積極開柘無線應用、手機操作系統和互聯網電視等領域。在阿里巴巴數據平臺事業部的服務器上，攢下了超過100PB已處理過的數據，利用云計算技術進行數據挖掘，使阿里巴巴能夠輕而易舉地為其用戶建立一 個細致的個人檔案并進行精準的行為預測。如何挖掘、分析和運用阿里巴巴全系產品的數據，并和全社會分享，是阿里巴巴大數據戰略的核心所在。更為關鍵的是，在大數據時代，掌握了數據，意味著掌握了整個社會的脈搏，試想一下. 當巨量的用戶需求以數據形式被捕捉，快速反映在生產、供應鏈、庫存、物流等環節時，電子商務將不僅僅是網上購物的代名詞，它甚至會替代傳統商務，成為主流的交易模式。屆時，阿里巴巴將可能控制整個商業社會相當大比例的數據和脈搏。阿里巴巴大數據戰略戰術的核心是阿里云計算技術、在2009年，阿里巴巴即成立了專業的云計算服務公司，定位于提供公共服務的云計算。大規模電子商務服務的實踐實際上就是為云計算提供技術儲備的過程，是為綜合配置和優化計算，存儲資源、積累經驗的過程。當服務的規模足夠大，云計算就水到渠成了。它解決商務問題的過程，很大一部分其實是解決技術問題的過程。例如，阿里巴巴交易量節節攀升的雙11購物狂歡節，成為阿里巴巴在云計算和大數據領域一年一度的技術大考。繼2014年雙11購物狂歡節公布571億元的交易額后，阿里巴巴集團披露了雙11背后的一系列技術指標：訂單創建能力最高達到每秒鐘8萬筆，支付寶的支付峰值突破了每分鐘285萬筆，創下新的紀錄。

2.1.2.3華為公司

華為技術有限公司是一家生產、銷售通信設備的民營科技公司。 華為的產品主要涉及通信網絡中的交換網絡、傳輸網絡、無線及有線固定接入網絡和數據通信網絡及無線終端產品，華為公司為世界各地通信運營商及專業網絡擁有者提供硬件設備、軟件、服務和解決方案。華為公司的大數據戰略主要圍繞其云計算數據中心解決方案展開。自2010年以來，華為公司聯手英特爾、SAP等大數據領域巨頭，積極推動全球云計算戰略。至2013年8月，華為公司在全球成功部署330多個數據中心，其中70多個為云數據中心，與全球260多個云計算客戶發掘云的商業價值.并交付全球規模最大、應用場景最復雜的華為10萬并發規模的桌面云項目。圍繞該數據戰略，華為的大數據技術體系以軟件為核心，基于開放的硬件，實現邏輯集中和物理分布。其軟件包括FusionSphere云操作系統、Fusionlnsight大數據分析平臺，ManagdeOn數據中心管理系統；硬件主要為FusionServer中高端服務器、OceanStor融合存儲、CloudEngine數據中心網絡。這一系列產品建立在華為的兩個大數據關鍵技術上，即三位一體和全分布式技術。“三位一體" 就是將存儲系統與存儲分析，數據挖掘分析、計算系統整合為一套產品，不再是多個產品的集合，從而實現存儲、分析、歸檔三個方面的自動化，免除了三者之間的裝載與遷移麻煩，同時實現全生命周期的數據處理，用戶可以選擇部分活躍數據歸檔。根據計算需要自動實現數據的調度。在軟件平臺方面，華為的Fusion Insight是其核心大數據平臺產品，Fusionlnsight以雙引擎的處理為核心.包括海量數據引擎 Fusionlnsight Hadoop 和實時數據處理引擎 Fusionlnsight Streaming,并針對金融、運營商等數據密集型行業的運行維護、應用開發等需求打造可靠、安全、易使用的OM系統和建模中間件，這種雙引擎配置。實現了海量數據存取和實時性數據處理的雙重功能。而華為的 ManagcOne技術則是實現多源異構平臺數據管理的一款管理系統， ManageOne數據中心統一管理方案可做到真正意義上的融合，即統一管理傳統數據中心和云數據中心，統一管理分布式數據中心，統一管理數據中心應用系統、基礎架構和基礎設施，統一管理異構虛擬化平臺。運營商的IT聯動形成了一個整體的資源池，統一管理為多業務模式的創建提供了便利，可降低運營商服務供給的成本，減少內耗，讓服務更貼近最終用戶。RisionSpherc是華為自主知識產權的云操作系統，集虛擬化平臺和云管理特性于一身，華為云操作系統專門為云設計和優化，提供強大的虛擬化功能和資源池管理、 豐富的云基礎服務組件和工具、開放的API接口等。在硬件基礎方面，FusionSever產品是華為公司推出的一款將計算、存儲、網絡等架構實現解耦，并將不同資源高度整合成共享資源池，實現資源按需配置的服務器產品。這種理念就是華為公司新提出的基于業務驅動的基礎架構SDI,該架構由SDS（Software-Defincd Storage,軟件定義存儲）、SDN（Software-Defined Networking.軟件定義網絡）軟件模塊和SDI硬件模塊組成。傳統服務器、存儲、網絡資源依賴CPU控制，而在SDI模式中，存儲和網絡資源由SDI硬件統一控制，并以計算服務面向用戶的服務器形成統一資源池，最終形成數據中心的基礎架構。也就是將需要穩定、可靠、高性能運行的基礎設施層與客戶應用在邏輯上進行解耦，基礎設施層則采用軟件定義的方式先于應用系統運行起來。相比傳統數據中心架構，華為SDI能夠降低78%的總體擁有成本（TCO）,通過SDI控制器可能業務調度將CPU利用率捉升1倍，同時性能也獲得進一步提升。而OccanStor是業內首個融合存儲、分析和歸檔的存儲產品，是華為公司三位一體理念衍生出的產品。它的特點在于免除了跨設備數據裝載、迀移，真正實現了而向大數據全生命周期管理的“三位一體"處理。其采用的Scakxm集群架構，系統支持3 節點至288節點彈性無縫擴展，單一文件系統可擴容至40PB,整個擴容過程業務允中斷。CloudEngine （以下簡稱CE）系列是華為公司面向下一代數據中心和高端園區推出的“云”級高性能交換機， CloudEngine系列在速度上是業界一流廠商的2倍，容量3倍。零丟包的CLOS無阻塞交換架構，配合動態分布式大緩存.應對云計算應用引發的突發流量。

2.1.2.4 浪潮公司

浪潮是中國最早的IT品牌之一。浪潮公司是中國領先的計算平臺與IT應用解決方案供應商。同時，也是中國領先的服務器制造商和服務器解決方案提供商。目前已形成服務器和ERP兩大主導產業. 具基于計算機、軟件、移動通信、智能終端、半導體等產業群組。浪潮公司的大數據戰略主要是對以硬件層而出發為基礎的浪潮云海大數據一體機的開發。云海大數據一體機是面向大數據存儲、處理、展現全環節、軟硬一體化的方案型產品，目的是突破原有架構的擴展瓶頸和新技術條件下的客戶應用門檻。浪潮云海大數據一體機集成了計算單元、存儲單元、通信單元、管理單元等核心模塊， 能夠覆蓋數據的存儲、處理、展現等所有技術環節。云海大數據一體機經過全局性的優化，性能、可用性、效率等關鍵技術指標方面有了大幅提升。浪潮公司采用硬件加速技術，設計了專門的FPGA模塊固化特定算法，并集成多級緩存,數據排序性能提高了 50%以上。另外，系統任務調度策略是影響系統響應及時性的重要技術，浪潮公司開發了動態調整任務執行模塊，有效減少了慢任務數量。任務執行時間平均縮短16%。同時，副本數量和存儲效率是難以凋和的矛盾，浪潮引入Reed-Solomon算法，優化分布式散列數據布局，在滿足文件高并發和高帶寬雙重需求的同時平衡數據冗余度.所設計的兩副本加編碼的方式相對三副本最大可實現30%空間節省。

書名：電力大數據：能源互聯網時代的電力企業轉型與價值創造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業出版社