大數據“落地”必須邁過“三道坎”
大數據無疑是當今的時髦詞匯。不管是云計算、社交網絡,還是物聯網、移動互聯網和智慧城市,都要與大數據扯上關系。各種與大數據有關的會議、文章、書籍鋪天蓋地。有人談論大數據時代的公民生活,也有人談論大數據時代網絡反腐,仿佛一夜之間我們就進入了大數據時代。
大數據引發“思想啟蒙”
國際上,大數據還真是熱火朝天,各方都在積極行動。一方面,政府積極介入推動。2009年,聯合國啟動“全球脈動計劃”,借大數據推動落后地區發展。2012年1月,世界經濟論壇年會把“大數據、大影響”作為重要議題。美國從開放政府數據、開展關鍵技術研究和推動大數據應用三方面布局大數據產業。美國在開放政府數據上非常積極,通過Data.gov開放37萬個數據集,并開放網站的API和源代碼,提供上千個數據應用。除了推動本國政府數據開放,美國倡導發起全球開放政府數據運動, 已有41個國家響應。美國政府還投資兩億美元促進大數據核心技術研究和應用,把大數據放在與集成電路、互聯網同等重要的位置,從國家層面推進。
另一方面,資本市場也對大數據鐘愛有加。2012年4月,大數據分析公司Splunk首次公開上市發行股票,引發投資者關注。12月初,為企業市場提供Hadoop解決方案的創業公司Cloudera在E輪融資中獲得6500萬美元融資,估值約為7億美元。近期,高盛聯席主席斯科特·斯坦福說:“投資大數據及其運用回報率最高。”大數據領域的企業并購熱度也在上升,在單筆平均并購金額方面,大數據超過云計算位居IT領域榜首,在總并購額上也位居第二。
在各方力量的推動下,大數據科研和產品開發逐漸活躍起來。一個新概念的興起,最初往往會有人快速地“新瓶裝舊酒”。已經存在好多年的商業智能、數據倉庫等技術被重新包裝,以大數據系統的面目出現在市場上。這也使人困惑:到底大數據與傳統數據分析技術有什么差別?可以說大數據最重要的特征是將數據處理的對象擴展到互聯網級別(Internet Scale),技術上的進展主要包括:一、單數據集達到PB級別;二、非結構化占主流;三、幾天至數秒內完成高速處理。技術形成了批處理、流處理和交互分析三種計算模式。離線批處理(Batch Processing)技術以MapReduce和Hadoop系統為代表,實時流處理(Stream Processing)技術以Yahoo的S4系統和Twitter的Storm系統為代表,交互式分析(Interactive Analysis)技術以谷歌的Dremel系統為代表。
大數據的火暴,也帶動了國內學術界、產業界和政府對大數據的熱情,但筆者認為其更大意義應在于喚醒了人們對數據的重視。2012年以來,中國計算機學會、中國通信學會先后成立了大數據委員會,研究大數據中的科學與工程問題,科技部的《中國云科技發展“十二五”專項規劃》和工信部的《物聯網“十二五”發展規劃》等都把大數據技術作為一項重點予以支持。雖然這些舉措著眼長遠,短期難以看到效果,但這種熱潮的確觸發了一場“思想啟蒙”運動,使得“大數據是資產,不是包袱”、“要拿數據說話”等觀念逐步深入人心,改變了以往不重視數據積累、不相信數據分析等認識。有了這種思維模式的改變,大數據的應用就有了希望。
大價值還是大“忽悠”?
炒作歸炒作,但真正可以落地或者已經落地的應用有哪些?在哪里?聯合國“全球脈動(Global Pulse)”去年5月發布的報告,給出了用Twitter預測大米價格、用谷歌趨勢(Google trends)跟蹤登革熱疫情等生動案例;美國中央情報局官員也披露大數據在幫助他們追捕恐怖分子方面立下功勞;有人聲稱成功利用Twitter預測了本屆美國大選。這些聽起來很炫的案例在各種場合被人們反復引用。各大咨詢公司和解決方案提供商也都盡力挖掘大數據的應用場景。但實際看到的大規模應用案例除了互聯網搜索引擎、電商和社交網

責任編輯:廖生玨
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市