1.1 大數(shù)據(jù)的興起與發(fā)展

“大數(shù)據(jù)”概念的提出可以追溯至20世紀(jì)90年代，最初只是對(duì)一些在一定時(shí)間內(nèi)無(wú)法用傳統(tǒng)方法進(jìn)行抓取、管理和處理的數(shù)據(jù)的統(tǒng)稱(chēng)a 1997年，美國(guó)宇航局研究員邁克爾•考克斯和大衛(wèi)•埃爾斯沃斯首次使用“大數(shù)據(jù)”這一術(shù)語(yǔ)來(lái)描述超級(jí)計(jì)算機(jī)模擬飛機(jī)周?chē)臍饬鞫傻拇罅啃畔ⅰ?/p>

2002年起，美國(guó)政府開(kāi)始采用大規(guī)模數(shù)據(jù)挖掘技術(shù)來(lái)阻止恐怖主義活動(dòng)。美國(guó)國(guó)防部通過(guò)整合各政府部門(mén)的數(shù)據(jù)庫(kù)，建成一個(gè)通過(guò)篩選通信、犯罪、教育、金融、醫(yī)療和旅行等記錄從而識(shí)別出可疑人的大數(shù)據(jù)平臺(tái)。到2010年，美國(guó)國(guó)家安全局的30000名員工共攔截和存儲(chǔ)了17億封可疑電子郵件、電話和其他信息。

從2009年開(kāi)始，互聯(lián)網(wǎng)數(shù)據(jù)以毎年50%，毎兩年翻一番的速 度增長(zhǎng)。截至2012年，全世界每天產(chǎn)生2.5艾(2.5X1018)字節(jié)的數(shù)據(jù)。全球互聯(lián)網(wǎng)企業(yè)都意識(shí)到“大數(shù)據(jù)”時(shí)代的來(lái)臨.數(shù)據(jù)對(duì)于企業(yè)基于著重要意義。

2011年5月，麥肯錫全球研究院發(fā)布題為《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》的報(bào)告。報(bào)告發(fā)布后，“大數(shù)據(jù)”迅速成為計(jì)算機(jī)行業(yè)的熱門(mén)概念。

2012年1月，達(dá)沃斯論壇發(fā)布的名為《大數(shù)據(jù)，大影響》的報(bào)告稱(chēng)：就像貨幣或黃金一樣，數(shù)據(jù)已成為一種新的經(jīng)濟(jì)資產(chǎn)類(lèi)別。同年3月，奧巴馬政府發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，并投資2億美元啟動(dòng)了“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，希望通過(guò)大數(shù)據(jù)技術(shù)提高收集海量數(shù)據(jù)、分析萃取信息的能力，加快改革美國(guó)國(guó)家安全、科學(xué)和研究的步伐，以及引發(fā)教育和學(xué)習(xí)的變革。同年7月，時(shí)任美國(guó)國(guó)務(wù)卿希拉里•克林頓宣布了一個(gè)名為“數(shù)據(jù)2X”的公私合營(yíng)企業(yè)，用來(lái)收集統(tǒng)計(jì)世界各地的婦女和女童在經(jīng)濟(jì)、政治和社會(huì)地位方面的信息。與此同時(shí)，聯(lián)合國(guó)發(fā)布政務(wù)白皮書(shū)《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)和機(jī)遇》，建議聯(lián)合國(guó)成員國(guó)開(kāi)發(fā)大數(shù)據(jù)潛在價(jià)值。

2014年4月，世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回報(bào)與險(xiǎn)”為主題 發(fā)布了《全球信息技術(shù)報(bào)告》。報(bào)告認(rèn)為，全球大數(shù)據(jù)產(chǎn)業(yè)的日趨活躍，技術(shù)演進(jìn)和應(yīng)用創(chuàng)新的加速發(fā)展，使各國(guó)政府逐漸認(rèn)識(shí)到大數(shù)據(jù)在推動(dòng)經(jīng)濟(jì)發(fā)展、改善公共服務(wù)，乃至保障國(guó)家安全方面的重大意義。

然而，大數(shù)據(jù)究競(jìng)是什么?

麥肯錫公司認(rèn)為，大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處現(xiàn)的數(shù)據(jù)集合。

維基萬(wàn)科認(rèn)為，大數(shù)據(jù)由巨型數(shù)據(jù)集組成，所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理，并整理成為人類(lèi)所能解讀的信息。

Gartne公司認(rèn)為，大數(shù)據(jù)是大量、高速及(或)多變的信息資產(chǎn)，它需要新型的處理方式去促成更強(qiáng)的決策能力、洞察力與優(yōu)化處理：大數(shù)據(jù)具基于3V特征;量( Volume )、速(Vefcity )與多變(Variety )的特點(diǎn)。 另外，基于些機(jī)構(gòu)在3V之外還定義了第4個(gè)V:真實(shí)性 (Veracity )為第四特征。

隨著時(shí)間的推移,人們對(duì)于大數(shù)據(jù)這一概念基于了普遍的認(rèn)知。 現(xiàn)今，大數(shù)據(jù)的廣義定義是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。

隨著信息通信技術(shù)的不斷進(jìn)步，數(shù)字化、信息化已經(jīng)滲透進(jìn)我們生活的各個(gè)方面，成為重要的生產(chǎn)因素。IDC編制的年度數(shù)字宇宙研究報(bào)告《從混沌中提取價(jià)值》表明，當(dāng)前，大數(shù)據(jù)在公共管理、零售、互聯(lián)網(wǎng)、電信、金融等眾多行業(yè)快速推廣，市場(chǎng)規(guī)模迅速擴(kuò)大：2012年我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模已達(dá)7760萬(wàn)美元，預(yù)計(jì)到2016年將達(dá) 6.17億美元，而全球規(guī)模將達(dá)238億美元，世界已進(jìn)入“數(shù)字摩爾時(shí)期”，全球數(shù)據(jù)量大約每?jī)赡攴环簭娜祟?lèi)文明出現(xiàn)到2003年，人類(lèi)總共產(chǎn)生了 5EB (百億億字節(jié))數(shù)據(jù)，而這僅是當(dāng)前人類(lèi)社會(huì)兩天的數(shù)據(jù)量。我們正處于數(shù)據(jù)世界一個(gè)重要?dú)v史爆發(fā)期的邊緣，數(shù)據(jù)是資產(chǎn)與財(cái)富的觀念已深入人心，人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。大數(shù)據(jù)超過(guò)了傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的處理能力，為了獲得數(shù)據(jù)中的價(jià)值，必須選擇新的方式進(jìn)行處理，大數(shù)據(jù)應(yīng)用已是大勢(shì)所趨，“大數(shù)據(jù)時(shí)代”已然到來(lái)。

圖1-1 全球數(shù)據(jù)量

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展將呈現(xiàn)出三大趨勢(shì)：第一，應(yīng)用軟件泛互聯(lián)網(wǎng)化;第二，行業(yè)垂直整合，越靠近終端用戶(hù)的公司，在產(chǎn)業(yè)鏈上將擁基于更大的發(fā)言權(quán);第三，數(shù)據(jù)成為資產(chǎn)a三大趨勢(shì)都是圍繞數(shù)據(jù)展開(kāi)的。泛互聯(lián)網(wǎng)化是收集數(shù)據(jù)的重要渠道，沒(méi)基于泛互聯(lián)網(wǎng)化的應(yīng)用軟件，公司就難以獲得用戶(hù)的行為數(shù)據(jù)：行業(yè)垂直整合趨勢(shì)在數(shù)據(jù)運(yùn)用層面，通過(guò)搜集大量的用戶(hù)數(shù)據(jù)，更貼近用戶(hù)，更理解用戶(hù)，為其提供更適用的服務(wù);數(shù)據(jù)成為資產(chǎn)，更強(qiáng)調(diào)數(shù)據(jù)的戰(zhàn)略意義。

圖1-2大數(shù)據(jù)的發(fā)展歷程

隨著數(shù)據(jù)資源在各行各業(yè)所發(fā)揮的重要作用口益凸顯，其價(jià)值已經(jīng)得到了廣泛認(rèn)可，數(shù)據(jù)在為商業(yè)和消費(fèi)者創(chuàng)造價(jià)值方面具基于巨大的發(fā)展?jié)摿Α?shù)據(jù)已經(jīng)成為可以與物質(zhì)資產(chǎn)和人力資本相提并論的重要的生產(chǎn)要素，大數(shù)據(jù)的發(fā)展將與生產(chǎn)力的提高產(chǎn)生直接關(guān)系， 它將是繼傳統(tǒng)IT之后下一個(gè)提高生產(chǎn)率的技術(shù)前沿。未來(lái)，大數(shù)據(jù)的使用必將成為提高競(jìng)爭(zhēng)力、生產(chǎn)力、創(chuàng)新能力以及創(chuàng)造消費(fèi)者盈余的關(guān)鍵要素。

書(shū)名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時(shí)代的電力企業(yè)轉(zhuǎn)型與價(jià)值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴(lài)征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社