大數據不是沒用而是不太好用
大數據這個詞現在已然不再是IT圈的“專利”了,從去年的春晚,到剛剛過去的兩會,都能見到它的身影,但實際上春晚與兩會的數據都只能叫做小數據,它與真正的大數據還相差甚遠。即便如此,數據所產生的價值已經被人們所認知。
就大數據來說,它的發展可以分成三個階段,第一個階段是組織內部的數據,這些數據通常都是結構化的數據,我們一般將這些數據進行分類、排序等操作,將相同類型的數據進行對比、分析、挖掘,總而言之基本上都是統計工作。到了第二階段,數據的范圍擴大到行業內,各種各樣的應用數據出現,數據量大規模增長,尤其是非結構化數據的出現。典型的像視頻、圖片這一類的數據,在這一階段的特點就是非結構化和結構化數據并存,且數據量巨大,要對這些數據進行分析是我們目前現階段所處在的狀態。
第三階段則是未來大數據發展的理想化狀態,首先它一定是跨行業的,且數據的范圍是整個社會。通過對這些數據進行分析加以使用,將直接改變我們的生活方式,這也是現在很多企業所設想的未來交通、醫療、教育等領域的發展方向。
大數據太大不敢用
第三個階段是我們所憧憬的,但在我們所處的第二階段面對的更多是問題。其中的一個問題就是“大”。大數據給人最直觀的感受就是大,它所帶來的問題不僅僅是存儲,更多的是龐大的數據沒辦法使用,以交通為例,從2001年開始在北京的主干道上都增設了一些卡口設備,到了今天基本上大街小巷都能看到。
這些設備每天所拍攝的視頻及照片產生的數據量是驚人的,僅照片每天就能產生2千萬張,而解決這些數據的存儲只是最基本的任務,我們更需要的是使用這些數據。例如對套牌車輛的檢查,對嫌疑車輛的監控,當你想要使用這些數據的時候,傳統的數據庫以及系統架構,放進這么龐大的數據,是根本跑不動的。這一問題導致很多企業對大數據望而卻步。
大數據太難不會用
說到大數據的使用,自然離不開Hadoop,Hadoop本身提供了分布式系統中兩個最重要的東西:分布式存儲(HDFS)和分布式計算(Mapreduce)。這兩者解決了處理大數據面臨的計算和存儲問題,但更為重要的是,為開發大數據應用開辟了道路。
Hadoop是目前解決大數據問題最流行的一種方式,但其仍然有不成熟的地方,曾作為雅虎云計算以及Facebook軟件工程師的Jonathan Gray就表示:“Hadoop實施難度大,且復雜,如果不解決技術復雜性問題,Hadoop將被自己終結。”正是由于這樣的原因,Gray創辦了自己的公司——Continuuity,這家公司的目標就是在Hadoop和Hbase基礎上創建一個抽象層,屏蔽掉Hadoop底層技術的復雜性。由此可見想要用好大數據又是一大考驗。
大數據太貴用不起
Hadoop的特點就是讓你可以使用廉價的x86設備來完成大數據的業務,但事實上如果你真想要用它來完成某些商業任務你還得是個“土豪”。在國外那些使用大數據的成功案例里,亞馬遜曾給出過這樣一組數字,NASA需要為45天的數據存儲服務支付超過100萬美元。像Quantcast這樣的數字廣告公司,同樣也是花費了巨額的資金用在Hadoop技術上,來根據自己的需求定制系統。從上面兩個案例來看用于商業用途的大數據現階段還是很費錢的,隨著大數據軟件環境逐漸成熟,開發工具增多,價格在未來會逐漸降低。
從上面羅列的這三點困難,其實并不是要給大數據潑冷水,而是想說大數據想要淘金并不簡單,首先在做大數據之前,好好盤點一下自己擁有的資源,不僅僅是數據資源,還包括知識與技能。確定了自己的能力之后,選擇一個能夠發揮你現有資源最大價值的項目。如果你需要幫手,應先考慮商業顧問,再考慮技術人才。為了解答一個生意上的困惑花下的錢,叫作投資,而把錢投到一個擁有特殊技能的IT人才身上,那就叫沉沒成本。當你有了這些之后,選擇更靈活且可擴展的工具,為以后的擴充打好基礎。更重要的是——從小規模做起。
也許不遠的將來,大數據分析會成為企業必備技能。但那一天還遠遠未曾到來。當那些供應商花了上百萬美元布局大數據分析時,你可以放心,你并沒有錯過什么。而且你的錢花到了更需要的地方,獲得了更多的效率和價值。
責任編輯:張星光
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市