浩瀚深度劉彤解讀大數據分析之道

2014-08-28 22:16:45 中國信息產業網　點擊量：評論 (0)

主持人：彭超中國信息產業網常務副總裁訪談嘉賓：劉彤北京浩瀚深度信息技術股份有限公司副總裁北京浩瀚深度信息技術股份有限公司副總裁劉彤做客中國信息產業網(點擊播放)精彩觀點·大數據本身雖然叫大數據，

主持人：剛剛說到，在大數據采集方面技術已經不是大問題，但是在對數據進行多維度疊加分析時，每疊加一個維度所帶來的計算量的差別，是什么樣的一個關系？數據的處理能力又會有哪些區別？

劉彤：每做一個維度的疊加必然會帶來數據量的增長，這是一個很簡單的邏輯問題。作為運算來說，維度的疊加會帶來數據量的級數增長，但是在應用場景確定的情況下，數據又是在做收斂的，是在做層層的過濾，而不是層層的疊加，數據是在過濾的過程中做高密度疊加的。在這種情況下，并沒有帶來想象中的數據膨脹，這是大數據和傳統應用系統的一個很大的區別。

以前的關系型數據庫在進行分析時如果疊加維度，疊加到三個以上，處理能力就非常非常慢了，因為在進行數據處理的過程中，需要把每個維度同每一個數據進行關聯，建立關系，這種方法是把全網的數據都進行組合、關聯、疊加，數據處理的效率就會直線下降。

大數據分析的特點是，不是把全部數據都同時疊加，而是在每一個維度都展開分析，在分析的過程中進行過濾篩選。舉個簡單的例子，比如會場里有很多人，這么多人里按男女分類，先把男士挑出來，然后對男士的年齡段進行篩選，先把年齡段在20-40歲的選出來，再從中選出戴眼鏡的，會發現選出的人越來越少，要分析的對象越來越精確，數據量變大了嗎？其實沒有。但是如果同時要得到這些維度在每一個可能分析方向的結果，就等于把所有運算做了一遍。這就帶出了在大數據分析里一個非常核心的要素：選定目標。必須要有一個清晰的工作目標，先有目標，然后進行大數據篩選，而不是對數據進行全面的分析、全量的分析，得出所有的結論，再在結論里去找所需要的東西。

主持人：在對大數據進行分析的過程中，分析方法的差別可能會導致不同的結論，而這些結論也都是基于大數據分析的，如何才能確保制定了目標之后，得到正確的結論？

劉彤：這個問題從分析的角度來說，很難進行解答，因為做大數據的目標選擇，包括分析方法的確定、分析的流程步驟制定，輸出結果，怎么樣去正確的解讀數據結果，是需要經驗的積累的。

大數據分析實際上是數學建模的過程，通過海量數據分析的過程，找到一些模型的規律，根據這些規律總結出相關的結論，而這些規律的搜集和積累過程是必須的，不能憑空拿出一些數據去做分析，馬上得出目標性的結論。

在第一次進行數據分析的時候，實際上是沒有任何參照的，在不知道行業運行方式、數據來源、數據使用方式的情況下去做數據分析是不科學的。數據分析，需要不斷累積經驗，基于數據所包含的信息量確定目標，再通過正確的分析方式，得到正確的結論。

確定目標的過程，是基于對數據的基礎分析判斷，其實在選定目標的時候，目標的制定者已經有了大致的分析計劃表，他知道要進行幾個維度的篩選疊加后能夠逼近分析結論。數據分析工程師在進行數據處理的時候，是依據目標制定者的思路來進行數據的逼近，逼近過程中，核心的保障不在于分析方法，因為分析方法已經確定了，而是在于數據分析的質量：數據是不是準確，是不是全面，是不是可靠，這些數據的有效性、延續性，是不是足夠滿足你的分析。這個過程是慢慢擴大對數據認知的過程，認知程度越深，驗證數據是不是有效可靠的過程就越順利，逼近結果的過程也就越順利，就會變成一個高效率的工作，并且會得出正確的結論。

大數據有一個好處是，在大數據應用的時候并不像傳統數據，展現的時候必須馬上給出結果，大數據的析結果是可以進行調整和修正的，會隨著結果與真實情況的驗證、對比來修正分析方法和模型，以便選擇更有效、更可靠的模型去逼近正確的結論。