大數(shù)據(jù)真正開始做始于去年，通過兩年的嘗試、積累，思路已有，但離成功還很遠。一些國外的大數(shù)據(jù)案例、大數(shù)據(jù)故事無非是商務智能（BI）、數(shù)據(jù)倉庫（BW）的改頭換面，新瓶裝舊酒而已。就如數(shù)據(jù)倉庫一樣，建設了近20年才讓每個企業(yè)真正承認其價值，大數(shù)據(jù)也不能期望很快就獲得成功，需要一個沉淀時間。

    大數(shù)據(jù)發(fā)展可以用一個波浪式的圖來形容，現(xiàn)在還處于第一個峰頂，必須經(jīng)過低谷再升起，幾輪反復。這期間，大家可能會看到許多大數(shù)據(jù)真實的案例，不管是成功的還是失敗的都會給我們啟示。只要嘗試了就不一定完全失敗，就如數(shù)據(jù)倉庫建設，幾年前很多報告都顯示80%的項目失敗，但仔細分析后發(fā)現(xiàn)，只是在發(fā)展過程當中沒有達到預期價值而已。前人淌過的路，后邊的人可以少走一些雷區(qū)。

    以前，由于可獲得的數(shù)據(jù)量比較小，為此我們必須盡量準確的記錄下所獲得的所有數(shù)據(jù)，做出個KPI供領導參考，采樣過程的精確度被放在重要的地位。顯然，這種對精確性的執(zhí)著是信息缺乏時代的產(chǎn)物。大數(shù)據(jù)時代，數(shù)據(jù)的收集問題不再成為困擾，采集全量的數(shù)據(jù)成為現(xiàn)實，但海量數(shù)據(jù)的涌現(xiàn)一定會增加數(shù)據(jù)的混亂性且造成結果的不準確性，如果仍執(zhí)迷精確性，那么將無法應對這個新的時代。

    大數(shù)據(jù)通常都用概率說話，且大數(shù)據(jù)處理之前是可以對之進行清洗從而減少部分的錯誤數(shù)據(jù)。所以，與致力于避免錯誤相比，對錯誤的包容將會帶給我們更多信息。其實，允許數(shù)據(jù)的混雜性和容許結果的不精確性才是我們擁抱大數(shù)據(jù)的正確態(tài)度，只要做到10%準確結果，能夠達成業(yè)務數(shù)十倍的增長即可，這是真正的大數(shù)據(jù)思維，未來我們應當習慣這種思維。

    大數(shù)據(jù)不是一個純技術問題，會包含很多管理、業(yè)務方面的內(nèi)容。并不是說，購買了一套數(shù)據(jù)挖掘工具，組建了一個Hadoop環(huán)境，就能稱為做了大數(shù)據(jù)。除了設備、技術上的投資，企業(yè)還需要從組織結構、人員意識、管理方式、企業(yè)文化等方面都有一個轉變。大數(shù)據(jù)的前期準備工作很多，這是一種思維上的全面變革。大家都是摸著石頭過河，走一步想一想，然后再走一步再想，直到最后成功上岸。

    在這樣的一個過程當中，人們的思想還要跟隨大數(shù)據(jù)技術的發(fā)展不斷更新，同時也要對一些過去的想法進行糾正和改變。當然，這個時間不會像以前數(shù)據(jù)倉庫那樣花費20年，大數(shù)據(jù)可能會縮短一半時間。因為數(shù)據(jù)倉庫時代是從無到有，而大數(shù)據(jù)時代是從有到更好，人們已經(jīng)從建設數(shù)據(jù)倉庫中積累了很多的經(jīng)驗、技術、教訓，甚至有效的管理方法，可以很好地借鑒。

    新興的大數(shù)據(jù)技術提供了非常有效的手段，讓人們可以花很低的代價去分析、處理非結構化的數(shù)據(jù)，但是這些非結構化數(shù)據(jù)有一個特點，就是密度還很低，它遠不如結構化數(shù)據(jù)有非常高的價值密度，可能100G的非結構化數(shù)據(jù)，最終有效的才1G。這表明，非結構化數(shù)據(jù)是對數(shù)據(jù)完整度的很大補充，但是并不能說大數(shù)據(jù)就是做非結構化數(shù)據(jù)，其實最終的目的還是要發(fā)掘數(shù)據(jù)價值。另外一方面，傳統(tǒng)的數(shù)據(jù)倉庫已經(jīng)能夠完成現(xiàn)有結構化數(shù)據(jù)90%的利用程度，在這種背景下，人們才會把大數(shù)據(jù)的焦點放在對非結構化的處理上。

    當前，非結構化數(shù)據(jù)大量產(chǎn)生，如機器日志、傳感器的數(shù)據(jù)、社交媒體的數(shù)據(jù)，都是以非結構化形式存在，而傳統(tǒng)的方式對這些數(shù)據(jù)的處理能力比較欠缺。如果用木桶效應來比喻，首先要把這個短板補上，與結構化數(shù)據(jù)處理的效率和能力齊平之后，更多的就是圍繞數(shù)據(jù)如何使用來進行更深一步的研究。還要認識到一點，大數(shù)據(jù)技術能夠處理半結構化、非結構化的數(shù)據(jù)，不過，這些數(shù)據(jù)總是要轉換成結構化的數(shù)據(jù)才能分析，算法可能輸入的是非結構化的，如視頻信息，但是剛進來不到10秒就變成結構化，最后顯示出來的還是表格式結構化的結果。

    在紛繁雜亂的大數(shù)據(jù)面前，沒有良好的數(shù)據(jù)質(zhì)量，沒有更加良好的數(shù)據(jù)管理策略，用于業(yè)務應用的投資將隨著應用組合在企業(yè)內(nèi)的增長和擴展而日漸縮水。做大數(shù)據(jù)，90%的企業(yè)走的路子都不可能實現(xiàn)放煙花式的很炫效果，他們首先還是要踏踏實實地解決數(shù)據(jù)整合、數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理等問題，而這些恰恰是Informatica公司的核心競爭力所在。

    現(xiàn)在，越來越多的企業(yè)從以前的粗獷式數(shù)據(jù)管理方式向精細化方向發(fā)展，更加注重數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理，注重全數(shù)據(jù)視圖的構建等等。目前，Informatica已經(jīng)有了11個方面，30多小項的解決方案，Informatica數(shù)據(jù)集成平臺提供了將數(shù)據(jù)轉化為可信、可行且可靠的信息資產(chǎn)所需的全部功能，可以隨時隨地集成任何的數(shù)據(jù)碎片、控制企業(yè)內(nèi)或“云中”數(shù)據(jù)、高速傳送數(shù)據(jù)、與合作伙伴共享數(shù)據(jù)、查找并解決數(shù)據(jù)質(zhì)量問題、給予您憑借數(shù)據(jù)主動采取行動的能力、創(chuàng)建針對最重要數(shù)據(jù)資產(chǎn)的可靠視圖等等，這些技術組合能夠天衣無縫地配合運作，且可通過有效利用硬件基礎設施來降低總體擁有成本，實現(xiàn)更精細化數(shù)據(jù)管理。

    近兩年，國家政府著重強調(diào)信息安全，企業(yè)都非常關注數(shù)據(jù)安全問題。敏感的個人、財務和健康信息受到多種不同行業(yè)和政府數(shù)據(jù)隱私法規(guī)的管制，如果企業(yè)無法保持數(shù)據(jù)隱私，他們就會面臨嚴重的財務和法律懲罰，同時還會在客戶與市場信心方面蒙受可觀損失。在這種情況下，數(shù)據(jù)脫敏技術應運而生，并且在最近兩年，開始被越來越多的企業(yè)用戶所采用。Informatica在數(shù)據(jù)讀取和使用兩方面使用動態(tài)或靜態(tài)的數(shù)據(jù)脫敏手段來保證數(shù)據(jù)的隱私，在保存數(shù)據(jù)原始特征的同時改變它的數(shù)值，從而保護敏感數(shù)據(jù)免于未經(jīng)授權的訪問，同時又可以進行相關的數(shù)據(jù)處理。

    2014年，Informatica數(shù)據(jù)安全方案因滿足市場熱點需求而成為業(yè)務增長較快的單元。而另一種市場需求很大的是數(shù)據(jù)歸檔類方案。企業(yè)經(jīng)過幾年發(fā)展，積累了大量歷史數(shù)據(jù)希望存檔，Informatica提供了一些運算、存儲等系列新技術，能夠對歷史數(shù)據(jù)進行歸檔、留存及分析，實現(xiàn)全生命周期數(shù)據(jù)的管理。

    大數(shù)據(jù)時代最缺乏的是什么？是對數(shù)據(jù)能夠有效掌握和分析的人，這不僅僅是指高端的數(shù)據(jù)分析專家，更是包括能夠有效的獲取和利用數(shù)據(jù)價值的企業(yè)業(yè)務人員。Informatica IDP（Intelligent Data Platform）智能數(shù)據(jù)集成平臺，可以讓業(yè)務部門成為真正數(shù)據(jù)受益者，IDP直接面向業(yè)務部門，將人員、位置與事物以更加智能的方式緊密相連，業(yè)務人員可以根據(jù)自己的需求，自助式的獲得他所要的數(shù)據(jù)。

    從實現(xiàn)手段來看，IDP并不是一個IT工具，更像是一個平臺，包括數(shù)據(jù)的自助式服務、數(shù)據(jù)的虛擬化等等，這些方法從底層通過技術的手段將各種各樣的數(shù)據(jù)呈現(xiàn)到最終業(yè)務用戶面前，讓他們自由地選擇希望使用、瀏覽、分析什么樣的數(shù)據(jù)，甚至能夠參與到數(shù)據(jù)的操作過程中來。目前IDP還沒有落地的產(chǎn)品，但是從發(fā)展理念來看，這是將Informatica傳統(tǒng)業(yè)務、優(yōu)勢產(chǎn)品與智能化產(chǎn)品進行組合的一整套解決方案。