
自國外研究機構麥肯錫的一份研究報告提出“大數據”概念后,經過過國外媒體的后續跟進報道,引起IT界一片不小嘩然,逐漸成為人們耳熟能詳的概念,一舉成為目前各大論壇必談話題的座上賓。
概念背后所折射出的價值有多大和覆蓋的產業有多廣,真的如媒體所說,將是所有企業下個金礦的開始,以及下一波IT技術革命到來的前夜?目前從企業CIO聲音來看,還是值得商榷的。
此時也許聽聽真正奮戰在企業IT生態系統建設一線的CIO們的聲音,比跟隨概念有意義的多,他們的聲音也許才是決定未來大數據落地的關鍵因素。從他們的表述中來認識以及分析大數據在企業落地的實際情況以及與概念之間的距離,才是IT企業應用大數據真正意義的一件事。
不可否認的是,隨著互聯網搜索業務、電子商務以及社交網絡的快速發展,大量的用戶個人信息、交易信息、轉賬信息被積累起來,經過數年的快速發展,數據量的快速增長為大數據落地提供了真正的保障。
而傳統企業,對大數據認識及應用又是一個什么樣的現狀,在中外運CIO劉閩生看來,大數據對電子商務、社交網絡、搜索引擎價值不言而喻,對傳統企業,為了帶來更加便利的客戶服務價值,時而會分析經營業務過程中所產生的數據也是彰顯大數據價值的一面,但還未到業界說的那般應用火爆場面。
企業關注落地數據
互聯網的快速發展催生出類似谷歌、Facebook、亞馬遜以這樣的世界級的企業,用戶在使用這些互聯網服務時能夠產生大量的數據,谷歌產生用戶的搜索行為數據、Facebook產生個人結構化與非結構化信息數據、亞馬遜產生用戶網上交易的結構化數據,這些企業通過多年發展積累下來的數據對企業來說是一筆有待挖掘的數據金礦,數據背后承載的也是企業未來發展風向標,大數據對互聯網企業沒有夸大其詞,劉閩生說。
互聯網企業談的大數據,是建立在產生大量數后形成數據倉庫,其中數據倉庫中有結構化與非結構化的數據,而非結構化數據包括文字信息、多媒體信息、圖片信息,將這些集成起來即是所謂大數據。
但傳統企業不這樣認為,企業不會將不同種類的數據進行集成。經過企業有目的安排將數據與文件相隔開,存儲在不同的位置,然后處理已經分好類的數據。同時傳統企業數據的類型在中外運CIO劉閩生看來,只有結構化數據。
企業很難產生非結構化數據原因在于傳統企業是經營活動的主體,經營過程在企業原有業務結構基礎上必須是結構化的數據來支撐,一般企業數據都是事先計劃或者分析架構產生的數據,產生的數據一定是結構化。
對成立于2002年集海運、陸運、空貨運、倉儲碼頭服務、快遞、船務代理及貨運代理業務于一身的服務體系的中外運來說,在日常經營過程中產生的數據量相比傳統其他類型的企業所產生結構化數據已經很多,但相比互聯網產生的PB級數據量相比,中外運只能達到二十多個TB數據量大小。
其中,中外運在日常運營過程中所產生的主要數據來自于,運輸目的地、發運港、運輸方式、結算方式、支付方式,貨幣兌換價等最后形成一條數據記錄。從集裝箱開始到運到碼頭,報關、商檢、裝上船。上船后須通知客戶什么時候結算,運費多少等最后同樣會產生一條數據。以及2003年中外運將全國接近500個核算單位的企業財務系統 集中北京總部后,數據每月會達到一千萬條單票行。
這些數據中外運是如何處理并得到最大化應用的?在劉閩生看來數據處理分為兩部分來處理,實時處理和非實時處理,實時的業務處理是將當時業務操作需要的一些數據。
分析客戶過去累積的數據時,歷史數據表現良好,而不代表目前幾個月的客戶數據一直保持良好記錄,此時為調查用戶過去數據記錄的行為稱為實時數據處理,處理過程中為了提高質量與速度,采用分段式處理,提高處理效率,劉閩生說。
比如與客戶簽單時,先查他過去信譽情況如何,在國內物流運輸的倉儲、汽車運輸、鐵路運輸、航空運輸各個環節的案例里面有沒有欠賬,多個業務系統都要走完一遍,才能給他一個結算。
而這些數據是如何處理并得到有效應用的,中外運在數據處理上,每月會根據業務所積累的數據作一次數據整理,然后將其存儲在固定地方。
CIO頻道人物視窗
CIO頻道方案案例庫
大數據建設方案案例庫
電子政務建設方案案例庫
互聯集成系統構建方案案例庫
商務智能建設方案案例庫
系統集成類軟件信息研發企業名錄