2014年4月10日-12日,第五屆中國數據庫技術大會(DTCC 2014)在北京五洲皇冠國際酒店拉開序幕。在為期三天的會議中,大會將圍繞大數據應用、數據架構、數據管理、傳統數據庫軟件等技術領域展開深入探討,并將邀請一批國內頂尖的技術專家來進行分享。本屆大會將在保留數據庫軟件應用實踐這一傳統主題的基礎上,向大數據、數據結構、數據治理與分析、商業智能等領域進行拓展,以滿足于廣大從業人士和行業用戶的迫切需要。

自2010年以來,國內領先的IT專業網站IT168聯合旗下ITPUB、ChinaUnix兩大技術社區,已經連續舉辦了四屆中國數據庫技術大會,每屆大會與會規模超千人,大會云集了國內水平最高的數據架構師、數據庫管理和運維工程師、數據庫開發工程師、研發總監和IT經理等技術人群,是目前國內最受歡迎、人氣最高的的數據庫技術交流盛會。今年是中國數據庫技術大會五周年,大會將繼續秉承分享IT最佳應用實踐的宗旨,圍繞傳統數據庫和大數據兩條技術主線,在目前IT技術和管理快速的大背景下,更加深入地探討數據庫技術的現狀和未來的發展方向,以及我們在這個轉型過程中的實踐經驗和教訓。
在4月10日上午的《數據庫技術探索》主題演講中,來自中國移動研究院云計算系統部總經理助理錢嶺先生,為我們分享了關于《電信運營商大數據平臺和應用實踐》的相關話題,其中主要包括兩個部分,電信運營商大數據面臨的挑戰和“大云”大數據平臺的研發。
電信運營商大數據面臨的挑戰
在談到電信運營商在大數據時代的優勢和機遇時,錢嶺表示,通信記錄著人們在現代社會的信息指紋,比如:電話號碼的背后是人的行為;流量的分析和內容檢測是人的需求等等。我們可以結合自身的特殊數據來尋找潛在的資源。大數據給電信運營商帶來了很好的發展機遇,通過一些結合社會化的數據,可以提高用戶的體驗;通過個人位置信息的分析、匹配,可以提供創新服務。數據的結合,在公共衛生、疾病防治、金融保險等方面都會發揮作用。
大數據給運營商從技術和業務兩個層面都帶來挑戰。從技術來講,主要是數據的管理、采集、分析不足。數據量的增加使得運營商傳統的處理數據和存儲壓力增大,數據類型的多樣化使得傳統數據處理窗口難以處理。另外,運營商知道用戶訪問過哪些網站,但是不知道用戶究竟看了哪些內容;或者知道用戶在哪個地址,但是不知道用戶在哪個地點。在數據分析方面,運營商希望復合關聯,希望快速實施,但事實上,現有的DPI的分析僅僅用了幾張報表。數據散落在各種系統中無法進行有效的采集、分析。
電信業近十年來的變革,是電信運營商上百年的歷史上都是不曾有過的。尤其是,今年來以來,4G技術突飛猛進,移動互聯網日益普及,電信運營商的各種商業模式隨之被打破。盡管電信運營商一直積極地優化4G網絡、不斷加強WLAN的部署,中國移動也已經開始力推LTE,但網絡的持續擴容與升級并未給電信運營商帶來十分可觀的收入,三大運營商的傳統業務和整體固網業務都受到了移動互聯網的巨大沖擊,增長趨緩甚至下滑。
不僅如此,在大數據時代,電信運營商還面臨著來自數據、管理方面的巨大挑戰。海量的半結構化和非結構化的數據大大降低了數據處理的效率,給運營商帶來了巨大的數據存儲和讀寫壓力。如若不能縮短數據處理的周期,很多數據的價值都會被極大地稀釋。此外,龐大的數據規模和復雜的數據種類也給運營商帶來了管理層面的難題。對于電信運營商自身而言,每一個省、市公司都是相對獨立的,僅一個省的單月計費清單數量就多達數十億條,而大數據時代要求跨地域、跨業務的數據整合和分析,對運營商統一的數據整合和管理能力提出了非常高的要求。

