【導讀】：傳統的用戶研究包括品牌研究、客戶滿意度研究、商圈研究、市場細分、渠道研究、產品定價研究以及產品測試，這些研究大多數用市場調研的方法來實現。市場調研由于調研方法帶來的諸多問題，導致結果的代表性、準確性以及研究的效率都存在不同程度的挑戰。我們相信，隨著大數據的發展，大數據將對市場與用戶研究方法將帶來革命性的變化。本文將介紹大數據目前在市場與用戶研究方面的應用與探索。

一．大數據用于品牌研究

品牌認知度、品牌形象和品牌滿意度研究是品牌研究的三大重要部分。

品牌認知度是品牌資產的重要組成部分，品牌認知度是衡量消費者對品牌內涵及價值的認識和理解度的標準，同時也是公司競爭力的一種體現。

而品牌形象是品牌在公眾心中所表現出的個性特征，它體現公眾特別是消費者對品牌的評價與認知，以及對品牌所具有的一切聯想。品牌形象分為三個層級的形象：產品或服務本身的形象、使用者的形象、產品或提供者的形象。

品牌滿意度是消費者通過對一個品牌產品或服務的可感知效果與對比預期相比較后，所形成的愉悅或失望的狀態，可以不滿意、滿意、滿足、愉悅等四種情緒，一個擁有高滿意度的品牌，其顧客的購買率及重復購買率也在相應提升，因此品牌滿意度的研究也非常重要。

在傳統的市場研究中，品牌認知、品牌形象和品牌滿意度研究是通過市場調查的手段來實現。在大數據時代，我們可以利用互聯網大數據輔助品牌認知度、品牌形象和品牌滿意度研究。我們可以通過網絡爬蟲技術，對新聞媒體、社會化媒體等網站實時全網監測，實時掌握網民對品牌和競品的品牌提及量、產品提及量以及提及量的趨勢，掌握自己品牌和競爭的品牌形象評價；通過品牌和產品的正負面評論的監測，及時了解對品牌消費者對品牌的滿意度情況，及時發現問題。過去，進行品牌認知度、品牌形象以及品牌滿意度的市場調研，從調查開始到報告產生，至少需要半個月到一個月，而且由于成本和操作性的限制，只能選取一些代表性的人群和地點做代表性的抽樣不夠全面。利用大數據手段，我們可以實現更快更全面以及更真實的統計，這對我們及時的了解品牌認知度、品牌形象以及品牌滿意度的現狀和趨勢非常有幫助。

二．大數據用于忠誠度研究

凈推薦值研究方法是客戶忠誠度研究中的重要方法。凈推薦值（NPS）研究方法由國際知名咨詢公司貝恩咨詢客戶忠誠度業務的創始人佛瑞德·賴克霍徳（Fred?Reichheld）在2003《哈佛大學商業評論》文章“你需要致力于增長的一個數字”的文章中首次提到。該方法通過調查客戶問題“您有多大可能向您的朋友或同事推薦我們公司的產品或服務？（0-10分）”?來獲得，根據客戶的回答分數分成三組：

第一組給公司9分或10分，稱之為“推薦者”(promoters)；他們是對公司產品或服務滿意度和忠誠度非常高的客戶，在當今社會化媒體營銷時代，他們是公司產品或服務免費營銷人員，他們會推薦朋友和親人來購買。

第二組給公司7分或8分，為“被動滿意者”(passively?satisfied)；他們對公司產品或服務既無不滿意，也無滿意的客戶，較易被其他競爭者吸引。

第三組給0至6分，是“貶損者”(detractors)。他們對公司的產品或服務非常不滿意，不僅僅停止購買公司的產品或服務，他們會盡一切可能勸周圍的人不要買，同時會轉向其他競爭者。

NPS值即為推薦者所占百分比與貶低者所占百分比的差值（如下圖）。NPS的業務邏輯是：推薦者會繼續購買并且推薦給其他人來加速你的成長，而貶損者則能破壞你的名聲，不僅僅停止購買，而且勸說周圍朋友購買，讓你在負面的口碑中阻止成長，NPS則是反映了這兩股力量較量的結果。Fred?Reichheld實證研究證明NPS和長期利潤成長有正相關性，NPS表現越好，未來企業利潤的成長就會越好。

圖：NPS計算方法

大家可能會問，NPS分數在多少為比較理想的狀態。實證研究表明，NPS分數在NPS的得分值在50%以上被認為是表現不錯，得分值在70－80%之間則證明公司擁有一批高忠誠度的好客戶（如蘋果、Google等互聯網公司的NPS超過70%），大部分公司的NPS值在5－10%之間，更差的公司NPS還可能是負值。當然，我們僅了解NPS是不夠的，NPS本身不能提供具體的改進意見，我們還需要結合影響滿意度的原因深入研究，尤其是對貶損者指標進行深入的滿意度研究，挖掘“貶損”背后的原因。

大數據技術革新傳統NPS研究方式。大部分NPS的研究其數據獲取方式都采用調查問卷的方式，這種方式很容易受到抽樣方式、客戶心態甚至活動禮品等多方面的影響，導致數據失真。在大數據時代，NPS的數據可以來源于客服系統的語音數據和評價文本數據、電商平臺購物用戶的打分及用戶評論文本數據以及社會化媒體如微博、論壇等的評論文本數據，這些數據我們都稱之為“用戶反饋數據”。我們可以利用語音分析技術、文本分析技術將這些非結構化的“用戶反饋數據”結構化，從而更好的進行數據挖掘，識別“貶損者”和“推薦者”，全面和快速的計算NPS，并可以利用這些大數據，了解“貶損者”的“貶損”的原因。如果還能夠把業務系統和運營系統的“用戶行為數據”關聯整合進來，我們不僅僅通過“用戶反饋數據”了解用戶“貶損”原因，還可以了解“貶損者”的歷史“用戶行為數據，將更有利于我們更好的洞察用戶，更全面、更及時優化“貶損者”的用戶體驗和改進方向；同時可以定向為“推薦者”展開更多的優惠促銷或者附加增值服務。通過大數據手段可以更好的實時掌握NPS，還可以洞察NPS“推薦”或“貶損”的原因，為市場推廣、客戶服務、業務運營等部門的關鍵應用場景提供決策支撐，有利于進一步提升用戶親密度和忠誠度。

三．大數據用于市場細分

市場細分是按照消費者在市場需求、購買動機、購買行為和購買能力方面的差異，運用系統方法將整體市場即全部顧客和潛在顧客劃分為數個不同的消費者群（子市場），以便選擇確定自己的目標市場。市場細分的基礎是購買者對產品需求的差異性。但是，這種差異性一般很難直接度量，故常用其它比較容易度量以及和需求密切相關的變量來對市場進行細分。這些變量包括地理、人口統計學屬性、行為以及消費心態等變量：地理細分是將市場劃分為不同的區域市場，例如可按下列地理特征將市場細分：行政區劃、城市規模、資源狀況和氣候；人口統計學細分人口統計變量來細分市場，常用來細分市場的人口學變量有年齡、性別、民族、居住地、家庭規模與生命周期等；行為和態度細分是根據消費者對產品的購買動機、購買行為和使用情況來細分；心理細分是按消費者的社會階層、生活方式、人格特征劃分為不同的群體。市場細分既可以按照以上單維度細分，也可以組合以上維度進行多重標準細分，同時按照多重標準可以將消費者分為比較小的、同質性更高的群體。

區別于傳統的市場細分，大數據應用于市場細分在以下方面起到更為重要的作用：

數據采集的維度更為全面，數據采集更為實時，尤其是在行為數據的采集更為及時、細膩和全方位；

用大數據算法進行細分模型建模，可以吸納更多的細分維度，從而可以細分出更小、同質性更高的細分群體；

數據更新更快，計算速度更快，市場細分模型更新速度更快，更能及時反映用戶需求的變化，從而可以做出更準確、及時細分；

市場細分可以和營銷渠道、營銷活動進行實時關聯和調優，通過大數據算法判定的細分群體可以實時的進行最有效營銷活動推薦，并可以用大數據計算最為有效推廣渠道觸達這些細分群體。

四．大數據用于產品測試

產品測試指的是企業運用專業的技術手段和研究方法進行以獲得目標消費者（或用戶）對相關產品的認知或評價，以測試新產品的接受度或改進現有產品。產品測試在產品的各生命周期均有應用：

在產品的開發期，產品處于研發和概念階段，此時可以對已有產品進行測試，以了解消費者認為需要改進的方面；或者對尚未成型的產品進行概念性的測試，指導產品經理對正在開放的產品做調整和改進；

在產品介紹期，產品準備投放市場以及剛剛投放市場不久，企業可以通過產品測試以了解最有效的銷售渠道和促銷方式，以及對產品的包裝、價格進行測試；

在產品的成長期和成熟期，企業可以通過自身產品和競爭產品進行對比測試，及時掌握消費者（或用戶）對產品的評價和態度；

在產品的衰退期，為了延長產品生命周期，企業會進行產品的改進或者產品新方向的測試。

以上不同階段的產品測試，傳統的實施方法一般是通過市場調查方式來實現，通常是對消費者（或用戶）進行調查或者訪問，利用多種訪問或調查工具來實現。在大數據和互聯網時代，我們可以用更快和更為準確的方式來進行產品測試：

在產品的開發期，我們可以通過電商平臺或者微博、論壇等社會化媒體對現有產品的網上評論進行收集，通過自然語言處理和數據挖掘手段，以了解消費者的不滿和產品改進方向；或者灰度測試來了解新版本的效果，即讓一部分用戶繼續用老版本，一部分用戶開始用新版本，如果用戶對新版本沒有什么反對意見，那么逐步擴大范圍，把所有用戶都遷移到新版本上面來。灰度測試和發布可以保證整體產品系統的穩定，在初始灰度的時候就可以發現、調整問題。在產品的介紹期，產品的包裝、外觀設計和價格等也可以通過灰度測試和發布的方式來掌握消費者的反饋以進行相關的調優。在產品的成長期和成熟期，我們同樣可以通過大數據手段對電商平臺和社會化媒體收集消費者對自身產品和競爭產品的評論，通過自然語言處理和數據挖掘掌握消費者對產品的不滿，以改進我們自己的產品。像寶潔這種對傳統市場調查非常重視的企業，目前已經逐漸開始利用大數據方式進行產品測試，尤其是通過電商平臺對每一個產品都能收集評價和反饋，幫助產品的改進和創新。

五．大數據與商圈研究以及空間商業智能

商圈是指商店以其所在地點為中心沿著一定的方向和距離擴展所能吸引顧客的范圍。按照離商店的距離，商圈分為三層，包括核心商圈，次級商圈和邊緣商圈。核心商圈是離商店最近，顧客密度最高，約占商店顧客的55%－70%；次級商圈是指位于核心商圈外圍的商圈，顧客分布較為分散，約占商店顧客的15-20%；邊緣商圈是于商圈的最外緣，包含商圈剩下的客戶，此商圈顧客最為分散，數量最少。按照商圈的性質，商圈可以分為六大類，包括：（1）商業區，商業集中的地區；（2）住宅區，住宅區住戶數量至少1000戶以上；（3）文教區，其附近有一所或以上的學校；（4）辦公區，辦公大樓較多的地區；（5）工業區，即工廠較多的地區；（6）混合區，以上5類的混合，如住商混合、住教混合、工商混合等。

影響商圈的因素可以分為內部因素和外部因素。內部因素包括：

店鋪經營商品的種類。經營傳統商品、日常用品的店鋪吸引顧客的區域范圍較小，商圈范圍小；經營非常用品，吸引顧客的能力強，商圈范圍廣；

店鋪的經營規模。隨著店鋪經營規模的擴大，其商圈也在隨之擴大，但增大到一定規模時，商圈范圍也不會擴大；

店鋪的經營特征。經營同類商品的兩個店鋪即便同處一地的同一條街道，其對顧客的吸引力也會有所不同，相應的商圈規模也不一樣。經營靈活、商品齊全、服務周到，在顧客中留有良好形象的店鋪，顧客競爭力強，自然商圈規模相對也會較其他同行業店鋪大；

店鋪的主體設計。包括店鋪所在樓層構成及配置，吸引顧客的設施狀況，如停車場停車位的多少以及其所處位置等。

影響商圈的外部因素包括：

店鋪的促銷手段。利用人員推銷與營業推廣活動等可以吸引更多的次級以及邊緣商圈的顧客，可以更好擴張商圈范圍；

競爭店鋪的位置。相互競爭的兩店之間距離越大，它們各自的商圈也越大。如潛在顧客居于兩家同行業店鋪之間，各自店鋪分別會吸引一部分潛在顧客，造成客流分散，商圈都會因此而縮小。但有些相互競爭的店鋪毗鄰而設，顧客因有較多的比較、選擇機會而被吸引過來，則商圈反而會因競爭而擴大；

人口流動性。人口流動是指在交通要道、繁華商業區、公共場所過往的人口。一個地區的流動人口越多，在這一地區經營的店鋪的潛在顧客就越多。

交通地理狀況。交通地理條件與商圈規模密切相關。在商業繁華地帶，交通條件發達，人口流動性強，有大量的潛在顧客，因而商圈范圍也就越大；反之，店鋪設在交通偏僻地區，顧客主要是分布在店鋪附近的居住人口，其商圈范圍一般較小。

人口統計學特征和消費特征。包括商圈的客戶性別、年齡、收入、家庭規模、消費支出能力等。

基于商圈的地理信息和數據挖掘可以應用于商鋪選址、銷售區域分配、物流配送路徑優化、潛在消費者空間分布、線下廣告投放優化、城市規劃等數據可以通過大數據的手段進行獲取。在這些應用中，商鋪選址應用最多，尤其是應用于銀行、快消、電信、醫藥、家具等行業。

傳統的商圈相關信息獲取是通過市場調查的手段獲得。在大數據時代，商圈相關的位置、客流和消費者信息是可以通過大數據獲取的，尤其是通過電信運營商或具有地圖服務能力的互聯網企業。如中國聯通推出的商鋪選址大數據應用服務，中國聯通可以把城市區域進行柵格化處理，分析每個柵格（不同位置）的用戶群信息、客流信息等，為零售商進行店鋪選址的決策依據，并且已經成功的應用到煙草直營零售終端的分析和選址優化中。而國內的一些城市的相關企業也在啟動智慧商圈的基礎服務。他們借助為公眾提供免費WiFi服務的同時，把商圈人流數據收集成為城市大數據，建立智慧商圈大數據分析平臺和應用服務，通過智慧商圈服務數據分析平臺的應用服務于城市管理，比如了解商圈人流、客流，為城市規劃和交通線路設計提供依據和參考，也可以為商家選址和廣告促銷提供依據。在國外，一家名為PiinPoint的企業，他們提供基于網絡的分析工具，可以幫助企業和商鋪選址進行優化，它能夠收集各種數據，包括人口、稅率、交通信息和房產信息等，對不同的待選地址進行深度分析，并吸引了許多有擴張計劃的美國零售商。

對于大數據與商圈信息的結合研究，無論是工業界還是學術界都在積極探索，甚至這些研究發展已經逐步發展為空間商業智能的探索。美國密西根大學中國信息研究中心主任鮑曙明是這樣界定的空間商業智能：空間商業智能是商業智能服務的一種擴展，涉及到空間和網點的分布，周邊的人口、環境、地理等等之間的關系。大數據、移動技術以及云計算是未來發展趨勢，如何將這些新技術和空間商業智能有機整合，提升應用的能力，并將地理智慧普及到更廣泛的商業領域，目前還處于探索階段，還需要業界同仁共同努力。

近兩年興起的室內定位技術ibeacon將會對空間商業智能的發展有著更為積極的促進作用。iBeacon是蘋果公司2013年9月發布的移動設備用OS（iOS7）上配備的新功能，通過軟件和硬件的結合，從而大大提高室內精度，從原來的幾百米或者幾十米的定位精度提高到一米以內的定位精度。這種能力將極大的強化購物體驗，如當客戶走到某個商品前，手機應用自動跳出商品的介紹和促銷信息。對于商家，也可以更加精準的判別潛在消費者，及時的向消費者進行精準營銷。隨著iBeacon的發展，商家位置信息將更為精準，線下商品信息更為豐富，尤其是極大彌補室內定位的數據源，這對空間商業智能的發展是極大的利好。

總之，大數據應用于市場和用戶研究仍仍處于探索階段，依然面臨著諸多的挑戰，尤其是數據采集的不全面的問題、數據質量的問題以及數據處理和分析技術有待加強尤其是非結構化數據的處理和分析技術。但我們不可否認的是，大數據應用與市場和用戶研究將帶來研究速度和效率的極大提升。隨著大數據相關技術的發展和成熟，我們有理由相信，利用大數據進行更好的市場洞察和用戶洞察洞察。（文/傅志華）

在寫這篇文章之前，我發現身邊很多IT人對于這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹，如果你問他大數據和你有什么關系？估計很少能說出一二三來。究其原因，一是因為大家對新技術有著相同的原始渴求，至少知其然在聊天時不會顯得很“土鱉”；二是在工作和生活環境中真正能參與實踐大數據的案例實在太少了，所以大家沒有必要花時間去知其所以然。

我希望有些不一樣，所以對該如何去認識大數據進行了一番思索，包括查閱了資料，翻閱了最新的專業書籍，但我并不想把那些零散的資料碎片或不同理解論述簡單規整并堆積起來形成毫無價值的轉述或評論，我很真誠的希望進入事物探尋本質。

如果你說大數據就是數據大，或者侃侃而談4個V，也許很有深度的談到BI或預測的價值，又或者拿Google和Amazon舉例，技術流可能會聊起Hadoop和Cloud Computing，不管對錯，只是無法勾勒對大數據的整體認識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了。……也許，“解構”是最好的方法。

怎樣結構大數據？

首先，我認為大數據就是互聯網發展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

其次，想要系統的認知大數據，必須要全面而細致的分解它，我著手從三個層面來展開：

第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。我會從大數據的特征定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；從對大數據的現在和未來去洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

第二層面是技術，技術是大數據價值體現的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從采集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數據的最終價值體現。我將分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

和大數據相關的理論

特征定義

最早提出大數據時代到來的是麥肯錫：“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。”

業界（IBM 最早定義）將大數據的特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數據體量巨大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數據類型繁多。比如，網絡日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業價值高。第四，處理速度快。最后這一點也是和傳統的數據挖掘技術有著本質的不同。

其實這些V并不能真正說清楚大數據的所有特征，下面這張圖對大數據的一些相關特性做出了有效的說明。

古語云：三分技術，七分數據，得數據者得天下。先不論誰說的，但是這句話的正確性已經不用去論證了。維克托·邁爾-舍恩伯格在《大數據時代》一書中舉了百般例證，都是為了說明一個道理：在大數據時代已經到來的時候要用大數據思維去發掘大數據的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數據二次利用價值，比如預測某地流感爆發的趨勢；Amazon如何利用用戶的購買和瀏覽歷史數據進行有針對性的書籍購買推薦，以此有效提升銷售量；Farecast如何利用過去十年所有的航線機票價格打折數據，來預測用戶購買機票的時機是否合適。

那么，什么是大數據思維？維克托·邁爾-舍恩伯格認為，1-需要全部數據樣本而不是抽樣；2-關注效率而不是精確度；3-關注相關性而不是因果關系。

阿里巴巴的王堅對于大數據也有一些獨特的見解，比如，

“今天的數據不是大，真正有意思的是數據變得在線了，這個恰恰是互聯網的特點。”

“非互聯網時期的產品，功能一定是它的價值，今天互聯網的產品，數據一定是它的價值。”

“你千萬不要想著拿數據去改進一個業務，這不是大數據。你一定是去做了一件以前做不了的事情。”

特別是最后一點，我是非常認同的，大數據的真正價值在于創造，在于填補無數個還未實現過的空白。

有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據并不在“大”，而在于“有用”。價值含量、挖掘成本比數量更為重要。

價值探討

大數據是什么？投資者眼里是金光閃閃的兩個字：資產。比如，Facebook上市時，評估機構評定的有效資產中大部分都是其社交網站上的數據。

如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。

Target 超市以20多種懷孕期間孕婦可能會購買的商品為基礎，將所有用戶的購買記錄作為數據來源，通過構建模型分析購買者的行為相關性，能準確的推斷出孕婦的具體臨盆時間，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應的產品優惠卷。

Target的例子是一個很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯物并監控它，就可以預測未來。Target通過監測購買者購買商品的時間和品種來準確預測顧客的孕期，這就是對數據的二次利用的典型案例。如果，我們通過采集駕駛員手機的GPS數據，就可以分析出當前哪些道路正在堵車，并可以及時發布道路交通提醒；通過采集汽車的GPS位置數據，就可以分析城市的哪些區域停車較多，這也代表該區域有著較為活躍的人群，這些分析數據適合賣給廣告投放商。

不管大數據的核心價值是不是預測，但是基于大數據形成決策的模式已經為不少的企業帶來了盈利和聲譽。

從大數據的價值鏈條來分析，存在三種模式：

1- 手握大數據，但是沒有利用好；比較典型的是金融機構，電信行業，政府機構等。

2- 沒有數據，但是知道如何幫助有數據的人利用它；比較典型的是IT咨詢和服務企業，比如，埃森哲，IBM，Oracle等。

3- 既有數據，又有大數據思維；比較典型的是Google，Amazon，Mastercard等。

未來在大數據領域最具有價值的是兩種事物：1-擁有大數據思維的人，這種人可以將大數據的潛在價值轉化為實際利益；2-還未有被大數據觸及過的業務領域。這些是還未被挖掘的油井，金礦，是所謂的藍海。

Wal-Mart作為零售行業的巨頭，他們的分析人員會對每個階段的銷售記錄進行了全面的分析，有一次他們無意中發現雖不相關但很有價值的數據，在美國的颶風來臨季節，超市的蛋撻和抵御颶風物品竟然銷量都有大幅增加，于是他們做了一個明智決策，就是將蛋撻的銷售位置移到了颶風物品銷售區域旁邊，看起來是為了方便用戶挑選，但是沒有想到蛋撻的銷量因此又提高了很多。

還有一個有趣的例子，1948年遼沈戰役期間，司令員林彪要求每天要進行例常的“每日軍情匯報”，由值班參謀讀出下屬各個縱隊、師、團用電臺報告的當日戰況和繳獲情況。那幾乎是重復著千篇一律枯燥無味的數據：每支部隊殲敵多少、俘虜多少;繳獲的火炮、車輛多少，槍支、物資多少……有一天，參謀照例匯報當日的戰況，林彪突然打斷他：“剛才念的在胡家窩棚那個戰斗的繳獲，你們聽到了嗎?”大家都很茫然，因為如此戰斗每天都有幾十起，不都是差不多一模一樣的枯燥數字嗎?林彪掃視一周，見無人回答，便接連問了三句：“為什么那里繳獲的短槍與長槍的比例比其它戰斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁，指著地圖上的那個點說：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊很快就抓住了敵方的指揮官廖耀湘，并取得這場重要戰役的勝利。

這些例子真實的反映在各行各業，探求數據價值取決于把握數據的人，關鍵是人的數據思維；與其說是大數據創造了價值，不如說是大數據思維觸發了新的價值增長。

大數據應用方向

我們先看看大數據在當下有怎樣的杰出表現：

大數據幫助政府實現市場經濟調控、公共衛生安全防范、災難預警、社會輿論監督；

大數據幫助城市預防犯罪，實現智慧交通，提升緊急應急能力；

大數據幫助醫療機構建立患者的疾病風險跟蹤機制，幫助醫藥企業提升藥品的臨床使用效果，幫助艾滋病研究機構為患者提供定制的藥物；

大數據幫助航空公司節省運營成本，幫助電信企業實現售后服務質量提升，幫助保險企業識別欺詐騙保行為，幫助快遞公司監測分析運輸車輛的故障險情以提前預警維修，幫助電力公司有效識別預警即將發生故障的設備；

大數據幫助電商公司向用戶推薦商品和服務，幫助旅游網站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標，幫助用戶找到最合適的商品購買時期、商家和最優惠價格；

大數據幫助企業提升營銷的針對性，降低物流和庫存的成本，減少投資的風險，以及幫助企業提升廣告投放精準度；

大數據幫助娛樂行業預測歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評估拍一部電影需要投入多少錢才最合適，否則就有可能收不回成本；

大數據幫助社交網站提供更準確的好友推薦，為用戶提供更精準的企業招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。

其實，這些還遠遠不夠，未來大數據的身影應該無處不在，就算無法準確預測大數據終會將人類社會帶往到哪種最終形態，但我相信只要發展腳步在繼續，因大數據而產生的變革浪潮將很快淹沒地球的每一個角落。

比如，Amazon的最終期望是：“最成功的書籍推薦應該只有一本書，就是用戶要買的下一本書。”

Google也希望當用戶在搜索時，最好的體驗是搜索結果只包含用戶所需要的內容，而這并不需要用戶給予Google太多的提示。

而當物聯網發展到達一定規模時，借助條形碼、二維碼、RFID等能夠唯一標識產品，傳感器、可穿戴設備、智能感知、視頻采集、增強現實等技術可實現實時的信息采集和分析，這些數據能夠支撐智慧城市，智慧交通，智慧能源，智慧醫療，智慧環保的理念需要，這些都所謂的智慧將是大數據的采集數據來源和服務范圍。

未來的大數據除了將更好的解決社會問題，商業營銷問題，科學技術問題，還有一個可預見的趨勢是以人為本的大數據方針。人才是地球的主宰，大部分的數據都與人類有關，要通過大數據解決人的問題。

比如，建立個人的數據中心，將每個人的日常生活習慣，身體體征，社會網絡，知識能力，愛好性情，疾病嗜好，情緒波動……換言之就是記錄人從出生那一刻起的每一分每一秒，將除了思維外的一切都儲存下來，這些數據可以被充分的利用：

醫療機構將實時的監測用戶的身體健康狀況；

教育機構更有針對的制定用戶喜歡的教育培訓計劃；

服務行業為用戶提供即時健康的符合用戶生活習慣的食物和其它服務；

社交網絡能為你提供合適的交友對象，并為志同道合的人群組織各種聚會活動；

政府能在用戶的心理健康出現問題時有效的干預，防范自殺，刑事案件的發生；

金融機構能幫助用戶進行有效的理財管理，為用戶的資金提供更有效的使用建議和規劃；

道路交通、汽車租賃及運輸行業可以為用戶提供更合適的出行線路和路途服務安排；

……

當然，上面的一切看起來都很美好，但是否是以犧牲了用戶的自由為前提呢？只能說當新鮮事物帶來了革新的同時也同樣帶來了“病菌”。比如，在手機未普及前，大家喜歡聚在一起聊天，自從手機普及后特別是有了互聯網，大家不用聚在一起也可以隨時隨地的聊天，只是“病菌”滋生了另外一種情形，大家慢慢習慣了和手機共渡時光，人與人之間情感交流仿佛永遠隔著一張“網”。

大數據隱私

你或許并不敏感，當你在不同的網站上注冊了個人信息后，可能這些信息已經被擴散出去了，當你莫名其妙的接到各種郵件，電話，短信的滋擾時，你不會想到自己的電話號碼，郵箱，生日，購買記錄，收入水平，家庭住址，親朋好友等私人信息早就被各種商業機構非法存儲或賤賣給其它任何有需要的企業或個人了。

更可怕的是，這些信息你永遠無法刪除，它們永遠存在于互聯網的某些你不知道的角落。除非你更換掉自己的所有信息，但是這代價太大了。

用戶隱私問題一直是大數據應用難以繞開的一個問題，如被央視曝光過的分眾無線、羅維鄧白氏以及網易郵箱都涉及侵犯用戶隱私。目前，中國并沒有專門的法律法規來界定用戶隱私，處理相關問題時多采用其他相關法規條例來解釋。但隨著民眾隱私意識的日益增強，合法合規地獲取數據、分析數據和應用數據，是進行大數據分析時必須遵循的原則。

說到隱私被侵犯，愛德華?斯諾登應該占據一席之地，這位前美國中央情報局（CIA）雇員一手引爆了美國“棱鏡計劃”（PRISM）的內幕消息。“棱鏡”項目是一項由美國國家安全局（NSA）自2007年起開始實施的絕密電子監聽計劃，年耗資近2000億美元，用于監聽全美電話通話記錄，據稱還可以使情報人員通過“后門”進入9家主要科技公司的服務器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國在線、Skype、YouTube、蘋果。這個事件引發了人們對政府使用大數據時對公民隱私侵犯的擔心。

再看看我們身邊，當微博，微信，QQ空間這些社交平臺肆意的吞噬著數億用戶的各種信息時，你就不要指望你還有隱私權了，就算你在某個地方刪除了，但也許這些信息已經被其他人轉載或保存了，更有可能已經被百度或Google存為快照，早就提供給任意用戶搜索了。

因此在大數據的背景下，很多人都在積極的抵制無底線的數字化，這種大數據和個體之間的博弈還會一直繼續下去……

專家給予了我們一些如何有效保護大數據背景下隱私權的建議：1-減少信息的數字化；2-隱私權立法；3-數字隱私權基礎設施（類似DRM數字版權管理）；4-人類改變認知（接受忽略過去）；5-創造良性的信息生態；6-語境化。

但是這些都很難立即見效或者有實質性的改善。

比如，現在有一種職業叫刪帖人，專門負責幫人到各大網站刪帖，刪除評論。其實這些人就是通過黑客技術侵入各大網站，破獲管理員的密碼然后進行手工定向刪除。只不過他們保護的不是客戶的隱私，而大多是丑聞。還有一種職業叫人肉專家，他們負責從互聯網上找到一個與他們根本就無關系用戶的任意信息。這是很可怕的事情，也就是說，如果有人想找到你，只需要兩個條件：1-你上過網，留下過痕跡；2-你的親朋好友或僅僅是認識你的人上過網，留下過你的痕跡。這兩個條件滿足其一，人肉專家就可以很輕松的找到你，可能還知道你現在正在某個餐廳和誰一起共進晚餐。

當很多互聯網企業意識到隱私對于用戶的重要性時，為了繼續得到用戶的信任，他們采取了很多辦法，比如google承諾僅保留用戶的搜索記錄9個月，瀏覽器廠商提供了無痕沖浪模式，社交網站拒絕公共搜索引擎的爬蟲進入，并將提供出去的數據全部采取匿名方式處理等。

在這種復雜的環境里面，很多人依然沒有建立對于信息隱私的保護意識，讓自己一直處于被滋擾，被精心設計，被利用，被監視的處境中。可是，我們能做的幾乎微乎其微，因為個人隱私數據已經無法由我們自己掌控了，就像一首詩里說到的：“如果你現在繼續麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……”

和大數據相關的技術

云技術

大數據常和云計算聯系到一起，因為實時的大型數據集分析需要分布式處理框架來向數十、數百或甚至數萬的電腦分配工作。可以說，云計算充當了工業革命時期的發動機的角色，而大數據則是電。

云計算思想的起源是麥卡錫在上世紀60年代提出的：把計算能力作為一種像水和電一樣的公用事業提供給用戶。

如今，在Google、Amazon、Facebook等一批互聯網企業引領下，一種行之有效的模式出現了：云計算提供基礎架構平臺，大數據應用運行在這個平臺上。

業內是這么形容兩者的關系：沒有大數據的信息積淀，則云計算的計算能力再強大，也難以找到用武之地；沒有云計算的處理能力，則大數據的信息積淀再豐富，也終究只是鏡花水月。

那么大數據到底需要哪些云計算技術呢？

這里暫且列舉一些，比如虛擬化技術，分布式處理技術，海量數據的存儲和管理技術，NoSQL、實時流數據處理、智能分析技術（類似模式識別以及自然語言理解）等。

云計算和大數據之間的關系可以用下面的一張圖來說明，兩者之間結合后會產生如下效應：可以提供更多基于海量業務數據的創新型服務；通過云計算技術的不斷發展降低大數據業務的創新成本。

如果將云計算與大數據進行一些比較，最明顯的區分在兩個方面：

第一，在概念上兩者有所不同，云計算改變了IT，而大數據則改變了業務。然而大數據必須有云作為基礎架構，才能得以順暢運營。

第二，大數據和云計算的目標受眾不同，云計算是CIO等關心的技術層，是一個進階的IT解決方案。而大數據是CEO關注的、是業務層的產品，而大數據的決策者是業務層。

分布式處理技術

分布式處理系統可以將不同地點的或具有不同功能的或擁有不同數據的多臺計算機用通信網絡連接起來，在控制系統的統一管理控制下，協調地完成信息處理任務—這就是分布式處理系統的定義。

以Hadoop（Yahoo）為例進行說明，Hadoop是一個實現了MapReduce模式的能夠對大量數據進行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進行處理的。

而MapReduce是Google提出的一種云計算的核心計算模式，是一種分布式運算技術，也是簡化的分布式編程模式，MapReduce模式的主要思想是將自動分割要執行的問題（例如程序）拆解成map（映射）和reduce（化簡）的方式， 在數據被分割后通過Map 函數的程序將數據映射成不同的區塊，分配給計算機機群處理達到分布式運算的效果，在通過Reduce 函數的程序將結果匯整，從而輸出開發者需要的結果。

再來看看Hadoop的特性，第一，它是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。其次，Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴于社區服務器，因此它的成本比較低，任何人都可以使用。

你也可以這么理解Hadoop的構成，Hadoop=HDFS（文件系統，數據存儲技術相關）+HBase（數據庫）+MapReduce（數據處理）+……Others

Hadoop用到的一些技術有：

HDFS: Hadoop分布式文件系統(Distributed File System) － HDFS (HadoopDistributed File System)

MapReduce：并行計算框架

HBase: 類似Google BigTable的分布式NoSQL列數據庫。

Hive：數據倉庫工具，由Facebook貢獻。

Zookeeper：分布式鎖設施，提供類似Google Chubby的功能，由Facebook貢獻。

Avro：新的數據序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制。

Pig:大數據分析平臺，為用戶提供多種接口。

Ambari：Hadoop管理工具，可以快捷的監控、部署、管理集群。

Sqoop：用于在Hadoop與傳統的數據庫間進行數據的傳遞。

說了這么多，舉個實際的例子，雖然這個例子有些陳舊，但是淘寶的海量數據技術架構還是有助于我們理解對于大數據的運作處理機制:

淘寶大數據

如上圖所示，淘寶的海量數據產品技術架構分為五個層次，從上至下來看它們分別是：數據源，計算層，存儲層，查詢層和產品層。

數據來源層。存放著淘寶各店的交易數據。在數據源層產生的數據，通過DataX，DbSync和Timetunel準實時的傳輸到下面第2點所述的“云梯”。

計算層。在這個計算層內，淘寶采用的是Hadoop集群，這個集群，我們暫且稱之為云梯，是計算層的主要組成部分。在云梯上，系統每天會對數據產品進行不同的MapReduce計算。

存儲層。在這一層，淘寶采用了兩個東西，一個使MyFox，一個是Prom。MyFox是基于MySQL的分布式關系型數據庫的集群，Prom是基于Hadoop Hbase技術的一個NoSQL的存儲集群。

查詢層。在這一層中，Glider是以HTTP協議對外提供restful方式的接口。數據產品通過一個唯一的URL來獲取到它想要的數據。同時，數據查詢即是通過MyFox來查詢的。

最后一層是產品層，這個就不用解釋了。

存儲技術

大數據可以抽象的分為大數據存儲和大數據分析，這兩者的關系是：大數據存儲的目的是支撐大數據分析。到目前為止，還是兩種截然不同的計算機技術領域：大數據存儲致力于研發可以擴展至PB甚至EB級別的數據存儲平臺；大數據分析關注在最短時間內處理大量不同類型的數據集。

提到存儲，有一個著名的摩爾定律相信大家都聽過：18個月集成電路的復雜性就增加一倍。所以，存儲器的成本大約每18-24個月就下降一半。成本的不斷下降也造就了大數據的可存儲性。

比如，Google大約管理著超過50萬臺服務器和100萬塊硬盤，而且Google還在不斷的擴大計算能力和存儲能力，其中很多的擴展都是基于在廉價服務器和普通存儲硬盤的基礎上進行的，這大大降低了其服務成本，因此可以將更多的資金投入到技術的研發當中。

以Amazon舉例，Amazon S3 是一種面向 Internet 的存儲服務。該服務旨在讓開發人員能更輕松的進行網絡規模計算。Amazon S3 提供一個簡明的 Web 服務界面，用戶可通過它隨時在 Web 上的任何位置存儲和檢索的任意大小的數據。 此服務讓所有開發人員都能訪問同一個具備高擴展性、可靠性、安全性和快速價廉的基礎設施，Amazon 用它來運行其全球的網站網絡。再看看S3的設計指標：在特定年度內為數據元提供 99.999999999% 的耐久性和 99.99% 的可用性，并能夠承受兩個設施中的數據同時丟失。

S3很成功也確實卓有成效，S3云的存儲對象已達到萬億級別，而且性能表現相當良好。S3云已經擁萬億跨地域存儲對象，同時AWS的對象執行請求也達到百萬的峰值數量。目前全球范圍內已經有數以十萬計的企業在通過AWS運行自己的全部或者部分日常業務。這些企業用戶遍布190多個國家，幾乎世界上的每個角落都有Amazon用戶的身影。

感知技術

大數據的采集和感知技術的發展是緊密聯系的。以傳感器技術，指紋識別技術，RFID技術，坐標定位技術等為基礎的感知能力提升同樣是物聯網發展的基石。全世界的工業設備、汽車、電表上有著無數的數碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質的變化，都會產生海量的數據信息。

而隨著智能手機的普及，感知技術可謂迎來了發展的高峰期，除了地理位置信息被廣泛的應用外，一些新的感知手段也開始登上舞臺，比如，最新的”iPhone 5S”在home鍵內嵌指紋傳感器，新型手機可通過呼氣直接檢測燃燒脂肪量，用于手機的嗅覺傳感器面世可以監測從空氣污染到危險的化學藥品，微軟正在研發可感知用戶當前心情智能手機技術，谷歌眼鏡InSight新技術可通過衣著進行人物識別。

除此之外，還有很多與感知相關的技術革新讓我們耳目一新：比如，牙齒傳感器實時監控口腔活動及飲食狀況，嬰兒穿戴設備可用大數據去養育寶寶，Intel正研發3D筆記本攝像頭可追蹤眼球讀懂情緒，日本公司開發新型可監控用戶心率的紡織材料，業界正在嘗試將生物測定技術引入支付領域等。

其實，這些感知被逐漸捕獲的過程就是就世界被數據化的過程，一旦世界被完全數據化了，那么世界的本質也就是信息了。

就像一句名言所說，“人類以前延續的是文明，現在傳承的是信息。”

大數據的實踐

互聯網的大數據

互聯網上的數據每年增長50%，每兩年便將翻一番，而目前世界上90%以上的數據是最近幾年才產生的。據IDC預測，到2020年全球將總共擁有35ZB的數據量。互聯網是大數據發展的前哨陣地，隨著WEB2.0時代的發展，人們似乎都習慣了將自己的生活通過網絡進行數據化，方便分享以及記錄并回憶。

互聯網上的大數據很難清晰的界定分類界限，我們先看看BAT的大數據：

百度擁有兩種類型的大數據：用戶搜索表征的需求數據；爬蟲和阿拉丁獲取的公共web數據。搜索巨頭百度圍繞數據而生。它對網頁數據的爬取、網頁內容的組織和解析，通過語義分析對搜索需求的精準理解進而從海量數據中找準結果，以及精準的搜索引擎關鍵字廣告，實質上就是一個數據的獲取、組織、分析和挖掘的過程。搜索引擎在大數據時代面臨的挑戰有：更多的暗網數據；更多的WEB化但是沒有結構化的數據；更多的WEB化、結構化但是封閉的數據。

阿里巴巴擁有交易數據和信用數據。這兩種數據更容易變現，挖掘出商業價值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數據、移動數據。如微博和高德。

騰訊擁有用戶關系數據和基于此產生的社交數據。這些數據可以分析人們的生活和行為,從里面挖掘出政治、社會、文化、商業、健康等領域的信息，甚至預測未來。

在信息技術更為發達的美國，除了行業知名的類似Google，Facebook外，已經涌現了很多大數據類型的公司，它們專門經營數據產品，比如：

Metamarkets：這家公司對Twitter、支付、簽到和一些與互聯網相關的問題進行了分析，為客戶提供了很好的數據分析支持。

Tableau：他們的精力主要集中于將海量數據以可視化的方式展現出來。Tableau為數字媒體提供了一個新的展示數據的方式。他們提供了一個免費工具，任何人在沒有編程知識背景的情況下都能制造出數據專用圖表。這個軟件還能對數據進行分析，并提供有價值的建議。

ParAccel：他們向美國執法機構提供了數據分析，比如對15000個有犯罪前科的人進行跟蹤，從而向執法機構提供了參考性較高的犯罪預測。他們是犯罪的預言者。

QlikTech：QlikTech旗下的Qlikview是一個商業智能領域的自主服務工具，能夠應用于科學研究和藝術等領域。為了幫助開發者對這些數據進行分析，QlikTech提供了對原始數據進行可視化處理等功能的工具。

GoodData：GoodData希望幫助客戶從數據中挖掘財富。這家創業公司主要面向商業用戶和IT企業高管，提供數據存儲、性能報告、數據分析等工具。

TellApart：TellApart和電商公司進行合作，他們會根據用戶的瀏覽行為等數據進行分析，通過鎖定潛在買家方式提高電商企業的收入。

DataSift：DataSift主要收集并分析社交網絡媒體上的數據，并幫助品牌公司掌握突發新聞的輿論點，并制定有針對性的營銷方案。這家公司還和Twitter有合作協議，使得自己變成了行業中為數不多可以分析早期tweet的創業公司。

Datahero：公司的目標是將復雜的數據變得更加簡單明了，方便普通人去理解和想象。

舉了很多例子，這里簡要歸納一下，在互聯網大數據的典型代表性包括：

1-用戶行為數據（精準廣告投放、內容推薦、行為習慣和喜好分析、產品優化等）

2-用戶消費數據（精準營銷、信用記錄分析、活動促銷、理財等）

3-用戶地理位置數據（O2O推廣，商家推薦，交友推薦等）

4-互聯網金融數據（P2P，小額貸款，支付，信用，供應鏈金融等）

5-用戶社交等UGC數據（趨勢分析、流行元素分析、受歡迎程度分析、輿論監控分析、社會問題分析等）

政府的大數據

近期，奧巴馬政府宣布投資2億美元拉動大數據相關產業發展，將“大數據戰略”上升為國家意志。奧巴馬政府將數據定義為“未來的新石油”，并表示一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分，未來，對數據的占有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產。

在國內，政府各個部門都握有構成社會基礎的原始數據，比如，氣象數據，金融數據，信用數據，電力數據，煤氣數據，自來水數據，道路交通數據，客運數據，安全刑事案件數據，住房數據，海關數據，出入境數據，旅游數據，醫療數據，教育數據，環保數據等等。這些數據在每個政府部門里面看起來是單一的，靜態的。但是，如果政府可以將這些數據關聯起來，并對這些數據進行有效的關聯分析和統一管理，這些數據必定將獲得新生，其價值是無法估量的。

具體來說，現在城市都在走向智能和智慧，比如，智能電網、智慧交通、智慧醫療、智慧環保、智慧城市，這些都依托于大數據，可以說大數據是智慧的核心能源。從國內整體投資規模來看，到2012年底全國開建智慧城市的城市數超過180個，通信網絡和數據平臺等基礎設施建設投資規模接近5000億元。“十二五”期間智慧城市建設拉動的設備投資規模將達1萬億元人民幣。大數據為智慧城市的各個領域提供決策支持。在城市規劃方面，通過對城市地理、氣象等自然信息和經濟、社會、文化、人口等人文社會信息的挖掘，可以為城市規劃提供決策，強化城市管理服務的科學性和前瞻性。在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，并快速響應突發狀況，為城市交通的良性運轉提供科學的決策依據。在輿情監控方面，通過網絡關鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務能力，應對網絡突發的公共事件，打擊違法犯罪。在安防與防災領域，通過大數據的挖掘，可以及時發現人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力。

另外，作為國家的管理者，政府應該有勇氣將手中的數據逐步開放，供給更多有能力的機構組織或個人來分析并加以利用，以加速造福人類。比如，美國政府就籌建了一個data.gov網站，這是奧巴馬任期內的一個重要舉措：要求政府公開透明，而核心就是實現政府機構的數據公開。截止目前，已經開放了有91054 個datasets；349citizen-developed apps；137 mobile apps；175 agencies and subagencies；87 galleries；295 Government APIs。

企業的大數據

企業的CXO們最關注的還是報表曲線的背后能有怎樣的信息，他該做怎樣的決策，其實這一切都需要通過數據來傳遞和支撐。在理想的世界中，大數據是巨大的杠桿，可以改變公司的影響力，帶來競爭差異、節省金錢、增加利潤、愉悅買家、獎賞忠誠用戶、將潛在客戶轉化為客戶、增加吸引力、打敗競爭對手、開拓用戶群并創造市場。

那么，哪些傳統企業最需要大數據服務呢？拋磚引玉，先舉幾個例子：1) 對大量消費者提供產品或服務的企業（精準營銷）；2) 做小而美模式的中長尾企業（服務轉型）；3) 面臨互聯網壓力之下必須轉型的傳統企業（生死存亡）。

對于企業的大數據，還有一種預測：隨著數據逐漸成為企業的一種資產，數據產業會向傳統企業的供應鏈模式發展，最終形成“數據供應鏈”。這里尤其有兩個明顯的現象：1) 外部數據的重要性日益超過內部數據。在互聯互通的互聯網時代，單一企業的內部數據與整個互聯網數據比較起來只是滄海一粟；2) 能提供包括數據供應、數據整合與加工、數據應用等多環節服務的公司會有明顯的綜合競爭優勢。

對于提供大數據服務的企業來說，他們等待的是合作機會，就像微軟史密斯說的：“給我提供一些數據，我就能做一些改變。如果給我提供所有數據，我就能拯救世界。”

然而，一直做企業服務的巨頭將優勢不在，不得不眼看新興互聯網企業加入戰局，開啟殘酷競爭模式。為何會出現這種局面？從 IT 產業的發展來看，第一代 IT 巨頭大多是 ToB 的，比如 IBM、Microsoft、Oracle、SAP、HP這類傳統 IT 企業；第二代 IT 巨頭大多是ToC 的，比如 Yahoo、Google、Amazon、Facebook 這類互聯網企業。大數據到來前，這兩類公司彼此之間基本是井水不犯河水；但在當前這個大數據時代，這兩類公司已經開始直接競爭。比如 Amazon 已經開始提供云模式的數據倉庫服務，直接搶占 IBM、Oracle 的市場。這個現象出現的本質原因是：在互聯網巨頭的帶動下，傳統 IT 巨頭的客戶普遍開始從事電子商務業務，正是由于客戶進入了互聯網，所以傳統 IT 巨頭們不情愿地被拖入了互聯網領域。如果他們不進入互聯網，他們業務必將萎縮。在進入互聯網后，他們又必須將云技術，大數據等互聯網最具有優勢的技術通過封裝打造成自己的產品再提供給企業。

以IBM舉例，上一個十年，他們拋棄了PC，成功轉向了軟件和服務，而這次將遠離服務與咨詢，更多地專注于因大數據分析軟件而帶來的全新業務增長點。IBM執行總裁羅睿蘭認為，“數據將成為一切行業當中決定勝負的根本因素，最終數據將成為人類至關重要的自然資源。”IBM積極的提出了“大數據平臺”架構。該平臺的四大核心能力包括Hadoop系統、流計算（StreamComputing）、數據倉庫（Data Warehouse）和信息整合與治理（Information Integration and Governance）

IBM大數據

另外一家亟待通過云和大數據戰略而復蘇的巨頭公司HP也推出了自己的產品：HAVEn，一個可以自由擴展伸縮的大數據解決方案。這個解決方案由HP Autonomy、HP Vertica、HP ArcSight 和惠普運營管理(HP OperationsManagement)四大技術組成。還支持Hadoop這樣通用的技術。HAVEn不是一個軟件平臺，而是一個生態環境。四大組成部分滿足不同的應用場景需要，Autonomy解決音視頻識別的重要解決方案；Vertica解決數據處理的速度和效率的方案；ArcSight解決機器的記錄信息處理，幫助企業獲得更高安全級別的管理；運營管理解決的不僅僅是外部數據的處理，而是包括了IT基礎設施產生的數據。

個人的大數據

個人的大數據這個概念很少有人提及，簡單來說，就是與個人相關聯的各種有價值數據信息被有效采集后，可由本人授權提供第三方進行處理和使用，并獲得第三方提供的數據服務。

舉個例子來說明會更清晰一些：

未來，每個用戶可以在互聯網上注冊個人的數據中心，以存儲個人的大數據信息。用戶可確定哪些個人數據可被采集，并通過可穿戴設備或植入芯片等感知技術來采集捕獲個人的大數據，比如，牙齒監控數據，心率數據，體溫數據，視力數據，記憶能力，地理位置信息，社會關系數據，運動數據，飲食數據，購物數據等等。用戶可以將其中的牙齒監測數據授權給XX牙科診所使用，由他們監控和使用這些數據，進而為用戶制定有效的牙齒防治和維護計劃；也可以將個人的運動數據授權提供給某運動健身機構，由他們監測自己的身體運動機能，并有針對的制定和調整個人的運動計劃；還可以將個人的消費數據授權給金融理財機構，由他們幫你制定合理的理財計劃并對收益進行預測。當然，其中有一部分個人數據是無需個人授權即可提供給國家相關部門進行實時監控的，比如罪案預防監控中心可以實時的監控本地區每個人的情緒和心理狀態，以預防自殺和犯罪的發生。

以個人為中心的大數據有這么一些特性：

1- 數據僅留存在個人中心，其它第三方機構只被授權使用（數據有一定的使用期限），且必須接受用后即焚的監管。

2- 采集個人數據應該明確分類，除了國家立法明確要求接受監控的數據外，其它類型數據都由用戶自己決定是否被采集。

3- 數據的使用將只能由用戶進行授權，數據中心可幫助監控個人數據的整個生命周期。

展望過于美好，也許實現個人數據中心將遙遙無期，也許這還不是解決個人數據隱私的最好方法，也許業界對大數據的無限渴求會阻止數據個人中心的實現，但是隨著數據越來越多，在缺乏監管之后，必然會有一場激烈的博弈：到底是數據重要還是隱私重要；是以商業為中心還是以個人為中心。