-
采集全球信息，監(jiān)測世界輿情
【摘要】隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，政府信息數(shù)據(jù)抓取、儲存、分析、處理及其應(yīng)用已變得很便捷，政府戰(zhàn)略決策和危機處置正在朝數(shù)據(jù)驅(qū)動型的預(yù)測、發(fā)展和決策的方向發(fā)生轉(zhuǎn)變。因此，未來應(yīng)對競爭和危機的決策行為將基于對信息數(shù)據(jù)抓取與分析，而并不是依靠經(jīng)驗和直覺判斷的傳統(tǒng)模式。
“大數(shù)據(jù)”時代真的來臨？
進入21世紀，信息的爆炸式增長帶了數(shù)據(jù)的海量化，面對規(guī)模日益龐大的數(shù)據(jù)量，全球知名咨詢公司麥肯錫提出“大數(shù)據(jù)”時代說，麥肯錫稱：數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。
有統(tǒng)計顯示，互聯(lián)網(wǎng)一天產(chǎn)生的全部數(shù)據(jù)內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多；發(fā)出的社區(qū)帖子達200萬個，相當(dāng)于《時代》雜志770年的文字量；賣出的手機為37.8萬臺，高于全球每天出生的嬰兒數(shù)量37.1萬。2011年，全球產(chǎn)生的數(shù)量高達1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB（1024TB=1PB），全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB（1024PB=1EB）。
“大數(shù)據(jù)”的最早提出是基于經(jīng)濟領(lǐng)域的，而當(dāng)下已發(fā)展至軍事、通訊、金融、行政等各領(lǐng)域，全球正在超大數(shù)據(jù)時代邁進。近年來，互聯(lián)網(wǎng)信息行業(yè)的發(fā)展使得“大數(shù)據(jù)戰(zhàn)略”備受人們的關(guān)注，作為“大數(shù)據(jù)”戰(zhàn)略基礎(chǔ)的信息數(shù)據(jù)抓取成為時下政府戰(zhàn)略制定的一部分。
“大數(shù)據(jù)”時代給政府帶來怎樣的機遇與挑戰(zhàn)？
隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，政府信息數(shù)據(jù)抓取、儲存、分析、處理及其應(yīng)用已變得很便捷，政府戰(zhàn)略決策和危機處置正在朝數(shù)據(jù)驅(qū)動型的預(yù)測、發(fā)展和決策的方向發(fā)生轉(zhuǎn)變。因此，未來應(yīng)對競爭和危機的決策行為將基于對信息數(shù)據(jù)抓取與分析，而并不是依靠經(jīng)驗和直覺判斷的傳統(tǒng)模式。
在信息數(shù)據(jù)時代，政府應(yīng)成為社會數(shù)據(jù)信息的樞紐。正在到來的數(shù)據(jù)革命，已經(jīng)成為啟動透明政府、加速企業(yè)創(chuàng)新、引領(lǐng)社會變革的利器，日益深刻地影響著我們的生活。當(dāng)我們漸漸步入大數(shù)據(jù)時代，生活的每個微小方面都需要這樣的數(shù)據(jù)支撐。后工業(yè)時代，要將注意力轉(zhuǎn)移到信息資源的開發(fā)上來。我們既是數(shù)據(jù)的生產(chǎn)者，又是數(shù)據(jù)的消費者，政府同樣如此。
現(xiàn)今，數(shù)據(jù)的作用正在迅速膨脹并變大，它影響著政府工作戰(zhàn)略的制定，雖然現(xiàn)在政府可能并沒有意識到信息數(shù)據(jù)抓取的不到位給自身工作帶來的問題和隱患，但是隨著時間的推移，人們將越來越多的意識到數(shù)據(jù)對政府的重要性。特別在網(wǎng)絡(luò)輿情危機頻發(fā)的網(wǎng)絡(luò)信息環(huán)境下，面對海量的網(wǎng)絡(luò)信息數(shù)據(jù)，依托信息數(shù)據(jù)抓取的大數(shù)據(jù)戰(zhàn)略建設(shè)是當(dāng)下政府應(yīng)對突發(fā)危機事件的重要手段。準確全面的信息數(shù)據(jù)抓取，合理的數(shù)據(jù)分析可以幫助政府了解各種危機要素的發(fā)展動態(tài)，通過信息數(shù)據(jù)分析事件參與者的所思所想，依據(jù)數(shù)據(jù)分析結(jié)果做出正確的處置措施。
信息數(shù)據(jù)抓取將如何推進 “大數(shù)據(jù)戰(zhàn)略”建設(shè)？
數(shù)據(jù)承載事實、承載民意，在民眾意見表達、監(jiān)督方面，以及在政府政策的制定、實行方面或政府的盈利創(chuàng)新方面，都起到極大功能，并且是清晰有力的。相信數(shù)據(jù)、用數(shù)據(jù)來說話，是理性精神的一種表現(xiàn)。而建立“大數(shù)據(jù)戰(zhàn)略”體系，其首要實現(xiàn)的是信息數(shù)據(jù)抓取，因為政府對各類數(shù)據(jù)的分析解讀與應(yīng)用都必須是在采集到的數(shù)據(jù)上進行，只有通過對所需數(shù)據(jù)的全面準確采集，形成數(shù)據(jù)流規(guī)模，然后再對數(shù)據(jù)流進行分析，這樣分析出的數(shù)據(jù)結(jié)果對決策行為才有指導(dǎo)性作用。
“大數(shù)據(jù)戰(zhàn)略”的建設(shè)，對信息數(shù)據(jù)抓取工作的要求主要涉及兩個方面：
一、全面的信息數(shù)據(jù)抓取。在這里，信息數(shù)據(jù)抓取是指利用像樂思信息采集系統(tǒng)這樣的采集軟件，對各類網(wǎng)絡(luò)媒介，如搜索引擎、新聞網(wǎng)站、論壇、微博、博客和其他各類型網(wǎng)頁的各種頁面信息通過要素采集、關(guān)鍵詞抽取、全文索引等方式進行信息信息數(shù)據(jù)抓取，主要有文本信息、URL、數(shù)字、日期和圖片等，然后把采集的到的各類數(shù)據(jù)進行自動去重和分類歸納存儲。足夠的數(shù)據(jù)量是政府大數(shù)據(jù)戰(zhàn)略建設(shè)的基礎(chǔ)，就像做房子所需的給類建筑材料，這些建筑材料在大數(shù)據(jù)戰(zhàn)略里就是數(shù)據(jù)信息。
二、準確的數(shù)據(jù)分析和使用。完成全面信息數(shù)據(jù)抓取后，就應(yīng)該有準確的分析和使用數(shù)據(jù)能力，透過對采集數(shù)據(jù)的深入分析，了解事件的事實真相和事件背后的社情民意，預(yù)判各種事件的發(fā)展走向，這些變動對整個大局會產(chǎn)生什么樣的影響，影響是否會阻礙自身的健康發(fā)展，這認識得需要我們用數(shù)據(jù)來衡量，用數(shù)據(jù)放映出的事實來指導(dǎo)我們工作策略的制定，讓我們的工作決策理性化而不是經(jīng)驗化。
盜用