現(xiàn)在國(guó)內(nèi)大數(shù)據(jù)叫得很響,但是空談比較多。我不喜歡空談大數(shù)據(jù),我想看到大數(shù)據(jù)的應(yīng)用實(shí)例。2014/4/16 IEEE Spectrum Alert發(fā)表一篇文章,介紹將大數(shù)據(jù)用于環(huán)境保護(hù)。開發(fā)了一個(gè)新的森林映射工具(見(jiàn)下圖),當(dāng)大片森林被砍伐、被破壞時(shí),對(duì)監(jiān)視者發(fā)出聲響警告。這引起了我的興趣。
當(dāng)森林中一顆樹倒了,不但有一聲響,而且,計(jì)算機(jī)發(fā)出一個(gè)警告,送給關(guān)心人士、研究人員和環(huán)境政策制定者。這事可不易,要從雜亂無(wú)章的特殊格式的衛(wèi)星數(shù)據(jù)里找到那塊特定的森林,從圖像上識(shí)別剛倒塌的那顆樹,又要實(shí)時(shí)地送給相關(guān)人士以警告。技術(shù)難點(diǎn)很多。一個(gè)在線工具把大數(shù)據(jù)處理技術(shù)應(yīng)用于衛(wèi)星圖像,發(fā)現(xiàn)森林采伐和受損的情況。這工具叫Global ForestWatch(全球森林監(jiān)視),是由世界資源研究所開發(fā)的。用戶可以探索全球地圖,發(fā)現(xiàn)自2000年以來(lái)森林的變化趨勢(shì),而且考察森林情況,精度達(dá)到30米。該地圖的熱帶區(qū)域每16天更新一次。用戶可以選擇警報(bào),即當(dāng)系統(tǒng)診察到非法采伐或者森林火災(zāi)的時(shí)候?qū)δ惆l(fā)出警報(bào)。
該網(wǎng)站由谷歌地圖引擎提供技術(shù)支持,由美國(guó)NASA和美國(guó)地質(zhì)調(diào)查局的幾顆衛(wèi)星提供圖像數(shù)據(jù)。谷歌開發(fā)一個(gè)平臺(tái)即集中千萬(wàn)億字節(jié)的地球科學(xué)數(shù)據(jù),并給研究人員簡(jiǎn)單直接的方式來(lái)使用這些數(shù)據(jù)。谷歌地球引擎高級(jí)開發(fā)人員David Thau說(shuō):用戶只要登錄、取出這些數(shù)據(jù)、運(yùn)行他們自己的算法就可以了。谷歌地球引擎現(xiàn)在已經(jīng)有幾千研究伙伴。
谷歌森林監(jiān)視是一連串項(xiàng)目的研究成果。世界資源研究所的數(shù)據(jù)實(shí)驗(yàn)室早就有一個(gè)熱點(diǎn)地區(qū)森林警報(bào)系統(tǒng),基于NASA兩個(gè)衛(wèi)星Terra和Aqua上的中等分辨率的分光輻射度計(jì)所測(cè)量的數(shù)據(jù)。美國(guó)馬里蘭大學(xué)一位地理科學(xué)教授Matthew Hansen與谷歌地球引擎合作,用NASA和 美國(guó)地質(zhì)勘探局的幾個(gè)美國(guó)地球資源衛(wèi)星,用于全球森林監(jiān)視。前者提供較好的時(shí)間分辨率,而后者提供很好的空間分辨率。
研究人員的算法用衛(wèi)星的可見(jiàn)光和紅外數(shù)據(jù)畫出某一個(gè)地點(diǎn)的森林丟失情況的地圖。每一個(gè)衛(wèi)星圖像的像素記下它的顏色和紅外信號(hào)特征,算法比較這些像素隨時(shí)間的變化。一個(gè)表示燈從綠變成棕色,就是一個(gè)壞消息。但是如果天上有云,就需要設(shè)法去噪。2008年地球資源衛(wèi)星數(shù)據(jù)可以自由使用了,Hansen對(duì)每30米一個(gè)像素點(diǎn),要考慮1430億個(gè)像素點(diǎn)。每月每年跟蹤這些點(diǎn),根據(jù)季節(jié)的不同,特征會(huì)有正常的變化,而且要區(qū)別農(nóng)作物和林地。合作者去年11月發(fā)表了對(duì)剛果一塊森林的2000-2012年丟失150萬(wàn)平方公里森林的報(bào)告,他們?cè)?0000臺(tái)計(jì)算機(jī)上計(jì)算了1百萬(wàn)CPU核小時(shí)。在云計(jì)算中,研究人員要考慮計(jì)算任務(wù)在整個(gè)網(wǎng)絡(luò)中的分布,而地球引擎的研究者只要用一個(gè)程序接口進(jìn)入他們的問(wèn)題,就自動(dòng)地并行化了。為了建造公用的全球森林監(jiān)視網(wǎng)站,世界資源研究所計(jì)劃讓大眾都能取得這些大數(shù)據(jù),希望政府部門、商業(yè)界、研究人員和各種利益團(tuán)體都能用這個(gè)網(wǎng)站,以得到森林管理的較好圖像。
通過(guò)這個(gè)報(bào)道,我有幾點(diǎn)感想:
1.大數(shù)據(jù)在這里用上了,決定于三要素:衛(wèi)星、David Thau和Matthew Hansen。衛(wèi)星提供數(shù)據(jù),David Thau開發(fā)平臺(tái),Matthew Hansen做數(shù)據(jù)分析。
2.衛(wèi)星是要用的。我們經(jīng)常聽到我國(guó)衛(wèi)星發(fā)射成功的消息,卻很少聽到衛(wèi)星被用上了的消息。我們的衛(wèi)星發(fā)射技術(shù)的確已經(jīng)過(guò)關(guān),而且已經(jīng)商業(yè)化。我們自己也發(fā)射了許多衛(wèi)星。但是,較少聽到衛(wèi)星做了什么用、對(duì)國(guó)民經(jīng)濟(jì)起了什么作用、衛(wèi)星數(shù)據(jù)是否可以供研究人員自由使用。衛(wèi)星收集了那么多數(shù)據(jù),如果不用,那收集它干什么呢?如果只讓少數(shù)人關(guān)起門來(lái)用,那么這種保密是要防止什么呢?
3.大數(shù)據(jù)的研究一定要有實(shí)際用處。用大數(shù)據(jù)做森林監(jiān)視就很好。每年我國(guó)森林火災(zāi)和非法砍伐常有報(bào)道,如果能自動(dòng)監(jiān)測(cè),而且實(shí)時(shí)給相關(guān)人員以警示,那多好啊!可這有一大堆工作要做。IT人員要提供工具,方便專業(yè)人員處理這些數(shù)據(jù);專業(yè)人員要研究他們自己的算法做出各種監(jiān)視的判斷。這不容易啊!

本文引用地址:http://blog.sciencenet.cn/blog-290937-789319.html

