
2、化工搜索平臺(tái)
在信息檢索方面,化工行業(yè)具有其行業(yè)的特殊性,如化工產(chǎn)品它包含分子式、結(jié)構(gòu)式、分子量、CAS、化學(xué)名稱、別名、英文名稱、化學(xué)反應(yīng)式、化學(xué)特性、包裝、用途,以及和這些產(chǎn)品相關(guān)的供應(yīng)商信息、行業(yè)新聞等信息,是化工行業(yè)的特有的“有效信息”,而目前綜合的搜索引擎無(wú)法有效的提供這些信息。
集化工產(chǎn)品、目錄、網(wǎng)頁(yè)為一體的專業(yè)化工搜索服務(wù)平臺(tái),將有效地解決現(xiàn)有搜索引擎出現(xiàn)的搜索瓶頸和缺陷,使化工搜索更精確、更專業(yè)、更快捷、更豐富,同時(shí)大大提高化工行業(yè)信息獲取的效率,促進(jìn)化工行業(yè)信息化建設(shè)的進(jìn)程。
化工搜索服務(wù)平臺(tái)是采用公司自主開發(fā)的先進(jìn)超鏈技術(shù)、信息抓取技術(shù)、超鏈提取技術(shù)、數(shù)據(jù)檢索技術(shù)、分布式數(shù)據(jù)庫(kù)管理技術(shù)、智能分詞技術(shù)等,具有精確、專業(yè)、快速等特點(diǎn)。
3、化工專家欄目
隨著全球經(jīng)濟(jì)的日益一體化和中國(guó)WTO的正式加入,壁壘的逐步消除和新技術(shù)的廣泛應(yīng)用,使化工行業(yè)充滿了更多的機(jī)遇和更艱巨的挑戰(zhàn)。為更好的服務(wù)眾多化工企業(yè),中國(guó)化工網(wǎng)推出"化工專家"欄目。中國(guó)化工網(wǎng)在與企業(yè)、高校、科研機(jī)構(gòu)等企事業(yè)單位的化工專家進(jìn)行廣泛溝通的基礎(chǔ)上,匯集了國(guó)內(nèi)化工行業(yè)各領(lǐng)域500多位專家信息,包括每位專家的簡(jiǎn)歷、研究方向、最新成果等,為專家與專家、專家與相關(guān)單位之間提供了一良好的在線交流通道。專家可以填加、修改自己的個(gè)人信息資料,可以公布自己的主要成果與最新科研項(xiàng)目,可以在專家論壇發(fā)表自己的見解等,并可優(yōu)先享受中國(guó)化工網(wǎng)的相關(guān)服務(wù)。
四、項(xiàng)目實(shí)施過(guò)程中的主要問(wèn)題及解決辦法:
1. 海量數(shù)據(jù)搜索的響應(yīng)時(shí)間問(wèn)題
對(duì)于使用者來(lái)說(shuō),一般期望在按下按鈕后一秒鐘之內(nèi)能看到結(jié)果,因此,搜索速度是本項(xiàng)目成敗的關(guān)鍵之一。
由于網(wǎng)頁(yè)搜索所面對(duì)的數(shù)據(jù)量巨大,一般要在數(shù)千萬(wàn)頁(yè)至數(shù)十億頁(yè)的量,因此,要在設(shè)定的時(shí)間內(nèi)完成巨量數(shù)據(jù)的搜索,需要在多方面解決這個(gè)問(wèn)題。
解決這個(gè)問(wèn)題的關(guān)鍵之一是建立索引,通過(guò)對(duì)搜索對(duì)象的預(yù)處理,使得在用戶進(jìn)行關(guān)鍵詞搜索時(shí),只需對(duì)已作預(yù)處理的索引關(guān)鍵詞及相關(guān)的數(shù)據(jù)進(jìn)行處理,極大地減輕了數(shù)據(jù)處理的工作量。解決這個(gè)問(wèn)題的第二個(gè)關(guān)鍵是采用了分布式的軟硬件體系結(jié)構(gòu)。我們注意到:搜索的過(guò)程是可以并行的,即對(duì)一部分網(wǎng)頁(yè)搜索的結(jié)果不影響對(duì)另一部分網(wǎng)頁(yè)的搜索。不可并行的部分是對(duì)結(jié)果的排序。對(duì)于絕大多數(shù)用戶而言,感興趣的僅是搜索結(jié)果集中排序最前的部分結(jié)果。有鑒于此,我們將搜索對(duì)象均衡地分布在多臺(tái)服務(wù)器上,每臺(tái)服務(wù)器負(fù)責(zé)部分搜索對(duì)象的搜索和排序。前端服務(wù)器負(fù)責(zé)工作的分配和結(jié)果的收集及后處理。這樣,通過(guò)多臺(tái)服務(wù)器的協(xié)同運(yùn)行,使得平均的響應(yīng)時(shí)間從秒級(jí)響應(yīng)降到亞秒級(jí)響應(yīng)。
采用分布式的體系結(jié)構(gòu)也使本系統(tǒng)達(dá)到一定程度的可擴(kuò)展性,并改善搜索服務(wù)的抗故障能力。
2、網(wǎng)頁(yè)采集中遇到的鏈路不穩(wěn)定問(wèn)題。
網(wǎng)頁(yè)搜索的要素是要在巨大量的網(wǎng)頁(yè)可供搜索。在采集網(wǎng)頁(yè)的過(guò)程中,由于鏈路的不穩(wěn)定,常造成不能完整的采集到某些網(wǎng)站的網(wǎng)頁(yè)。這種現(xiàn)象在跨運(yùn)營(yíng)商的網(wǎng)絡(luò)時(shí)較為明顯,尤其是在到國(guó)外網(wǎng)站的鏈路上,更為明顯。
目前我們沒有從根本上解決這個(gè)問(wèn)題的手段。采用的方式是在預(yù)計(jì)采集的該網(wǎng)站網(wǎng)頁(yè)上不能成功時(shí),放棄采集。有部分放棄是可預(yù)計(jì)的,但當(dāng)放棄時(shí)量較多時(shí),將對(duì)整體的采集質(zhì)量產(chǎn)生影響。
五、項(xiàng)目主要成果
1. 建成的數(shù)據(jù)庫(kù)、提供的新服務(wù)
(1)國(guó)內(nèi)最大的信息及服務(wù)平臺(tái):化工資訊欄目每天上千條的行業(yè)資訊;產(chǎn)品供求欄目每天2000多條的動(dòng)態(tài)供求;全國(guó)范圍內(nèi)的實(shí)時(shí)市場(chǎng)行情、行業(yè)展會(huì)信息、技術(shù)交流及人才交流等;化工專家匯集了國(guó)內(nèi)化工行業(yè)各領(lǐng)域500多位專家信息。
(2)國(guó)內(nèi)最大的專業(yè)化工搜索服務(wù)平臺(tái):國(guó)內(nèi)最大的專業(yè)化工搜索引擎,集化工產(chǎn)品搜索、目錄搜索、網(wǎng)頁(yè)搜索為一體,擁有100萬(wàn)個(gè)化工產(chǎn)品、10萬(wàn)個(gè)化工站點(diǎn)、1000萬(wàn)個(gè)化工網(wǎng)頁(yè)的化工數(shù)據(jù)庫(kù)。
CIO頻道人物視窗
CIO頻道方案案例庫(kù)
大數(shù)據(jù)建設(shè)方案案例庫(kù)
電子政務(wù)建設(shè)方案案例庫(kù)
互聯(lián)集成系統(tǒng)構(gòu)建方案案例庫(kù)
商務(wù)智能建設(shè)方案案例庫(kù)
系統(tǒng)集成類軟件信息研發(fā)企業(yè)名錄