信息采集
樂思網絡信息采集系統
Web是一個巨大的資源寶庫，目前頁面數目已超過800億，每小時還以驚人的速度增長，里面有你需要的大量有價值的信息，例如潛在客戶的列表與聯系信息，競爭產品的價格列表，實時金融新聞，供求信息，論文摘要等等。
可是由于關鍵信息都是以半結構化或自由文本形式存在于大量的HTML網頁中，很難直接加以利用。
樂思軟件的主要目標就是解決網絡信息的采集問題。我們在這個問題上研究了8年也實踐了8年，為國內外許多客戶提供了幾千次網絡信息采集服務。在此基礎上開發了樂思網絡信息采集系統，目前居于國際領先水平（曾在國際招標中擊敗美國競爭對手）。
我們還針對僅需要單獨應用的客戶有針對性地推出了：
| 樂思新聞采集系統 樂思文本采集系統 樂思論壇采集系統 樂思RSS采集系統 （以上4種系統功能皆包含在樂思網絡信息采集系統的任一版本中） 樂思網絡信息實時采集開發包 (COM組件，用于簡單采集) |
一、 主要功能
樂思網絡信息采集系統的主要功能為：根據用戶自定義的任務配置，批量而精確地抽取因特網目標網頁中的半結構化與非結構化數據，轉化為結構化的記錄，保存在本地數據庫中，用于內部使用或外網發布，快速實現外部信息的獲取。 如下圖所示：樂knowlesys思
圖1 樂思信息采集系統概念圖
樂思網絡信息采集系統除了可以處理遠程網頁外，還可以處理本地網頁、遠程或本地的文本文件。
樂思網絡信息采集系統主要用于：輿情監測，品牌監測，價格監測，門戶網站新聞采集，行業資訊采集，競爭情報獲取，商業數據整合，市場研究，數據庫營銷等領域。aw禁止er盜用
二、 系統特點
本系統最大的特點是：采集方法的靈活性與采集數據的準確性
靈活性：任何復雜的查詢與頁面布局都可以靈活處理
準確性：結果數據高度準確(99%-100%)
♦ 對目標網站進行信息自動抓取，支持HTML頁面內各種數據的采集，如文本信息，URL，數字，日期，圖片等
♦ 用戶對每類信息自定義來源與分類-采3453輿情4533集-
♦ 可以下載圖片與各類文件a33lcc樂a思aw
♦ 支持用戶名與密碼自動登錄
♦ 支持命令行格式，可以Windows任務計劃器配合，定期抽取目標網站
♦ 支持記錄唯一索引，避免相同信息重復入庫
♦ 支持智能替換功能，可以將內容中嵌入的所有的無關部分如廣告去除
♦ 支持多頁面文章內容自動抽取與合并
♦ 支持下一頁自動瀏覽功能 a33lcc樂a思aw
♦ 支持直接提交表單
♦ 支持模擬提交表單a33lcc樂a思aw
♦ 支持動作腳本
♦ 支持從一個頁面中抽取多個數據表
♦ 支持數據的多種后期處理方式
♦ 數據直接進入數據庫而不是文件中，因此與利用這些數據的網站程序或者桌面程序之間沒有任何耦合
♦ 支持數據庫表結構完全自定義，充分利用現有系統26禁止9盜用0
♦ 支持多個欄目的信息采集可用同一配置一對多處理
♦ 保證信息的完整性與準確性，絕不會出現亂碼 26禁止9盜用0
♦ 支持所有主流數據庫：MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase,
MS Access等
三、 運行環境
操作系統：Windows XP/NT/2000/2003/2008，建議采用Windows 2008 Server
CPU： 雙核或四核CPU，3.0 G Hz以上
內存： 最低64M內存，建議2G或以上（如8G/16G/32G/64G）
硬盤： 最少20M空余硬盤空間，建議300G或500G
四、 行業應用
樂思網絡信息采集系統在各個注重外部信息獲取的行業都有著廣泛的應用：
門戶網站
可以做到：
每天自動采集指定網站（可達幾百個，上千個）的最新內容（可以做到每天自動從上千個網絡媒體采集上萬條新聞信息）
每天自動采集指定購物網站產品價格信息(產品名稱，說明，價格，圖片等)
利益:
大大節約工作人員采集因特網信息的時間與精力，讓他們有更多時間專注于業務問題
輕松實現行業信息整合
迅速提高本網站信息量與瀏覽量，同時提高Google排名與Alexa排名
輕松實現價格比較系統的前端采集子系統
新聞媒體
可以做到：
每天定時自動采集指定網站的新聞內容，擴大內容來源與數量
輕松整合不同地區與行業的新聞，形成專題
采集行業內的專業文章，論壇帖子，并進行整合
利益:
節約采編人員大量的時間，從而讓他們可以有更多的精力來從事其他的事情
迅速提高本網站信息量與瀏覽量
輕松擁有海量信息輸入
企業
可以做到：
實時而準確地采集國內外新聞，行業新聞，技術文章
實時而準確地采集競爭對手以及供應商的新聞，人事，產品，價格等信息數據抓取
實時而準確地采集公共信源的商業情報（同行產品價格，競爭對手的用戶反饋，行業新聞）
實時而準確地采集本企業的品牌以及競爭對手的品牌在各大搜索引擎中的結果
實時而準確地采集各大行業論壇中的信息，從中了解消費者的需求與反饋，從而發現市場趨勢與商業機會
準確地從網絡公共信息中采集銷售線索，潛在客戶的資料
準確地從網絡公共信息中采集本行業上萬種產品的產品信息（描述，價格等），圖片，技術文檔。
利益:
快速而大量地獲取目標商業信息，立刻提高公司的市場營銷能力 數據挖掘
快速實現企業應用(ERP,CRM等)及企業門戶網站對于因特網內容的整合
快速建立大容量專業知識數據庫，立刻促進公司的知識管理水平
節約內部員工到各網站查閱新聞的時間
政府機關與軍隊
可以做到：
實時跟蹤、采集與政府工作相關的國內外及地方新聞，政策法規，經濟，產業等信息
解決與因特網隔離的重要部門對于因特網的信息需求問題 WA樂_思L監測SJ
解決政府主網站對各地級子網站的信息采集與整合問題
利益:
全面滿足內部工作人員對外部因特網的實時信息的整合需求
迅速解決政務外網、政務內網的信息量不足，更新不及時問題
通過擴大信息量(如新聞,供求信息等)提高政務網站的用戶滿意度
大大節約工作人員采集因特網信息的時間與精力
廣告與市場研究機構
可以做到：
快速而大量地獲取公共信息中的商業名錄資料網頁抓取
快速而大量地獲取目標網站的各種原始信息(例如Blog與BBS中的信息)到數據庫中
利益:
快速形成特定群體的具有很高可信度的商業名錄數據庫 WA樂思采集SJ
快速形成用于分析統計與研究的用戶反饋基礎數據庫
為品牌客戶監視Blog與BBS上的相關信息
科學與技術研究單位
可以做到：
實時跟蹤、采集相關的國內外科技信息與新聞
整合分布在各個網站網頁上的科研數據，例如美國國家衛生研究院的生物科技信息中心公布的的大量基因相關數據
本地文本數據抽取
利益:
全面滿足科研人員對于實時科技信息的整合瀏覽需求a網頁抓取
從因特網的公開的可信來源輕松獲取科學研究的相關數據WA樂_思L監測SJ
節約科研人員的極其寶貴的時間與精力
五、 版本功能區別
| 功能 |
標準版 |
專業版 |
企業版 |
| 微博網站采集 |
 |
|
|
| 論壇網站采集 |
|
|
|
| 博客網站采集 |
|
|
|
| 新聞網站采集 |
|
|
|
文本文件采集 |
|
|
|
RSS/XML抽取 |
|
|
|
圖片網站采集 |
|
|
|
視頻網站采集 |
|
|
|
社交網站采集 |
|
|
|
在線數據庫網站采集 |
|
||
支持定時自動執行 |
|
|
|
靜態URL列表抽取 |
|
|
|
動態URL列表抽取 |
|
|
|
網頁屏幕快照 |
|
|
|
直接POST查詢抽取 |
|
|
|
模擬填寫表單查詢抽取 |
|
||
高級數據處理 |
|
||
國外多語言信息采集 |
|
||
單項目表個數最大值 |
10 |
10 |
無限 |
字段個數最大值 |
60 |
100 |
無限 |
數據變形腳本最大行數 |
100 |
200 |
無限 |
連續抽取最大記錄數 |
100,000 |
500,000 |
無限 |
使用時間 |
無限 |
無限 |
無限 |
網站數 |
無限 |
無限 |
無限 |
免費網站欄目配置個數 |
2 |
4 |
4 |
六、 演示與下載
在線觀看各種類型的采集效果，更多詳細請撥打電話(0755) 8603-2826聯系我們。
欲獲取更多信息或解決方案，請提交您的需求給我們或者直接發電子郵件到web2db@knowlesys.com。