數據抽取策略

　　為了解決多數據源遠程數據訪問，支持各種異構數據源的數據抽取與自動轉換，隔離數據邏輯和業務邏輯，保證系統具有良好的開放性及可擴展性，本方案提供一個對多種數據源實施統一訪問的功能構件，實施對數據源抽取的集中管理。

　　統一數據訪問構件的主體由客戶接口、服務管理程序、數據庫訪問服務組成，客戶接口、服務管理程序、數據庫訪問服務之間，通過符合CORBA標準的InforBus中間件進行通信。由于使用了這種松耦合的連接關系，一個客戶端進程可以同時訪問多個數據庫訪問服務，這些數據庫訪問服務可以訪問相同的或者不同的數據源，且地理分布廣泛；多個客戶端進程也可以訪問同一個數據庫訪問服務，由于在數據庫訪問服務做了數據庫訪問連接池的管理，可以連接復用，大大節省了數據庫資源的開銷。數據抽取遵循以下原則：

　　數據抽取策略：提供定時抽取、固定間隔和Rule-based Trigger等策略；
　
　　提供強有力的數據加工處理能力，包括數據過濾、轉換、壓縮、數據加密、簽名、數據填充等；

　　支持自定義數據處理邏輯的即插即用；

　　數據復制：支持快照復制和增量復制等數據復制手段；

　　數據裝載：支持數據的一致性檢查和單子性（無重復性）。

　　處理流程是根據海事不同業務特點，對于各業務數據的抽取采用不同的方法。

1. 定時抽取：對于一些基礎字典和靜態類型數據采用該抽取策略，這類數據的特點是時效性不是很強，并且一般情況下數據的變動頻率非常低。如碼頭、泊位、船舶登記信息、船員信息、船舶安檢信息等。

2. 固定間隔：對于那些動態數據采用該抽取策略，這類數據的特點是可能會頻繁變動，并且這類數據對于船舶安全和航道安全等非常重要。如船舶動態數據、風力、能見度、浪高等。

3. Rule-based Trigger：對于那些敏感數據采用該抽取策略。這類數據的特點是隨時可能變動，且時效性非常強。如出現海上安全事故時，決策層需要出事水域附近的第一手資料（附近的船舶、海面狀況、能見度、氣度、水溫、風速、浪高等搜救必需數據）。

內外網數據交換策略

　　對于內外網間數據交換的需求，本方案是通過網閘進行內外網的物理隔離，并進行數據傳遞。在網閘內側放置數據交換平臺服務器，完成數據抽取、數據存儲和與網閘的交互任務。網閘外側放置數據交換適配器，完成網閘與外間的交互。

 優勢特點

1. “軟總線+軟構件”架構

　　本方案采用基于分布式對象中間件InforBus的“軟總線+軟構件”架構，軟構件具有隨時開發、隨時部署、繼承管理的特性，使系統構件的重用性、移植性和互操作性及拓展能力得到了很好的保障，總線連接分布系統中的各個構件，極大地提高分布、異構應用系統之間信息共享能力。

2. 靈活性配置部署

　　本方案易操作的配置部署界面，可以直接部署適配器、控制交換權限、數據格式、路由節點等。

3. 多種類型數據交換

　　針對各類需提交海事數據庫的業務請求提供專有的適配組件，主要完成數據的接收解析，并負責寫入海事業務數據庫中。

　　支持批量數據交換、交互式數據交換。

　　支持數據庫同步。

　　通過動態配置參數字典，支持點到點數據傳輸、數據轉發、不同類型數據分發到不同節點等智能數據交換路由。

　　通過動態配置訪問權限、訪問頻率等，進行流量控制、斷點續傳和隊列管理的數據交換。

4. 透明性監控管理
　　
　　提供服務運行監控、日志管理與流量分析、多方式的故障報警等透明性監控管理功能。

　　對服務運行情況監控維護 監控對服務程序運行情況，是否正常持續穩定地運行，占用資源是否合理情況監控。

　　對數據交換的監控維護 每筆數據交換是否成功，通過錯誤日志分析錯原因。

　　日志管理與流量分析 日志管理包括對系統操作和運行中所形成的所有日志文件的生成、轉存、備份，操作日志可由具有相應權限的管理人員進行查詢及統計。

　　系統記錄了所有交換的所有操作，以保證對系統的修改有據可查。記錄日志是為方便日志管理和流量分析而對操作進行的，業務系統操作日志提供操作員的各種操作統計報表。

5. 強有力數據處理

　　提供故障恢復能力，當數據處理失敗時，提供重新處理功能，應用也可以建立自己的恢復處理過程；提供如數據壓縮、數據加密和簽名、數據填充、數據格式翻譯消息過濾等；

　　數據交換資源管理中心提供了完備的存儲服務，同時有較好的備份策略及訪問控制策略，實現交換數據的集中存儲和管理。

　　數據裝載到資源管理中心數據庫是根據系統配置，將經過數據交換平臺的數據進行整理后，由一個通訊適配器和統一數據訪問構件協同完成的。