
證券公司在經營中面臨著很多風險,如內幕交易、操縱市場、欺詐客戶等,這些欺詐和投機行為會給證券公司帶來很大損失和不良影響,因此,防范各類風險的發生、創造公平的交易環境成為所有證券公司的重要職責之一。
為了加強對證券公司風險的監管,證券公司紛紛加大了IT技術的投入,通過集中各種交易數據進行實時分析以監控各種非正常交易行為。2008年,光大證券基于自己的高效數據平臺實現了數據的跨平臺采集,進而成功地完成其風險控制項目的建設,還為多種其他應用打下了堅實的數據基礎。
面臨數據采集難題
創建于1996年的光大證券股份有限公司是由中國光大(集團)總公司投資控股的全國性綜合類股份制證券公司,業務涉及證券的代理買賣、證券代保管、證券的自營買賣、客戶資產管理等,是中國證監會批準的首批三家創新試點證券公司之一和首批17家A類A級證券公司之一,其業務規模及主要營業指標居國內證券公司前列。
作為一家為客戶提供增值金融服務的上市證券公司,光大證券高度重視各種風險的防范工作,不僅建立健全了各種制度和規范,還于2008年初啟動了新的風險控制項目: 把柜臺交易系統、財務系統、客戶服務系統等多個系統的數據采集出來,然后基于各種風險識別的規則進行分析和判別,以最大程度地降低公司的經營風險。不僅如此,光大證券還想以此為契機,對數據進行再次利用,比如對數據進行交叉分析,進而針對性地推出產品或做出有針對性的決策。
所有這些工作的一個前提就是要完成數據的集中采集。以證券交易中常見的一種證券欺詐行為——“虛假申報”為例(虛假申報指行為人持有或者買賣證券時進行不以成交為目的的頻繁申報和撤銷申報,制造虛假買賣信息,誤導其他投資者,以從中漁利的行為),要識別出這種行為需要實時采集交易系統的數據,同時還要結合該交易人以前的交易習慣以及該交易人的個人信息等,這就意味著要采集多個業務系統中的數據進行綜合分析。
然而,在數據采集過程中項目組遇到了難題: 光大證券缺少一個統一的數據平臺來對大量的實時數據加以整合、分析,為公司的其他業務提供數據支持。
“數據采集的一個困難是,光大證券有多個業務系統,這些系統是不同時間建立的,數據格式并不統一; 另一個困難是需要實現實時的數據采集,包括從柜臺交易數據中實時采集證券交易數據。”光大證券軟件開發組項目經理孫思維告訴記者,負責完成股票交易的柜臺交易系統,是證券公司最核心的業務系統,應該盡量避免其他因素的干擾,因而對數據采集平臺的要求非常高,必須是高效而且可靠的。
以往光大證券的數據采集工作主要依托原數據中心及開發商的ETL平臺來完成,這種方式帶來的最大問題就是不靈活,無法及時獲取自己所需要的信息,而且成本高。因為每個新的數據采集需求都依靠第三方服務商用手工編碼的方式來實現,這就造成數據采集和處理項目需要很長時間才能完成,當出現新需求和異常情況時無法快速響應,而且,實時數據采集只限于幾個業務流水表,無法滿足光大證券的實際應用要求。
全面、實時的數據采集
此前的數據采集方法在此時行不通了。光大證券開始尋找新的解決辦法。經過廣泛的調研,光大證券將關注重點落到了數據采集平臺建設上,計劃通過建立一個統一的數據采集平臺實現跨平臺的數據采集工作。“更為重要的是,這個數據采集平臺不僅可以用于本項目,還可以用于公司其他應用的數據采集工作。”孫思維說。
在確定開展數據平臺建設之后,光大證券找到了從事數據集成產品和服務的Informatica公司。Informatica根據光大證券的實際需求,提出了一個集PowerCenter8 Real-time Edition與PowerExchange為一體的實時數據采集方案,幫助光大證券成功地搭建了一個統一的數據采集平臺,使光大證券能夠根據需要隨時隨地訪問各個業務系統的數據,并在整個企業內傳遞數據,最后把不同來源、格式、特點、性質的數據在邏輯上或物理上有機地集中,為企業各部門系統提供全面的數據共享。
方案采用了基于日志的實時采集方法,讓光大證券可以實現增量采集,在過程中不會對原數據表加鎖。該數據采集平臺通過調用數據庫提供的API函數實現日志采集,從而避免對其他業務操作造成干擾,以盡量減少對光大證券各業務系統性能的影響。
實時數據采集是光大證券最為關心的問題之一。該平臺讓客戶端可以記錄當前采集的位置,在必要的時候可通過系統的調度記錄恢復到歷史采集點重新采集,并可人工設定下次采集的起始點,從而提高實時數據采集的可恢復性。
在整個解決方案中,PowerCenter充分承擔起數據ETL平臺的作用,不僅可以實時地采集到各種關鍵數據,還能將這些數據進行復雜規則的轉換,并輸出到不同的平臺、系統中加以分析,從而做到對這些實時數據的充分利用。
應對未來的需求
經過一段時間的上線運行,光大證券的數據集中采集平臺的數據整合能力得以顯示出來,不僅解決了數據采集效率低下的問題,使分布在不同系統中的業務數據得到了有效整合,還構建了完整的全公司數據環境,提升了運營管理及決策的效率。數據的管理與維護也得到了加強,響應與部署的速度得以加快,數據質量也得到了提高,為分析系統提供了全面的支撐。
孫思維表示:“以往采取手工編碼進行數據整合時,采集出來的數據經常會出現各種問題,甚至導致下游的一些數據應用根本無法進行。而采用新的數據平臺后就不會出現這樣的問題了。”
而在實時數據采集方面,光大證券的應用效果就更為明顯。包括客戶的交易流水、客戶信息、資金、股份等信息以及柜員的操作記錄、交易所的行情源、成交回報庫等實時數據都能通過數據平臺迅速加以整合,用于監控客戶異常交易行為以及柜員的特殊操作的風險監控系統,也可以為客戶服務系統進行成交回報與策略交易分析,大大加快了光大證券的業務反應速度。
如今,光大證券不僅在風險控制系統中使用了這個數據采集平臺,還在該平臺的支持下,通過對數據進行快速、準確的分析,加快其產品與服務的推出速度,進而提高了企業管理水平與競爭力。
CIO頻道人物視窗
CIO頻道方案案例庫
大數據建設方案案例庫
電子政務建設方案案例庫
互聯集成系統構建方案案例庫
商務智能建設方案案例庫
系統集成類軟件信息研發企業名錄