2001年11月10～16日，在美國克科羅拉多州丹佛市召開的“超級計算2001”會議上，中國農業銀行山東省分行（山東農行）數據中心系統被評為全球最大的500個商用計算機系統中的第150名，該行采用的HP公司超騰主機省域數據中心也被認為是亞洲最大的商用Unix系統。山東農行的成功有力地證明了Unix平臺可以勝任數據大集中的要求！

   這是一個值得玩味的案例，其可玩味之處在于：當銀行業幾乎都是在“集中就是Mainframe”這種思維方式下進行信息化的時候，山東農行對Unix系統的嘗試為這個行業提供了一個可行的參照！

    案例故事

    2000年5月，中國農業銀行（簡稱為農行）在安徽省召開會議，部署推廣“新一代”綜合業務應用系統（簡稱“新一代”）工作。山東農行副行長楊賽光參加了這次會議，并如愿以償地使山東農行成為第一批推廣行。于是，山東農行醞釀多時的數據中心整合（即數據大集中）和“新一代”推廣部署緊鑼密鼓地開始了。

    “新一代”系統是農行1997年開發成功的，并于1998年在寧夏推廣，該系統包含綜合柜員制等目前國際銀行業最先進的管理手段，所以下面的省行都爭著上“新一代”。

    起初，山東農行的想法只是推好“新一代”，并沒有急著考慮數據集中，可是到了2000年下半年，總行一聲令下，計劃也就隨之變了。農行決定，地方農行在推廣新系統的同時，要加快省域數據中心的建設步伐。

    山東是農行的業務大省，到去年年底，該行各項存款達到1080億元，各項貸款900億元，在全國農行排名三四位; 個人儲蓄業務達到760億元，有將近700萬儲戶。由于業務量巨大，僅推行“新一代”山東農行就已經感到壓力很大，再來一個數據集中，難度可想而知。 此外，山東農行還有自身的特殊情況。兩年前，山東農行實現了兩個聯網: 以市行為分中心，連接所有營業網點; 2000年初實現了全省17個分中心的聯網，并利用IBM MQ Series作為中間件在省行建了一個交換中心，實現了全省范圍內所有儲蓄業務的通存通兌，在當時被媒體稱為“中國金融界第一大省網”。 楊賽光說: “如果沒有實現聯網，推廣‘新一代’和數據中心的難度就小得多，因為不受任何時間的限制。”在推廣“新一代”之前，山東農行每天跨市的通存通兌業務在5000筆左右，金額在幾千萬元以上，客戶對這個網越來越認可，而要推廣“新一代”、建數據中心必須把這個網停下來。

    8個月精挑細選

    在山東農行決定上兩個系統之后，迫在眉睫的事情是決定系統的主機。在國內，一提到金融數據集中，就會想到IBM的Mainframe大型機，因為幾乎所有國內商業銀行的主機都采用了IBM的產品。

    然而山東農行卻另有苦衷。在該行全省的16個分中心里，用IBM設備的只有4家，其余的12個分行和省行交換中心都采用了惠普Unix系統。開始，山東農行也把目光投向了IBM S/390，但山東農行總工程師宋傳杰認為，390屬于Mainframe系列，如果采用這個平臺，則需要一批Mainframe系統領域的資深專家，但山東農行目前缺乏這種人力資源，選擇IBM是否合適？另外，“新一代”的第一個版本是在Unix平臺上開發的，宋傳杰認為，從一種Unix系統到另一種Unix系統的轉移都很困難，要從Unix平臺過渡到Mainframe上面，會更加麻煩。

    山東農行決定先試一試Unix平臺。但是，用Unix平臺進行數據集中還沒有先例，這樣做無異于第一個“吃螃蟹”。 由于許多專家認為“數據中心整合只能使用Mainframe”是金科玉律，因此希望結合兩種平臺，實現“Mainframe強大的數據吞吐能力、高可靠性”與“Unix的靈活、低成本和知識資產”的優勢互補。與此同時，專家們也悄悄地準備試一試Unix平臺，畢竟在全球，Unix平臺已經在一些金融機構中承擔了數據集中的關鍵業務。

    沒有不透風的墻，這個想法一傳出去，很快就遭到了同行的“恥笑”，像山東農行這么大的業務量，要進行數據集中，幾乎沒有人相信Unix平臺能夠勝任。 在隨后幾個月時間內，宋傳杰領導一個小組，帶著“新一代”程序到不同的平臺上做測試。他們一條腿踩在IBM S/390 Mainframe上另一條腿踩在Unix上，以驗證Unix平臺的可行性。 作為Unix平臺的代表廠商，惠普公司自然成為考察的首選目標，惠普超騰服務器的推出，使很多人看到了在大機上除了IBM，還有另外一種選擇的希望。后來，宋傳杰與同事們到惠普的日本測試中心做Benchmark測試，測試的結果讓宋傳杰很滿意。

    山東農行確定在主機的選擇上就看誰的性價比高。宋傳杰稱，如果采用IBM的Mainframe系統，需要花1600萬美元，而惠普的產品只需500萬美元，結果自然就是惠普了。 “商業銀行的目的就是賺錢，所以我們必須考慮成本！”楊賽光在接受記者采訪時表示。

    其實，宋傳杰并非刻意要采用開放式系統，他認為，“目前，從應用的角度看，沒有真正意義上的封閉式系統，也沒有真正意義上的開放式系統。IBM的S/390是支持Linux最好的機器，而惠普的機器雖然是開放式系統，但把惠普機器上的程序拿到Sun的機器上，同樣跑不動，盡管它們都是Unix平臺。所以，系統的開放與封閉是相對的。”

    宋說: “20世紀90年代初期，那么多人都認為Mainframe是恐龍，一定會被Client/Server系統消滅時，我堅信Mainframe一定厚積薄發。我本人有超過15年的Mainframe工作、技術、管理經驗，對Mainframe非常有感情。我的第一意識是Mainframe。但是，當Mainframe和Unix系統都能勝任之時，你需要認真對待投入產出比（即ROI）,你需要考慮運行成本、人力資源成本的差異，你需要認真考慮如何才能保護好企業或組織內部的知識資產以及知識資產積累或舍棄的代價。    ” 在宋看來，不論是Mainframe還是Unix，都是一個或一堆Box，如何賦予它們生命才是最重要的。能不能在這個Box上增值，讓業務在上面跑起來才是關鍵。宋認為，投資少只是一個方面，更重要的是讓系統快速部署下去，對于山東農行來說，Unix平臺顯然更符合這個要求！

    農行在選擇系統平臺的時候，并不是以系統的開放或封閉性為標準，而是重點考慮企業內部信息技術和人力資源的分布以及知識財產的積累與投入、已有資源的繼承和保護。總之，滿足需求的系統平臺就是最好的選擇。

    20個月緊鑼密鼓

    如果從1999年年底開始算起，到2001年8月4日召開全省“新一代”動員大會，山東農行花在系統準備的時間足足有20個月之久。 

    在尋找主機方案的同時，其他各項準備工作都已經全面展開。首先做培訓，山東農行前前后后做了兩次大規模的培訓，每次參加培訓的人員都在1萬以上。1999年底，山東農行針對“新一代”在寧夏推廣的版本進行培訓，到了2001年4月，總行“新一代”的版本在山東開始做版本優化，花了兩個月的時間，新的版本與寧夏使用的版本相比，增加了一卡通等新的功能，不得不再次培訓。

    接下來是賬務準備。這個任務同樣艱巨，從2000年5月份開始到系統正式推廣使用，山東農行在全省進行了三次財務檢查。這是一項范圍大且細致的工作。楊賽光說，全省3400多個網點，沒有一個網點敢說自己賬賬相符，有的網點問題很多。另外，農行以前有幾萬個代辦單，這些老系統遺留的問題不解決，到了新系統中就更難辦。

    第三方面是設備準備。包括省行中心的設備準備和基層網點的設備準備。省行中心的設備主要是主機的選擇，但是工作量最大的還是營業網點的客戶終端、主機、打印機和監控系統等設備的準備。

    第四是人員的準備。實行綜合柜員制以后，要求柜員不但可以辦理儲蓄業務，還可以辦理會計業務、聯行業務等等，以前每個人只需負責一塊，如辦儲蓄的不辦聯行業務，所以要通過大量的培訓以獲得大量符合要求的人員。

    在整個組織推廣過程中，山東農行做了一些詳細的方案(如培訓)，每一個市分行的切換都單獨有一個方案。楊賽光說: “由于我們的準備工作考慮得比較周到和全面，所以整個推廣工作也能比較順利地進行。”

    30分鐘驚心動魄

    山東農行新系統的切換從萊蕪開始。因為萊蕪營業網點一共只有39個，是山東農行業務量最小的一個行，選擇它風險相對小一些。由于這次切換得到了總行的全力支持，因此初戰告捷，2001年7月1日，萊蕪正式切換成功，給整個系統切換提供了寶貴的經驗。

    也許是求勝心切，也許是形勢所迫，山東農行很快把下一個目標放在了至關重要的濟南分行。楊賽光說，這也是逼上梁山，原計劃在10月中旬進行濟南分行的切換，可是已經等不及了。由于業務的發展很快，濟南分行的設備死機的現象較多，網點已怨聲載道。在這種情況下，山東農行準備從濟南開刀。楊賽光說，雖然風險相對大一點，但是只要拿下濟南，其他的地方就可以暢通無阻了。

    9月10日，山東農行做出了切換濟南系統的決定，時間定在9月22日晚，23日開門營業。

    22日系統完成切換，當日，“險情”就發生了！早上一開門，全市很多網點都出現不同程度的異常，全市很多的網點都采用新系統、新賬號，客戶輸入的密碼卻總是驗證失敗。客戶著急，前臺柜員緊張。 此時，最著急的還是宋傳杰。坐鎮指揮中心的他聽到電話鈴聲響成一片，十幾部熱線電話都是告急的消息，省行的領導們都在機房外邊。濟南分行的行長也來了，臉色泛白。通常9月以后的幾個月是銀行的旺季，業務量很大，如果切換失敗或者處理速度沒有明顯改善，報紙一宣傳，客戶還不都跑了。他焦急地問宋傳杰：“老兄，怎么辦？”

    在投入運行之前，山東農行已經做了無數次測試，問題出現得莫名其妙。急歸急，但宋傳杰對于系統從來都沒有懷疑過。他立即打電話詢問萊蕪，萊蕪答復一切正常。宋傳杰想，肯定是有些關鍵的、與濟南有關的步驟給漏掉了。

    機房內總行、省行的技術人員們緊張但有條不紊地檢查問題所在。空氣幾乎凝固了。20多分鐘之后，在上百萬代碼和幾十萬系統運行信息中，Bug終于被抓住了！問題出在涉及客戶信息、資金安全的數據加密啟用開關上，由于工作人員高度緊張，在投產之前的參數最后確認中，把on當成了off。龐大的系統“怪獸”發出了順利運行的信號，成功了！機房的空氣立即歡騰起來。所有的人都松了一口氣。雖然整個過程只有30多分鐘，但這30分鐘每個人都經歷了最艱難的時刻！宋傳杰擦著汗幽默地說了一句：“這才叫刺激！”

    事后宋透露，實際上這還是操作流程有問題，因為原計劃切換過程中停業一天一夜，以便有充裕的時間來解決問題，而且這也是在人民銀行允許的時間范圍之內。但是該行最終還是決定只用半天的時間來完成切換。這是個教訓！

    在之后的日子里，雖然陸續也有問題出現過，但一切盡在工程師們的掌握之中。因為“新一代”還從來沒有在像山東農行這么大的交易量中運行過，而軟件都有處理瓶頸，當系統切換的時候，每切換一部分，業務量就增大一截，一旦大到出現瓶頸的時候，就會產生問題，而這些問題在模擬測試中是沒有辦法測出來的，因為真實環境中業務量是隨機的，這時候只能是發現一個解決一個。

    解決了濟南的問題，一塊大石頭終于落了地。切換勢如破竹，5天一個行，到最后的日照和棗莊兩個行一晚上就切換成功，比原定的時間提前了一個月。

 
    技術分析 主機處理能力需求估算

    目前廣為使用的衡量主機系統聯機事務處理能力的指標是TPC-C。按照山東省農行對核心業務系統的規劃，在未來3～5年內，系統的日均處理能力將達到300萬筆，考慮峰值因素，系統的處理能力應達到每分鐘處理交易2萬筆以上。同時即使在滿負荷運行的情況下，系統也應保證70%的主機CPU處理余量，用于系統、數據庫、中間件、工具軟件、監控軟件或其他應用系統的使用，同時還應考慮新業務品種的開發和新業務的應用。因此，對應計算的標準TPC估值為：3000000×5/(120×70%)=178600

    惠普超騰服務器Superdome在配置48顆PA 8600CPU和48GB內存的情況下，應用Sybase數據庫，其在線事務處理（OLTP）的性能可達25.3萬標準TPC-C。在本項目中，惠普配置了2臺Superdome，通過HP MC/ServiceGard構成雙機集群，每臺Superdome配置48顆CPU、96GB內存，其OLTP性能接近250000TPM。

    層次化的功能處理方式

    針對山東農行目前的現狀，惠普在山東農行數據中心采取了大集中的方式。在功能上包括數據訪問層和應用服務層，同時采用集中式數據管理和分布式應用管理兩種方法構建數據中心。

    在應用服務層，采用可堆疊的主機構成的集群系統以實現業務提出的不斷升級的擴展能力，同時做到按功能劃分的應用系統，例如圖示中的核心銀行系統、網上銀行系統等分別位于不同的應用服務器上。在數據訪問層，采用冗余主機構成集群系統以實現互為熱備份和不停機作業；存儲系統由大容量智能存儲設備構成，為數據訪、存提供高帶寬的強有力的支持，同時還可以實現數據的快速備份和遠程數據備份容災,并為下一步容災系統的建立奠定基礎; 磁帶庫提供數據的海量存儲和快速備份。

    三層客戶/服務器體系結構

    數據中心采用高速局域網如千兆以太網互聯，以保證數據中心連接的暢通和快速交互。另建立一個集成化的網絡和系統管理中心，以實現中心的智能化和自動化管理。在大集中數據中心的物理結構上也是采用三層結構，以滿足企業級系統需要的三層客戶/服務器體系結構(如右圖所示)。這種大集中數據中心結構使得各層功能和數據完全獨立，適合于大規模計算和變化多端的環境。

    其中，第一層為前端中心，提供通信和操作界面所需的功能; 第二層是數據中心，即包括網關服務器和應用服務器，前者主要完成網絡網關服務和數據庫網關服務，后者為典型的應用服務器，響應前端交易請求和訪問第三層的數據庫服務器，以完成業務的邏輯處理；第三層為數據庫服務器和數據存儲設備，主要運行數據庫管理系統及與業務相關的數據訪問和存儲過程等。

    不再是Mainframe的天下？

    山東農行吃螃蟹的案例，無疑為Unix系統在大型的數據集中等應用中豎起了一面旗幟。記者了解到，目前江西農行、陜西農行、湖南農行、安徽農行等銀行都將采用Unix系統進行數據集中。中國惠普金融事業部總經理吳亞西對記者說，山東農行的成功有力地證明了Unix平臺能夠穩定、安全地支持金融數據大集中，而在價格方面，Mainframe系統是Unix系統的3～4倍。這種對比不禁讓人懷疑，Mainframe一統天下是否現實？

    一些數據統計可以支持這種觀點。幾年前，銀行要求集中處理的能力每秒達到500筆交易，每天就有上千萬筆，那時只有IBM的Mainframe大型機有這個能力，而且客戶對它的安全性也比較認同。但是經過幾年的發展，Unix平臺已經取得了長足的進步：在安全方面，世界上已經有電信計費、證交所等關鍵領域采用了Unix平臺，其安全級別已經達到了B2；從處理能力來講，惠普超騰服務器每秒鐘的處理峰值能力為1500筆，一天可處理5000萬筆交易，而目前工行一天的交易量也只有2000萬筆。

    但很多人可能依然對Unix持懷疑態度。他們或許會問，像山東農行這樣業務發展如此迅速的銀行，幾年以后，Unix平臺還能承受得了嗎？山東農行是否只是貪圖便宜？對此，宋傳杰的看法是，不管是用Mainframe 還是Unix，3年以后，系統肯定是要升級的。如果業務需求真有如此之大的話，肯定得用Mainframe，可是，目前在中國金融界有那么大的需要嗎？或許中國的銀行10年之后才可能需要那么大的處理能力，但是，又有誰知道10年之后的Unix是什么樣子呢？從過去10年的發展來看，Unix不斷把Mainframe上一些好的東西吸收進來，比如對硬件資源的分區，把一臺機器分割為幾臺來使用，過去這是Mainframe的專項，但現在，HP、IBM、Compaq和Sun的Unix系統上都可以做了。從中我們可以感覺到，Mainframe和Unix都在向前發展，但Unix的步伐整體上要略快于Mainframe。

    這些或許可以為標題中的問題提供一些答案，但拋開這些性能方面的比較不談，單從用戶的角度看，相信誰都希望自己能多一種選擇，有競爭總是好事情。