客戶證言

“到我們計算中心來做高性能計算的人越來越多，面對高度并發的訪問，以前采用開源的解決方案，由于穩定性較差，每個月就要進行一次全面的系統維護。采用EMC Isilon解決方案以后，到現在已經六個月，一直運行穩定，沒有進行過一次系統維護。我們對此非常滿意。”

――某大學高性能計算中心負責人范老師

背景與需求

南京某綜合大學早在2008年就建成了十萬億次的計算平臺，其計算能力當年位居全國高性能計算機TOP100前列。隨著應用能力的提升，目前該計算平臺已擁有300多名用戶，應用內容涵蓋氣象、空間、海洋、電磁、化學等多個領域。

高性能計算系統中的存儲系統一直是制約系統整體應用能力發揮的瓶頸，通常采用并行文件系統的方案以有效提升存儲系統的I/O服務能力，早期的許多高性能計算系統出于節省建設成本、I/O性能等方面考慮，往往采用開源的存儲系統。該大學計算中心就是這樣的典型用戶。但隨著用戶量、數據量、計算量的增長，開源存儲系統在可管理性和穩定性方面的問題就會逐漸暴露出來。例如，當設備冗余機制不完善時易導致數據的意外丟失，存儲系統滿負荷（容量占滿或頻繁讀寫）運轉時會出現各種不可預測的問題，對底層磁盤系統未進行有效操作限制而帶來的各種風險，等等。

存儲系統的不可靠性、不穩定性嚴重影響了計算平臺的運行，當存儲系統宕機下線時，計算平臺不得不停止對外服務，該大學計算中心在過去經常會因為此類問題而遭到計算平臺用戶的責備，管理員不得不花費大量的時間定期去檢查和維護平臺的存儲系統。2011年初，該大學在多方考察后，決定采用EMC的Isilon解決方案替換原有開源存儲系統，以提升計算平臺的穩定性。

解決方案：EMC Isilon輕松維穩

2011年6月，該校計算中心實施了EMC Isilon集群存儲解決方案。經過近半年的應用表明，較之以前使用的開源系統，EMC Isilon使得該校的高性能計算在統一界面、數據共享、容量吞吐、冗余體系、可擴展性等方面都有了質的提升。

該校計算高性能計算中心負責人范老師介紹說，以前使用開源的并行文件系統lustre，采用PC服務器加磁盤陣列組合的方式。這種模式出故障的環節太多，任何一個環節出現問題都可能導致數據無效或者丟失，需要經常性的檢查系統并進行維護，穩定性很難保證。例如當用戶目錄非常龐大，目錄層次很深，文件名很長的時候，在該系統下讀取和存放數據就會頻繁出錯。有一次數據中心遇到突然斷電，緩存沒有寫入，存儲系統的元數據損壞，整個系統就宕掉了，并丟失了大量的用戶文件。

相對于傳統的NAS使所有數據都從其控制器出入造成性能和擴展性瓶頸，EMC Isilon支持大規模信息的集中訪問，可實現數據的共享，每臺服務器都可以看到所有的存儲空間。客戶端能夠隨時按需安全的訪問數據，單個卷可實現PB級文件系統支持，而且更易于安裝、管理和擴展。

有一組數據可供參考：Isilon的單個96節點集群和單個文件系統可以提供1.6PB的存儲容量，而其他廠商的系統和開源的NAS產品每文件系統大部分只能提供16TB的容量。Isilon采用冗余體系結構，可實現節點內及節點間的冗余，大大提高了系統可靠性和可用性。

通過Isilon IQ集群存儲系統的支持，一個從10TB到100多TB的群集系統可以在不到10分鐘時間完成安裝、配置和連機使用。另外，Isilon獨特的“按需購買，漸進擴展”(pay-as-you-grow)方式，體現了Isilon存儲系統的優秀擴展能力。Isilon存儲節點之間采用infiniband高速互聯，存儲節點擴展時，性能隨著節點增加而線性擴展。在線(免停機)升級只需不到1分鐘的時間，無需對原有設備及應用做任何改動移植，系統擴展的整個過程無需宕機。可以說，EMC Isilon解決方案讓系統宕機的風險降到了最低。

技術詳解：EMC Isilon優勢

EMC Isilon是一種橫向擴展（Scale-Out）NAS，它采用了全新的設計，以實現大量的性能特性。

Isilon Scale-Out NAS 由模塊化節點構成，有兩種節點：一種是存儲平臺節點，一種是性能加速節點。系統的核心是存儲平臺節點，它由智能分布式文件系統支持。該文件系統將所有資源集中在一起，以處理幾乎所有類型應用程序工作負載的存儲需要。如果工作流受到磁盤 I/O 限制，可以在系統運行時添加更多平臺節點，以添加磁盤軸和處理能力。同樣，如果工作負載僅受 CPU 和內存限制，可以在系統運行時添加性能加速器節點。根據需求添加不同數量的存儲平臺節點或性能加速節點，使得Isilon可以同時擴展兩項性能，或獨立擴展一項，以適應變化的應用程序環境。

Isilon集群將文件分配到多個節點和磁盤中，使 I/O 操作并行化。系統使用大容量連續磁盤段（128K）來優化文件布局。在寫操作過程中，數據先被存放在大容量內存緩沖區內，然后以精心規劃的順序將數據轉存到磁盤中，以減少磁盤開銷。在讀取過程中，會先預取數據以避免其它方向的類似 I/O 開支。由于每個文件都被劃分到集群中的不同節點和磁盤集合中，隨機存取一系列文件時產生的總負載被分配到集群中的所有磁盤上，并且不會像基于 RAID 的系統一樣受到有限的磁盤集合限制。由于所有節點都參與 I/O 處理，相比傳統的單一磁頭或 RAID，可以支持使用更多的 CPU 和內存處理單元。

對于隨機 I/O 操作，系統使用小至 8KB 的數據塊，以更細化的方式來讀取數據。數據同時也保存在所有節點集合成的大容量緩存中，以減少 I/O 響應時間。

在本案例中，該大學計算中心的Isilon群集存儲配置了4個存儲節點，一個加速節點（提供萬兆網絡連接）。群集存儲通過加速節點的兩個萬兆接口和交換機相連，同時也將存儲節點的千兆接口與交換機連接，通過Isilon提供的軟件對存儲請求進行判斷，根據各個節點的負載情況將存儲請求進行合理的分配，以保證整個集群存儲的高性能。

同時，在原有網絡中部署萬兆交換機，用以連接各個網絡核心及新部署的高性能存儲。在這種架構下，未來可隨時根據系統容量及性能需求在線添加Isilon集群節點，無需對原有系統做任何改動。（拓撲圖如下）

Isilon將文件數據和元數據分散保存在橫向擴展的存儲系統中，且系統集群中的多個節點具有同等地位，可以共同處理數據和元數據操作的 I/O。在這種分布式架構中，I/O 處理被均衡分布到集群中的各個節點上，任何單個節點都不會成為瓶頸或單一故障點。此外，Isilon還提供用戶配額管理的功能，避免一個用戶占用資源太多，影響其它并發用戶的性能。

總之，EMC Isilon是目前市場最領先的橫向擴展NAS系統，是大數據存儲和管理的首要選擇。該校的案例，便是Isilon在全球大量成功應用的一個例證。