主流高性能計(jì)算文件管理系統(tǒng)優(yōu)劣點(diǎn)評(píng)
當(dāng)下市場(chǎng)中有很多高性能文件系統(tǒng):Sun QFS、IBM GPFS、Quantum StorNext、Red Hat GFS和Panasas等等,那么哪一個(gè)是最好的呢?這要取決于你自身的需求。
Panasas首席營(yíng)銷管Len Rosenthal表示:“我們的競(jìng)爭(zhēng)對(duì)手包括NetApp OnTap或者OnTap GX、EMC、IBM GPFS、HP Polyserve或者Sun的開源研究項(xiàng)目Lustre。雖然我們已經(jīng)取代了運(yùn)行Sun QFS的系統(tǒng),但是在銷售方面卻從來沒有真正地與他們競(jìng)爭(zhēng)。”
Rosenthal表示,Quantum StorNext和HP Polyserve只能處理最高16個(gè)集群NFS服務(wù)器,所以他們不會(huì)與擴(kuò)展NAS產(chǎn)品競(jìng)爭(zhēng)。同樣地,IBM GPFS和Sun Lustre與Panasas PanFS一樣都是并行文件系統(tǒng),主要被高等院校和政府研究機(jī)構(gòu)用于擴(kuò)展存儲(chǔ)容量的用途,但是他們不提供足夠高的I/O率或者快照等數(shù)據(jù)管理工具。
那么Panasas的競(jìng)爭(zhēng)對(duì)手是如何對(duì)此回應(yīng)的?
IBM公司GPFS產(chǎn)品經(jīng)理Todd Neville表示,GPFS安裝基礎(chǔ)非常廣泛,其中包括高性能計(jì)算、零售、媒體和娛樂、金融服務(wù)、生命科學(xué)、醫(yī)療、Web 2.0、電信以及制造業(yè)。Neville也不認(rèn)同Panasas關(guān)于I/O率的說法。
昆騰公司軟件業(yè)務(wù)產(chǎn)品線總監(jiān)Greg Nuss也強(qiáng)調(diào)說,Panasas關(guān)于StorNext功能的說法是完全錯(cuò)誤的。
他說:“StorNext集群中的每個(gè)節(jié)點(diǎn)都可以作為一個(gè)NFS服務(wù)器,并且在終端代表通用文件系統(tǒng)命名空間。現(xiàn)在,我們支持1000個(gè)節(jié)點(diǎn),支持與集群連接的附加SAN節(jié)點(diǎn)或者附加LAN節(jié)點(diǎn)?,F(xiàn)在我們每天實(shí)際安裝的節(jié)點(diǎn)大約在300到400個(gè)之間。一般來說我們并不與Panasas形成市場(chǎng)競(jìng)爭(zhēng)關(guān)系,因?yàn)镾torNext一般不配置在擴(kuò)展NAS架構(gòu)中,而是用于高性能工作流以及歸檔架構(gòu)中。”
與此同時(shí),惠普也反駁了Panasas的說法?;萜毡硎?,HP Scalable NAS在用戶集群中能夠使用的NAS File Services服務(wù)器節(jié)點(diǎn)方面并不存在架構(gòu)性的限制。
HP StorageWorks部門NAS產(chǎn)品營(yíng)銷總監(jiān)Ian Duncan表示:“我們所說的16個(gè)服務(wù)器節(jié)點(diǎn)限制僅僅是指測(cè)試限制?,F(xiàn)在我們有許多NAS File Service用戶正在使用超過16個(gè)服務(wù)器節(jié)點(diǎn)的集群。”
Duncan表示,Panasas、Sun QFS、IBM GPFS以及Quantum StorNext并不是真正的對(duì)稱文件系統(tǒng),而是基于主服務(wù)器的集群文件系統(tǒng)——不管是否針對(duì)元數(shù)據(jù)操作和鎖定操作,或者兩者兼?zhèn)?mdash;—這非常容易被作為傳統(tǒng)的、單節(jié)點(diǎn)系統(tǒng)。然而,Duncan認(rèn)為這些廠商可能面臨主服務(wù)器單一角色導(dǎo)致的性能和可用性方面的瓶頸。
Duncan表示:“當(dāng)添加服務(wù)器的時(shí)候,在主服務(wù)器上的負(fù)載增加,這可能會(huì)造成性能的削弱,并且在主服務(wù)器發(fā)生故障的情況下導(dǎo)致更多節(jié)點(diǎn)功能性的丟失。相比之下,4400 Scalable NAS File Services采用了HP Clustered File System (CFS),開發(fā)出多臺(tái)獨(dú)立服務(wù)器來提供更高的可擴(kuò)展性和可用性,將集群與任何獨(dú)立節(jié)點(diǎn)故障或者性能局限隔離開來。”
拋開以上這些,下面讓我們來仔細(xì)看一看其中一些文件系統(tǒng)。
Panasas PanFS
Panasas PanFS并行文件系統(tǒng)是一個(gè)基于目標(biāo)的文件系統(tǒng),面向那些在I/O和帶寬方面要求高性能水平的擴(kuò)展應(yīng)用。與Panasas同樣提供支持的NFS或者CIFS不同的是,PanFS采用并行的DirectFLOW協(xié)議,該協(xié)議是即將推出的pNFS(是NFS 4.1的重要升級(jí))的基礎(chǔ)。據(jù)稱,Panasas并行存儲(chǔ)的主要優(yōu)點(diǎn)是超高應(yīng)用性能。
NFS服務(wù)器要求所有I/O請(qǐng)求必須通過一個(gè)NAS文件管理器頭(Filer head),而PanFS能夠?qū)崿F(xiàn)數(shù)據(jù)從客戶或者服務(wù)器節(jié)點(diǎn)向存儲(chǔ)系統(tǒng)的并行傳輸。Panasas系統(tǒng)將NAS機(jī)頭從數(shù)據(jù)路徑中消除掉,使它不再是I/O瓶頸。例如:Panasas并行存儲(chǔ)配合安裝全球性能最高的計(jì)算機(jī)系統(tǒng)——應(yīng)用在美國(guó)新墨西哥洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的Roadrunner超級(jí)計(jì)算機(jī)。它向一個(gè)共享文件系統(tǒng)的傳輸率可以達(dá)到每秒100GB。 #p#page_title#e#
Rosenthal表示:“有了這種架構(gòu),Panasas并行存儲(chǔ)系統(tǒng)可以擴(kuò)展被上千名用戶或者服務(wù)器使用,存儲(chǔ)容量擴(kuò)展至數(shù)十PB,可以提供超過100GB/s的帶寬。這種基于軟件的RAID架構(gòu)包括的其他主要功能能夠?qū)崿F(xiàn)并行RAID重建,使它的速度提高到大多數(shù)存儲(chǔ)系統(tǒng)的5倍到10倍左右。”
PanFS還應(yīng)用了Panasas Tiered Parity技術(shù),這項(xiàng)技術(shù)可以自動(dòng)監(jiān)測(cè)和修正無法恢復(fù)的組件錯(cuò)誤,這一點(diǎn)在重建過程中是非常重要的。最后,這種我呢間系統(tǒng)針對(duì)許多仿真和建模應(yīng)用進(jìn)行了優(yōu)化。
但是,Panasas系統(tǒng)是針對(duì)文件存儲(chǔ)設(shè)計(jì)的,不是塊存儲(chǔ)。因此,它一般不應(yīng)用于以交易為主導(dǎo)的應(yīng)用,例如ERP、訂單輸入以及CRM。相反,它常用于那些許多用戶或者服務(wù)器節(jié)點(diǎn)需要向大型文件存儲(chǔ)池的共享路徑的應(yīng)用。
HP File Services
HP File Services主要針對(duì)那些需要無縫提高應(yīng)用吞吐量、不用中斷服務(wù)就可以輕松在線增加存儲(chǔ)容量的中小企業(yè)用戶。HP StorageWorks 4400 Scalable NAS File Services包括一個(gè)雙陣列控制器和4.8TB容量的HP StorageWorks 4400 Enterprise Virtual Array、三個(gè)文件服務(wù)節(jié)點(diǎn)、管理和復(fù)制軟件、以及對(duì)Windows或者Linux的支持。有了三個(gè)文件服務(wù)節(jié)點(diǎn)和雙陣列控制器,4400 Scalable NAS File Services就不會(huì)發(fā)生單點(diǎn)故障。
缺點(diǎn)是什么呢?Duncan表示:“4400 Scalable NAS File Services不太適合于那些要求超過每秒6GB吞吐量的高性能計(jì)算應(yīng)用。”
Quantum StorNext
StorNext是那些Apple用戶的最合適平臺(tái)選擇。而且,在Apple、Windows和其他系統(tǒng)必須與之互動(dòng)的富媒體環(huán)境中,StorNext已經(jīng)控制住了這個(gè)市場(chǎng)。例如,StorNext通常被用于嚴(yán)格的視頻生產(chǎn)和回放應(yīng)用中,因?yàn)樗軌蛱幚泶笕萘亢透咔鍍?nèi)容的幀頻。除了這些StorNext還能做什么?
Nuss表示:“StorNext與其他共享文件系統(tǒng)的主要區(qū)別就是與歸檔層(StorNext/StorageManager)嚴(yán)格的集成度、強(qiáng)大的磁帶支持以及對(duì)更多操作系統(tǒng)平臺(tái)的支持。其他文件系統(tǒng)不能在一個(gè)集群系統(tǒng)內(nèi)支持Linux、Unix、Apple和Windows的多種版本。”
StorNext文件系統(tǒng)是一個(gè)異構(gòu)的共享文件系統(tǒng),具有集成的歸檔功能。它能夠讓系統(tǒng)共享圖像、媒體、內(nèi)容、分析數(shù)據(jù)以及其他文件的高速存儲(chǔ)池,這樣他們就可以被快速地處理和分配——不管是否與SAN或者LAN相連接。
IBM GPFS
IBM的General Parallel File System (GPFS)已經(jīng)推出好幾年時(shí)間了。
Iluminata分析師John Webster表示:“GPFS是一個(gè)針對(duì)AIX和Linux系統(tǒng)的高性能、共享磁盤、集群文件系統(tǒng)。”
GPFS最初是針對(duì)高性能計(jì)算設(shè)計(jì)的,現(xiàn)在它已經(jīng)擴(kuò)展到需求高性能、容錯(cuò)和高容量環(huán)境中,例如關(guān)系數(shù)據(jù)庫、CRM、Web 2.0、媒體應(yīng)用、工程設(shè)計(jì)、金融應(yīng)用和數(shù)據(jù)歸檔。
Neville表示:“GPFS是基于一個(gè)SAN模型的,所有服務(wù)器能夠訪問所有存儲(chǔ)。GPFS允許從任何不與SAN連接的系統(tǒng)進(jìn)行數(shù)據(jù)訪問,提供了一個(gè)SAN仿真軟件,允許使用以太網(wǎng)等通用網(wǎng)絡(luò)來訪問數(shù)據(jù)。”
在每個(gè)文件系統(tǒng)的所有磁盤中數(shù)據(jù)被條帶化,這讓每個(gè)磁盤的帶寬被用于單文件服務(wù)或者用于產(chǎn)生多文件的聚合性能。這種性能水平被分配給所有節(jié)點(diǎn),然后組成了集群。用戶還可以架構(gòu)GPFS,這樣就不會(huì)發(fā)生單點(diǎn)故障。在核心文件服務(wù)功能的上層,GPFS提供了能夠在集群之間共享數(shù)據(jù)的功能,以及基于策略的信息生命周期管理工具,使用這款工具可以將數(shù)據(jù)在包括磁帶在內(nèi)的不同存儲(chǔ)層之間進(jìn)行遷移。
除此之外,GPFS能夠被作為文件服務(wù)NAS集群的核心,在這個(gè)集群中可以通過集群的所有節(jié)點(diǎn)以NFS、CIFS或者HTTP的形式提供數(shù)據(jù)。用戶還可以根據(jù)需求的變更來添加或者移除節(jié)點(diǎn)或者存儲(chǔ)設(shè)備?;贕PFS的IBM Scale Out File Services (SoFS)包括許多附加功能性。
Neville表示:“隨著文件集中型數(shù)據(jù)和存儲(chǔ)容量的迅速增長(zhǎng),未來NAS將可能延續(xù)高性能計(jì)算、Web服務(wù)或者其他類似的行業(yè)趨勢(shì),發(fā)展成為一種基于標(biāo)準(zhǔn)低成本組件的擴(kuò)展模式,這也是GPFS的一個(gè)核心競(jìng)爭(zhēng)優(yōu)勢(shì)。” #p#page_title#e#
上述的大多數(shù)廠商都宣稱在多個(gè)領(lǐng)域擁有領(lǐng)先優(yōu)勢(shì),同時(shí)他們也承認(rèn)自己的一些劣勢(shì)領(lǐng)域。底線就是,現(xiàn)場(chǎng)測(cè)試和免費(fèi)試用期的自由使用能夠看到這些不同文件系統(tǒng)在你環(huán)境中的表現(xiàn)。