工作室/部門/專題組實用高速非編存儲系統(tǒng)
存儲這個簡單又復(fù)雜的名詞,記錄著人類幾千年的歷史,從歷史一步步走來,人類記錄方式和記錄介質(zhì)在不斷的演變,到了現(xiàn)代,面對海量的資料,磁盤存儲無疑扮演著一個主要的角色,目前磁盤存儲市場上,存儲分類(如下表一)根據(jù)服務(wù)器類型分為:封閉系統(tǒng)的存儲和開放系統(tǒng)的存儲,封閉系統(tǒng)主要指大型機(jī),開放系統(tǒng)指基于包括Windows、Linux、Mac OS等操作系統(tǒng)的工作站;開放系統(tǒng)的存儲分為:內(nèi)置存儲和外掛存儲;我們今天討論的是外掛存儲。
開放系統(tǒng)的外掛存儲根據(jù)連接的方式分為:直連式存儲(Direct-Attached Storage,簡稱DAS)和網(wǎng)絡(luò)化存儲(Fabric-Attached Storage,簡稱FAS);開放系統(tǒng)的網(wǎng)絡(luò)化存儲根據(jù)傳輸協(xié)議又分為:網(wǎng)絡(luò)接入存儲 (Network-Attached Storage,簡稱NAS)和存儲區(qū)域網(wǎng)絡(luò)(Storage Area Network,簡稱SAN)。由于目前絕大部分用戶采用的是開放系統(tǒng),其外掛存儲占有目前磁盤存儲市場的70%以上,因此本文主要針對開放系統(tǒng)的外掛存儲進(jìn)行論述說明。
表一
今天的外掛存儲解決方案主要分為:直連式存儲(DAS)、存儲區(qū)域網(wǎng)絡(luò)(SAN)、網(wǎng)絡(luò)接入存儲(NAS)。
如下表二: 表二
開放系統(tǒng)的直連式存儲(Direct-Attached Storage,簡稱DAS)已經(jīng)有近四十年的使用歷史
直連附加存儲( Direct Attached Storage,簡稱DAS),顧名思義,在這種方式中,存儲設(shè)備是通過電纜直接到應(yīng)用工作站的。I/O(輸入/輸 出)請求直接發(fā)送到存儲設(shè)備。它依賴于工作站主機(jī),其本身是硬件的堆疊,不帶有任何存儲操作系統(tǒng)。
直連式存儲最大的優(yōu)點則在于,與主機(jī)直連中間沒有通過諸如交換機(jī)、網(wǎng)絡(luò)設(shè)備等所帶來的傳輸延遲或帶寬瓶頸。數(shù)據(jù)讀取IO性能是最優(yōu)的。非常適合高性能數(shù)據(jù)傳輸要求的應(yīng)用,例如電影、電視的內(nèi)容制作機(jī)構(gòu);2、3維海量圖片處理;高性能數(shù)據(jù)運算(石油、化工、醫(yī)療)等。
隨著新一代系統(tǒng)IO總線(PCI-E)的進(jìn)步,控制器內(nèi)部處理器性能攀升,再加上外部傳輸協(xié)議的不斷更新、進(jìn)步(SAS、4Gb光纖等)。新的直連方式如雨后春筍,綻放開來??焖偬蕴瓊鹘y(tǒng)的SCSI方式,其中尤其以ESATA,SAS,FC為主,而目前性能和價格上來分析,SAS無疑最為超值,比如強(qiáng)氧的HD08S直連盤陣,通過 SAS接口與主機(jī)相連可提供750MB/s(雙臺綁定)的實際讀寫速度和10TB以上容量。而性能和擴(kuò)展新更高的FC存儲,則居于中高端領(lǐng)域,象Ciprico MV4210這樣的4Gb光纖產(chǎn)品,雙臺綁定可提供高達(dá)1.2GB/s的帶寬。容量的擴(kuò)充也突破了傳統(tǒng)模式,通過外部級聯(lián)多臺 MV4210,就可以輕松獲取多達(dá)40TB的海量容量。
直連容量擴(kuò)展解決方案
直連式存儲依賴服務(wù)器或工作站主機(jī)的操作系統(tǒng)進(jìn)行數(shù)據(jù)IO讀寫和存儲維護(hù)管理,數(shù)據(jù)備份和恢復(fù)要求占用主機(jī)資源(包括CPU、系統(tǒng)IO等),數(shù)據(jù)流需要回流主機(jī)再到主機(jī)連接著的磁帶機(jī)(庫),數(shù)據(jù)備份通常占用服務(wù)器主機(jī)資源20-30%,因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時進(jìn)行,以免影響正常業(yè)務(wù)系統(tǒng)的運行。直連式存儲的數(shù)據(jù)量越大,備份和恢復(fù)的時間就越長,對主機(jī)硬件的依賴性和影響就越大。
同時,最大的優(yōu)點也是最大的缺點,其只針對所連接的應(yīng)用端服務(wù)器(工作站)具有低延遲,高帶寬的特點,然而其他用戶不得不通過其他方式(比如網(wǎng)絡(luò)共享)來訪問DAS的內(nèi)容,這需要大量的處理器運算,導(dǎo)致數(shù)據(jù)共享成為最大的難題!
隨著用戶數(shù)據(jù)的不斷增長,企業(yè)規(guī)模不斷壯大,DAS無法有效的與工作組其他成員共享文件,提升協(xié)同工作效率。其在備份、管理、災(zāi)備等方面會變得日益困擾系統(tǒng)管理員。尤其對于銀行、電信、實時在線播出等行業(yè)7×24小時服務(wù)的關(guān)鍵業(yè)務(wù)系統(tǒng),這是不可接受的。從而演變出SAN,NAS等多種存儲方式。
針對I/O是整個系統(tǒng)效率低下的瓶頸問題,專家們提出了許多種解決辦法。其中抓住癥結(jié)并經(jīng)過實踐檢驗為最有效的辦法是:將數(shù)據(jù)從通用的應(yīng)用工作站中分離出來以簡化存儲管理。 #p#page_title#e#
圖一

圖二
從圖可看出:將存儲器從應(yīng)用工作站中分離出來,進(jìn)行集中管理。這就是所說的存儲網(wǎng)絡(luò)(Storage Networks)。
使用存儲網(wǎng)絡(luò)的好處:
統(tǒng)一性:形散神不散,在邏輯上是完全一體的。
實現(xiàn)數(shù)據(jù)集中管理,因為它們才是企業(yè)真正的命脈。
容易擴(kuò)充,即收縮性很強(qiáng)。
具有容錯功能,整個網(wǎng)絡(luò)無單點故障。
專家們針對這一辦法又采取了兩種不同的實現(xiàn)手段,即NAS(Network Attached Storage)網(wǎng)絡(luò)接入存儲和 SAN(Storage Area Networks)存儲區(qū)域網(wǎng)絡(luò)。
網(wǎng)絡(luò)接入存儲(Network-Attached Storage,簡稱NAS)采用網(wǎng)絡(luò)(TCP/IP、ATM、FDDI)技術(shù),通過網(wǎng)絡(luò)交換機(jī)連接存儲系統(tǒng)和服務(wù)器(工作站)主機(jī),建立專用于數(shù)據(jù)存儲的存儲私網(wǎng)。隨著IP網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)接入存儲(NAS)技術(shù)發(fā)生質(zhì)的飛躍。
早期80年代末到90年代初的10Mbps帶寬,NAS性能受帶寬影響;后來快速以太網(wǎng)(1000Mbps)、VLAN虛網(wǎng)、 Trunk(Ethernet Channel) 以太網(wǎng)通道的出現(xiàn),網(wǎng)絡(luò)接入存儲的讀寫性能得到改善; 為網(wǎng)絡(luò)接入存儲 (NAS)帶來質(zhì)的變化和市場廣泛認(rèn)可。
由于網(wǎng)絡(luò)接入存儲采用TCP/IP網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換,TCP/IP是IT業(yè)界的標(biāo)準(zhǔn)協(xié)議,不同廠商的產(chǎn)品(服務(wù)器、交換機(jī)、NAS存儲)只要滿足協(xié)議標(biāo)準(zhǔn)就能夠?qū)崿F(xiàn)互連互通,無兼容性的要求;并且隨著萬兆以太網(wǎng) (10000Mbps)的出現(xiàn)和投入商用,存儲網(wǎng)絡(luò)帶寬將大大提高NAS存儲的性能。NAS需求旺盛已經(jīng)成為事實。首先NAS幾乎繼承了磁盤列陣的所有優(yōu)點,可以將設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接,擺脫了服務(wù)器和異構(gòu)化構(gòu)架的桎梏; 用戶通過TCP/IP協(xié)議訪問數(shù)據(jù),采用業(yè)界標(biāo)準(zhǔn)文件共享協(xié)議如:NFS、HTTP、CIFS輕松實現(xiàn)共享。
其次,在企業(yè)數(shù)據(jù)量飛速膨脹中,SAN、大型磁帶庫、磁盤柜等產(chǎn)品雖然都是很好的存儲解決方案,但他們那高貴的身份和復(fù)雜的操作是資金和技術(shù)實力有限的中小企業(yè)無論如何也不能接受的。NAS正是滿足這種需求的產(chǎn)品,在解決足夠的存儲和擴(kuò)展空間的同時,還提供極高的性價比。因此,無論是從適用性還是TCO的角度來說,NAS自然成為多數(shù)企業(yè)的最佳選擇。
強(qiáng)氧的NAS系列產(chǎn)品,在兼容上述協(xié)議的同時還支持apple的appletalk協(xié)議。極大的擴(kuò)展了NAS的可用性!
強(qiáng)氧NAS系列產(chǎn)品屬于網(wǎng)絡(luò)存儲設(shè)備,其內(nèi)部操作系統(tǒng)基于修改和優(yōu)化的Linux操作系統(tǒng),完全采用自主開發(fā)的管理軟件,管理界面為易于操作管理的WEB方式。整個產(chǎn)品體系結(jié)構(gòu)采用軟硬件一體化的設(shè)計思想,通過應(yīng)用系統(tǒng)與硬件系統(tǒng)的深層次結(jié)合,實現(xiàn)了簡便的安裝,同時大大提高了系統(tǒng)的安全可靠性。強(qiáng)氧 NAS系列產(chǎn)品面向各類大中型數(shù)據(jù)存儲應(yīng)用,是功能完備、性能強(qiáng)大、安全性高、易于管理、應(yīng)用豐富的專業(yè)網(wǎng)絡(luò)存儲系統(tǒng)。它提供的多種應(yīng)用模式,可以很好的作為企業(yè)數(shù)據(jù)中心、教育資源中心、廣電媒資后臺、監(jiān)控集中數(shù)據(jù)、圖書館檔案館大容量后臺、電子政務(wù)數(shù)據(jù)存儲等各行各業(yè)的專業(yè)存儲設(shè)備。并且其高兼容性和易用性方便了不同應(yīng)用領(lǐng)域的業(yè)務(wù)無縫集成。
強(qiáng)氧NAS系統(tǒng),根據(jù)性能和容量的不同,分為三種,分別是最高8TB容量雙千兆出口帶寬工作組級NAS- S4084,最高16TB容量雙千兆出口帶寬部門級NAS-S41604,最高24TB容量四千兆出口帶寬的企業(yè)級NAS- S5248。強(qiáng)氧NAS系統(tǒng)采用EXT3的文件系統(tǒng)類型,提供超過NTFS,EXT2的穩(wěn)定性,和對大容量陣列支持的同時,EXT3文件系統(tǒng)能夠極大地提高文件系統(tǒng)的完整性,避免了意外宕機(jī)對文件系統(tǒng)的破壞。
強(qiáng)氧NAS系統(tǒng)支持特有的NasNow功能,用來設(shè)置并監(jiān)控局域網(wǎng)中所有強(qiáng)氧 NAS主機(jī)的網(wǎng)絡(luò)信息。利用 Nasnow來實現(xiàn)網(wǎng)絡(luò)上NAS的尋找,由于主要采用二層網(wǎng)絡(luò)協(xié)議完成搜索工作,所以該搜索可以跨網(wǎng)絡(luò)搜索,可及時發(fā)現(xiàn)強(qiáng)氧 NAS設(shè)備,并根據(jù)需要修改相關(guān)的配置信息。在NASNOW基礎(chǔ)之上,利用MDM實現(xiàn)了多臺 NAS的集中管理。MDM(Multiple Device Manager)技術(shù)又被稱為多設(shè)備管理器。MDM使管理員能夠管理多個設(shè)備,并加強(qiáng)這些設(shè)備的訪問控制。它通過一個中央地點管理多個服務(wù)器設(shè)備,包括子系統(tǒng)發(fā)現(xiàn)功能。 MDM的功能包括網(wǎng)絡(luò)中添加新設(shè)備的自動發(fā)現(xiàn)、對設(shè)備的運行記錄進(jìn)行跟蹤和審計、用于管理用途的群組功能等。 #p#page_title#e#
強(qiáng)氧NAS還支持最新的RAID6功能,在RAID5基礎(chǔ)上增加更高的安全級別,特別是在作為大容量離線存儲上,這點尤為重要!
但是NAS在存儲領(lǐng)域應(yīng)用中,在效能上還是很難滿足各行業(yè)要求快速響應(yīng)的要求,所以SAN作為老牌的存儲方式不斷的進(jìn)化和演變,成為在線存儲的主要應(yīng)用方式!SAN:通過專用光纖通道交換機(jī)訪問數(shù)據(jù),采用FC-AL接口,相對于NAS來說大大縮短延遲系數(shù),提高有效利用帶寬!
NAS和SAN的根本不同點?
存儲區(qū)域網(wǎng)絡(luò)(Storage Area Network,簡稱SAN)采用光纖通道(Fibre Channel)技術(shù),通過光纖通道交換機(jī)連接存儲陣列和服務(wù)器(工作站)主機(jī),建立專用于數(shù)據(jù)存儲的區(qū)域網(wǎng)絡(luò)。SAN經(jīng)過十多年歷史的發(fā)展,已經(jīng)相當(dāng)成熟,成為業(yè)界的事實標(biāo)準(zhǔn)(但各個廠商的光纖交換技術(shù)不完全相同,其服務(wù)器和SAN存儲有兼容性的要求)。SAN存儲采用的帶寬從1Gbps 發(fā)展到目前的4Gbps。
NAS和SAN最本質(zhì)的不同就是文件管理系統(tǒng)在哪里。如圖:
圖3
由圖3可以看出,SAN結(jié)構(gòu)中,文件管理系統(tǒng)(FS)還是分別在每一個應(yīng)用工作站上;而NAS則是每個應(yīng)用工作站通過網(wǎng)絡(luò)共享協(xié)議(如:NFS、CIFS)使用同一個文件管理系統(tǒng)。換句話說:NAS和SAN存儲系統(tǒng)的區(qū)別是NAS 有自己的文件系統(tǒng)管理。
SAN是獨立于服務(wù)器網(wǎng)絡(luò)系統(tǒng)之外,幾乎擁有無限存儲能力的高速存儲網(wǎng)絡(luò)。這種網(wǎng)絡(luò)采用高速的光纖通道作為傳輸媒體,以FC(Fiber Channel,光通道應(yīng)用協(xié)議作為存儲訪問協(xié)議,將存儲子系統(tǒng)網(wǎng)絡(luò)化,實現(xiàn)了真正高速共享存儲的目標(biāo)。
強(qiáng)氧的SAN網(wǎng)絡(luò)系統(tǒng),優(yōu)勢在于其特別針對廣電行業(yè)進(jìn)行優(yōu)化,支持MAC,PC多平臺,根據(jù)策略不同可以做到文件級管理或者卷級管理。并且存儲越多其存儲對應(yīng)的出口帶寬越大!特別適合多總平臺的在線編輯操作!
強(qiáng)氧的SAN網(wǎng)絡(luò)系統(tǒng)是SAN網(wǎng)絡(luò)上共享、管理和使用數(shù)據(jù)的完美途徑。 是專為滿足數(shù)據(jù)可用性的最高需求的大小型計算環(huán)境設(shè)計的 64 位簇文件系統(tǒng)。 這項專業(yè)技術(shù)使多個 Mac 桌面和PC系統(tǒng)通過高速光纖通道網(wǎng)絡(luò)共享 RAID 存儲卷標(biāo)。 每個客戶端可以直接在中央文件系統(tǒng)上讀取和寫入數(shù)據(jù),從而增強(qiáng)工作組協(xié)作并提高用戶效率。
跨平臺的SAN文件系統(tǒng)可以為多種主機(jī)提供對同一數(shù)據(jù)文件的“數(shù)據(jù)塊”級的訪問。完全使用Fibre Channel Direct I/O功能,不在SAN網(wǎng)絡(luò)中使用TCP/IP和NFS方式共享文件,從而充分發(fā)揮SAN網(wǎng)絡(luò)硬件性能,并保證隨著SAN網(wǎng)絡(luò)性能的提高而提高。這不僅極大提高了系統(tǒng)性能,而且降低了磁盤存儲成本。
但不可忽視的是,如此一個全光纖網(wǎng)絡(luò)所耗費的成本也是昂貴的,我們每一個客戶端都要添加4Gb的光纖卡和存儲系統(tǒng)共享軟件節(jié)點,當(dāng)節(jié)點越多的時候,這個問題尤為明顯!如何做到魚與熊掌間的,是當(dāng)今各公司產(chǎn)品開發(fā)的一個重點,也是各個行業(yè)急需解決的問題!
從原理來看,NAS是將目光集中在用戶權(quán)限管理和文件分類管理以及它們共享的數(shù)據(jù)上。SAN是將目光集中在磁盤、磁帶以及聯(lián)接它們的可靠的基礎(chǔ)結(jié)構(gòu)。所以強(qiáng)氧推出的從桌面系統(tǒng)到數(shù)據(jù)集中管理到存儲設(shè)備的全面解決方案是NAS加SAN的一個完美結(jié)合。
如上圖所示,上面是一家很富有的大型制作機(jī)構(gòu)的實際應(yīng)用流程,圍繞不同工作端的特點分別應(yīng)用到了不同的存儲解決方案。在關(guān)鍵業(yè)務(wù),比如剪輯,調(diào)色上我們需要大量且快速的共享素材,來進(jìn)行編輯和調(diào)色,所以我們做到SAN里面,而合成,配音,渲染業(yè)務(wù),我們做到LAN里,其中合成和渲染所要做到在線是很不現(xiàn)實的,而且按每天的工作量來看,其所要生成的數(shù)據(jù)量并不大,所以我們進(jìn)行本地配置DAS的同時用 NAS來通過LAN做素材共享,而且SAN里面的內(nèi)容我們通過MSCserver共享給LAN里面的客戶端,通過增加網(wǎng)絡(luò)帶寬聚合解決了SAN與NAS的數(shù)據(jù)傳輸,其中NAS在里面起到了文件管理、不同工作組間的權(quán)限和配額分配,很完善的解決了數(shù)據(jù)共享的問題。整個方案是一套跨平臺的數(shù)據(jù)共享解決方案! #p#page_title#e#
綜述: 無論dasnassan都有各自的偏重,他們都有各自的優(yōu)劣勢。
Das: 優(yōu)勢:最高性能、廉價。劣勢:無法共享、不適合大型工作組。是高性能數(shù)據(jù)io要求(影視包裝、廣告、電影后期制作等高質(zhì)量視頻文件的合成、精剪 、較色)和中小型后期制作公司的不二之選。
Nas: 偏重管理性、數(shù)據(jù)安全性,高性價比。無論什么規(guī)模的企業(yè)都應(yīng)該擁有的數(shù)據(jù)安全保障機(jī)制。
San; 性能和管理的集中體現(xiàn),缺點只是實施和管理成本過高。
推薦:結(jié)合目前中國的主流商業(yè)情況,應(yīng)用端工作站外掛直連存儲(DAS),以保證帶寬、解決高性能應(yīng)用。再通過千兆(或萬兆)以太網(wǎng)絡(luò)連接NAS做集中存儲,解決多用戶環(huán)境的素材的集中管理和權(quán)限分配。這樣的方案性價比出眾,實施成本低,人員維護(hù)簡單易行。(如圖)
我們希望 通過上述所有文字,為每位用戶在規(guī)劃自己的存儲應(yīng)用需求時可以清晰的結(jié)合自身不同情況以選擇最適合自己的存儲解決方案