微軟WCCS的高性能計算平臺側(cè)記
當(dāng)前,HPC(高性能計算)平臺正在汽車、航空、生命科學(xué)、地球科學(xué)、金融服務(wù)、學(xué)術(shù)研究、數(shù)字娛樂等眾多領(lǐng)域得到應(yīng)用,同時,新興行業(yè)也不斷催生超級計算需求。然而,作為大型研究機構(gòu)、大學(xué)、大型商業(yè)組織私有的昂貴的高性能計算平臺卻不能滿足一般企業(yè)的需求,也不能促進整個產(chǎn)業(yè)的發(fā)展。
作為浙江省軟件產(chǎn)業(yè)科技創(chuàng)新服務(wù)平臺重要建設(shè)項目之一的高性能集群計算平臺,是國內(nèi)第一個基于微軟WCCS(Windows Compute Cluster Server)的HPC高性能計算平臺,在建設(shè)過程中得到了浙江省政府的大力支持。該平臺的建立能夠助力浙江省及周邊地區(qū)的軟件經(jīng)濟發(fā)展,滿足軟件性能評測、生物醫(yī)藥分析計算、先進制造業(yè)虛擬設(shè)計、創(chuàng)意產(chǎn)業(yè)影像渲染制作等多行業(yè)多領(lǐng)域?qū)Ω咝阅苡嬎愕男枨?。此外,該平臺還將成為面向浙江省乃至全國的一個公共服務(wù)平臺,使得在科技力量快速進步的年代里,人人可以擁有高性能計算的夢想得以實現(xiàn)。
現(xiàn)實需求與挑戰(zhàn)
杭州國家軟件產(chǎn)業(yè)基地是中國重要的國家級軟件產(chǎn)業(yè)基地,其與Intel公司的合作項目“浙江省軟件產(chǎn)業(yè)科技創(chuàng)新服務(wù)平臺”的建設(shè)被列為浙江省科技廳“十一五”公共科技條件平臺建設(shè)項目之一,也是13個省級行業(yè)創(chuàng)新平臺之一。其中,高性能集群計算平臺的建設(shè)是浙江省軟件產(chǎn)業(yè)科技創(chuàng)新服務(wù)平臺建設(shè)中的重要內(nèi)容,是中國企業(yè)強化自主創(chuàng)新能力的又一舉措。杭州國家軟件產(chǎn)業(yè)基地試圖將其打造成為具有國際先進水準(zhǔn)、亞太地區(qū)第一流的高性能計算和和圖形圖像渲染平臺,以推動本地的軟件和動漫產(chǎn)業(yè)相融合,為實現(xiàn)浙江軟件產(chǎn)業(yè)和動漫產(chǎn)業(yè)的外包能力邁入國際先進行列提供堅實的技術(shù)保障和物理環(huán)境,推進浙江省作為制造大省向先進制造的轉(zhuǎn)變。
杭州國軟和Intel合作建立HPC平臺始于2006年6月,整個方案于2006年11月通過浙江省信息化辦公室專家顧問組的評審并付諸實施。當(dāng)時,該方案中沒有微軟的Windows HPC - WCCS及其解決方案,而是預(yù)裝了Linux為操作系統(tǒng)的運營平臺。
眾所周知,UNIX/Linux 是技術(shù)計算和 HPC 的實際標(biāo)準(zhǔn)。據(jù) IDC 估計,在HPC 的市場份額中Windows 所占市場份額不足 5%。然而,根據(jù)杭州國軟的測試,Linux的平臺卻存在著如下問題:
● 部署和操作集群的過程十分復(fù)雜,需要最終用戶密切配合,管理多種硬件和軟件。一旦部署完成,集群的管理和支持也會非常困難。
● 目前基于 Linux 的 HPC 集群很難集成到現(xiàn)有的 IT 基礎(chǔ)結(jié)構(gòu)中,通常需要手動執(zhí)行復(fù)雜的配置任務(wù),如身份驗證、安全和系統(tǒng)的安裝與管理。
● 若要開發(fā)用于 Linux 集群的應(yīng)用程序,通常需要全新的技能,同時還要使用一些非標(biāo)準(zhǔn)的公共領(lǐng)域的工具。大部分企業(yè)都想要一種集成的、受支持的開發(fā)環(huán)境。
綜上所述,這些問題會抬高國軟HPC平臺的成本,限制其長期的發(fā)展,也使得公共服務(wù)平臺的設(shè)想難以實現(xiàn)。
與微軟攜手打造HPC平臺
為將杭州國家軟件產(chǎn)業(yè)基地HPC平臺打造成為具有國際先進水準(zhǔn)、亞太地區(qū)第一流的高性能計算平臺,微軟與國軟展開了多方面的合作,并進行了為期兩周的現(xiàn)場培訓(xùn),微軟提供了強大的戰(zhàn)略和技術(shù)支持。
2007年7月,國軟最終選擇微軟作為合作伙伴,建立了中國第一個也是目前最大的一個基于微軟WCCS的HPC 高性能計算平臺。目前,該平臺已擁有100多個節(jié)點,建成后預(yù)計達(dá)到250個,位列2007中國高性能計算機性能TOP100排行榜之中。整個網(wǎng)絡(luò)系統(tǒng)和運算單元的管理和調(diào)度將通過微軟的WCCS來進行,包括AD/ADS/MOM在內(nèi)的全套微軟管理方案,將成為亞太地區(qū)第一流的多功能公共服務(wù)平臺。
對于需要解決復(fù)雜計算問題的客戶,Windows Compute Cluster Server 2003(WCCS 2003) 提供了一個易于部署、操作,且集成了現(xiàn)有基礎(chǔ)結(jié)構(gòu)和工具的高性能計算 (HPC) 平臺,大大縮短了把握問題關(guān)鍵的時間。標(biāo)準(zhǔn)的安裝過程通過遠(yuǎn)程安裝服務(wù)、節(jié)點配置和安全設(shè)置進行,大大簡化了網(wǎng)絡(luò)配置和遠(yuǎn)程加載節(jié)點的工作任務(wù)。集成的作業(yè)調(diào)度器可以通過命令行接口進行訪問,也可以通過幾個為集群工作負(fù)載的提交和管理而提供的 API 進行訪問。作業(yè)控制臺使企業(yè)能夠用與目前排列和管理打印作業(yè)相同的模式來管理作業(yè)。Active Directory 集成提供了端到端的用戶和安全管理,同時微軟管理控制臺還支持可擴展的管理單元和 Microsoft Operations Manager (MOM,微軟操作管理器)集成。 #p#page_title#e#
運算能力大幅度提高
杭州國家軟件產(chǎn)業(yè)基地HPC平臺的建立,為社會不斷地提供了一系列開放性的計算服務(wù),能夠服務(wù)各行各業(yè)的應(yīng)用。從目前與納米科技園和中國美術(shù)學(xué)院的合作來看,運算能力的提高基本上都是在一個數(shù)量級以上,如果沒有HPC平臺,諸如蛋白質(zhì)組學(xué)的數(shù)據(jù)分析這樣的生物計算工作在過去只能夠不得不放棄或另尋服務(wù)商。
以中國美術(shù)學(xué)院為例,中國美術(shù)學(xué)院所在地杭州市已經(jīng)明確提出了杭州要打造“全國文化創(chuàng)意產(chǎn)業(yè)中心”的目標(biāo)要求,2010年的世博會也即將來臨,這對人才培養(yǎng)和產(chǎn)業(yè)環(huán)境的營造都提出了前所未有的挑戰(zhàn)。作為新媒體藝術(shù)和影視動畫學(xué)院主干課程的三維動畫和影視后期的教學(xué),在過去受到教學(xué)設(shè)施的嚴(yán)重限制而制約了創(chuàng)意新生代的創(chuàng)造力,如今這種計算能力和存儲性能的躍升是對人的創(chuàng)造力和生產(chǎn)力的一次巨大的釋放。
另外,對于高清和影視級的動畫制作業(yè)務(wù),渲染服務(wù)是非常重要的,如果說有一些渲染的公共資源像國軟的高性能計算平臺能夠提供,對于中小型的影視公司不論是渲染效果還是經(jīng)濟效益來說都具有重要的意義。
無獨有偶,浙江加州國際納米技術(shù)研究院目前承擔(dān)著兩項國家863科研任務(wù),分別是《基于SBS測序技術(shù)的我國高發(fā)現(xiàn)場胃腸癌重要基因全序列掃描》和《激素依賴性惡性腫瘤血清蛋白質(zhì)組學(xué)研究》。杭州國軟高性能計算平臺的開放,已經(jīng)能將該院的測序工作速度提高一個數(shù)量級,而過去無法完成的蛋白質(zhì)組學(xué)的數(shù)據(jù)分析因此得以進行。此外,借助于集群計算,該院還將著手開發(fā)完全擁有自主知識產(chǎn)權(quán)的蛋白質(zhì)組學(xué)分析軟件、構(gòu)建國際領(lǐng)先的蛋白質(zhì)組學(xué)分析計算中心,引入國際領(lǐng)先的虛擬藥物篩選平臺,為整個浙江省、全國、甚至全球科研院校、藥物研發(fā)企業(yè)提供極其優(yōu)秀的蛋白質(zhì)組學(xué)分析、藥物虛擬篩選服務(wù),這些都大大降低了研發(fā)成本和開發(fā)時間,極大地提升整個浙江省的生命科學(xué)研究和藥物研發(fā)研究水平。
總之,國軟HPC平臺為浙江省及周邊地區(qū)的軟件性能評測、生物醫(yī)藥分析計算、先進制造業(yè)虛擬設(shè)計、創(chuàng)意產(chǎn)業(yè)影像渲染制作等方面提供了高性能計算的服務(wù),幫助他們更快地進行計算和設(shè)計,完成過去不敢想象的工作,也為產(chǎn)業(yè)發(fā)展提供了無限可能性。