GPU計(jì)算：石油勘探領(lǐng)域里的旅程碑
——北京吉星吉達(dá)科技有限公司總經(jīng)理劉欽
在石油和天然氣勘探開發(fā)領(lǐng)域，地震資料處理是非常重要的關(guān)鍵環(huán)節(jié)。
人們通過人工放炮方式產(chǎn)生地震波，然后將地下不同地質(zhì)層反射回來的地震波信號(hào)，通過地面檢波器收集后，利用大型計(jì)算機(jī)通過多套專業(yè)處理軟件和一套完整的疊前時(shí)間偏移、疊前深度偏移軟件系統(tǒng)，進(jìn)行資料處理，從而得到地下的構(gòu)造以及成像，便于勘探專家進(jìn)行下一步的分析和解釋，掌握地下的油氣構(gòu)造，為石油鉆井提供更加可靠的勘探數(shù)據(jù)。要知道，石油鉆井井位的確定很關(guān)鍵，定錯(cuò)一個(gè)井位，損失將十分慘重。
由于疊前時(shí)間偏移、疊前深度偏移動(dòng)輒需要處理數(shù)以TB的海量數(shù)據(jù)，因此對(duì)計(jì)算設(shè)備的性能提出非常高的要求。過去人們往往在服務(wù)器集群等大規(guī)模并行計(jì)算機(jī)上運(yùn)行Paradigm、CGG、Omega等需要上百萬(wàn)美元的專業(yè)處理軟件來運(yùn)算這些海量數(shù)據(jù)，但北京吉星吉達(dá)科技有限公司總經(jīng)理劉星和他的團(tuán)隊(duì)卻成功地研制出了“油氣勘探地震偏移GPU/CPU協(xié)同并行計(jì)算軟硬件系統(tǒng)”，將疊前偏移的計(jì)算速度提高了幾十倍甚至上百倍，而系統(tǒng)構(gòu)建成本卻不到傳統(tǒng)并行機(jī)的十分之一。
挑戰(zhàn)
在地震勘探資料處理中，根據(jù)運(yùn)算量的大小可以把處理技術(shù)分為兩大類：一類是目前CPU計(jì)算機(jī)可以滿足的普通處理技術(shù)，如解編、預(yù)處理、反褶積、靜校正、DMO、疊加、疊后偏移等；還有一類則是目前計(jì)算機(jī)不能完全滿足的需要大量運(yùn)算的處理技術(shù)，如疊前時(shí)間偏移、疊前深度偏移、波動(dòng)方程偏移等。后者往往成為目前地震資料處理過程中的“瓶頸”所在。
以疊前時(shí)間偏移為例，即便是用目前工業(yè)界最成熟的Kirchhoff積分法，每輸出一個(gè)地震道，就是一次海量運(yùn)算。以1毫秒采樣，6秒數(shù)據(jù)為例，一個(gè)地震道的輸出需要至少1000萬(wàn)道甚至更多（偏移孔徑?jīng)Q定）的輸入道，每一個(gè)點(diǎn)要做兩次均方根運(yùn)算以及兩次加法運(yùn)算，振幅補(bǔ)償兩次乘法運(yùn)算。如此計(jì)算下來，實(shí)現(xiàn)一道偏移需要1000000x6000×2×(平方+加法+乘法)次數(shù)學(xué)運(yùn)算，計(jì)算量和需要處理的數(shù)據(jù)量都極其巨大！
目前，人們往往使用大規(guī)模的X86服務(wù)器集群來進(jìn)行疊前偏移處理，其原理是將數(shù)據(jù)先分配到各個(gè)CPU核上，然后由各個(gè)CPU核單獨(dú)進(jìn)行計(jì)算，最后將結(jié)果匯總輸出。這種做法消耗了大量的時(shí)間、電力和維護(hù)費(fèi)用。而且，隨著人們對(duì)石油勘探地震資料處理的周期要求越來越短，精度要求越來越高，PC服務(wù)器集群的規(guī)模越做越大，在系統(tǒng)構(gòu)建成本、數(shù)據(jù)中心機(jī)房空間、內(nèi)存和I/O帶寬、功耗散熱和電力限制、可管理性、編程簡(jiǎn)易性、擴(kuò)展性、管理維護(hù)費(fèi)用等方面都面臨著巨大的挑戰(zhàn)。
“目前普遍采用的大規(guī)模PC服務(wù)器集群實(shí)現(xiàn)并行計(jì)算的模式，是用‘增加串行硬件的個(gè)數(shù)’實(shí)現(xiàn)并行計(jì)算，提高速度靠的是機(jī)群的節(jié)點(diǎn)數(shù)的增加！事實(shí)上，這是一種因計(jì)算機(jī)技術(shù)限制不得已而為之的方法。” 在石油勘探領(lǐng)域有著26年從業(yè)經(jīng)歷的劉欽表示：“如果能將GPUCPU的協(xié)同并行計(jì)算(CPPC)的模式用到地震勘探資料處理中，將實(shí)現(xiàn)用‘并行的硬件’實(shí)現(xiàn)并行計(jì)算，速度可以成數(shù)量級(jí)的提高！許多原來無(wú)法解決的問題現(xiàn)在可以用協(xié)同并行計(jì)算(CPPC)來輕松實(shí)現(xiàn)，應(yīng)用這項(xiàng)技術(shù)可以使地震資料處理中的許多矛盾迎刃而解。”
方案
2008年，經(jīng)過長(zhǎng)期努力，中國(guó)科學(xué)院地質(zhì)與地球物理研究所和北京吉星吉達(dá)科技有限公司聯(lián)合研發(fā)成功了“油氣勘探地震偏移GPU/CPU協(xié)同并行計(jì)算系統(tǒng)”——在硬件層面將GPU和CPU兩種不同架構(gòu)的處理器結(jié)合在一起，組成硬件上的協(xié)同并行模式，同時(shí)在應(yīng)用程序編寫上實(shí)現(xiàn)GPU和CPU的協(xié)同配合的并行計(jì)算(CPPC)。具體來說說，協(xié)同并行計(jì)算(CPPC)機(jī)就是由CPU負(fù)責(zé)執(zhí)行順序型的代碼，如操作系統(tǒng)、數(shù)據(jù)庫(kù)等應(yīng)用，而由GPU來負(fù)責(zé)密集的并行計(jì)算。 #p#page_title#e#
作為該系統(tǒng)的硬件平臺(tái)，項(xiàng)目團(tuán)隊(duì)開發(fā)成功一款GK-II型GPU/CPU協(xié)同并行計(jì)算機(jī)，是在一個(gè)24U高的機(jī)柜中安裝了6臺(tái)Nvidia Tesla S1070 1U機(jī)架式服務(wù)器和6臺(tái)配置兩顆2.5GHz四核CPU的2U機(jī)架式PC服務(wù)器，運(yùn)算能力達(dá)到24萬(wàn)億次每秒，總體功耗是7000瓦特。
同時(shí)，項(xiàng)目組借助Nvidia CUDA開發(fā)編程環(huán)境的支持，在中科院地質(zhì)與地球物理所劉洪研究員偏移算法的基礎(chǔ)上，按照GPU原理及協(xié)同并行計(jì)算(CPPC)的思路，針對(duì)偏移算法中不同階段的運(yùn)算特點(diǎn)，采用不同的軟件編寫策略，在程序的每一個(gè)環(huán)節(jié)最大限度實(shí)現(xiàn)不同處理器協(xié)同計(jì)算，成功編寫了“非對(duì)稱走時(shí)Kirchhoff疊前時(shí)間偏移算法”的協(xié)同并行計(jì)算(CPPC)軟件。
2008年下半年，中科院地質(zhì)與地球物理研究所對(duì)系統(tǒng)進(jìn)行了完成740平方公里三維疊前時(shí)間偏移處理（輸入數(shù)據(jù)768GB,輸出全部936條測(cè)線，4毫秒采樣，6秒道長(zhǎng)）的測(cè)試。測(cè)試結(jié)果表明，在GK-II上運(yùn)行“非對(duì)稱走時(shí)Kirchhoff疊前時(shí)間偏移軟件”處理上述數(shù)據(jù)，僅用了55小時(shí)2分鐘，不到2.5天，而一套由32個(gè)雙路單核刀片服務(wù)器構(gòu)成的集群，使用某商業(yè)軟件，卻花費(fèi)了3307小時(shí)12分鐘，約137天。
除了計(jì)算速度的對(duì)比測(cè)試，項(xiàng)目組還進(jìn)行了資料處理效果的測(cè)試，畢竟，處理效果的后壞對(duì)于地震勘探來說更為重要。項(xiàng)目組使用該系統(tǒng)處理了大慶、河南、勝利、華北、吉林、新疆、中原、遼河等13塊、總面積超過50000平方公里，數(shù)據(jù)量約11.6TB的三維地震數(shù)據(jù)。測(cè)試結(jié)果表明該系統(tǒng)與常用商業(yè)軟件的整體效果相當(dāng)，且對(duì)介質(zhì)橫向速度變化大、傾角陡的地區(qū)成像效果改善明顯，優(yōu)于目前的商用軟件。
2008年10月，中石油勘探生產(chǎn)分公司組織召開“GPU石油勘探應(yīng)用研討會(huì)”，會(huì)上將此項(xiàng)技術(shù)定名為“GPU/CPU協(xié)同并行計(jì)算”（簡(jiǎn)稱“CPPC”技術(shù)），會(huì)后制作了不同配置的8臺(tái)樣機(jī)并進(jìn)行了測(cè)試驗(yàn)證。經(jīng)過多方測(cè)試，結(jié)果表明：裝配了一個(gè)GPU的服務(wù)器的效率相當(dāng)于50-200臺(tái)單核CPU節(jié)點(diǎn)的效率(視硬件配置不同而有差別)，硬件成本不到目前普遍應(yīng)用的大規(guī)模計(jì)算機(jī)群的十分之一，電費(fèi)節(jié)省95%以上，占地空間省90%以上。如果考慮機(jī)房、空調(diào)、UPS、維護(hù)等因素，運(yùn)營(yíng)成本還會(huì)大幅度降低。同時(shí)，由于采用了精度更高的算法，地震資料處理結(jié)果的地質(zhì)效果明顯提高。
影響
相對(duì)于傳統(tǒng)的服務(wù)器集群，相同規(guī)模的GPU超級(jí)計(jì)算機(jī)在性價(jià)比、占地空間、功耗等方面占據(jù)非常明顯的優(yōu)勢(shì)。目前，一些國(guó)內(nèi)外企業(yè)和科研機(jī)構(gòu)都在使用CUDA進(jìn)行協(xié)同并行計(jì)算軟件的研究開發(fā)工作，而在地震資料的疊前偏移處理方面，北京吉達(dá)吉星科技有限公司無(wú)疑已經(jīng)向前走了一大步。
2009年3月，兩套分別由12個(gè)和6個(gè)Nvidia Tesla S1070 GPU計(jì)算節(jié)點(diǎn)與相應(yīng)CPU服務(wù)器節(jié)點(diǎn)構(gòu)成的GK-II協(xié)同并行計(jì)算機(jī)已經(jīng)安裝在了大慶油田研究院和勝利油田物探院，即將投入高密度三維處理的實(shí)際生產(chǎn)應(yīng)用環(huán)境。
劉欽認(rèn)為，“GPU/CPU協(xié)同并行計(jì)算(CPPC)帶給我們的是一場(chǎng)高性能計(jì)算的革命，可以預(yù)見，在不久的將來，GPU在地球物理領(lǐng)域?qū)⒄加兄匾牡匚?，就像?dāng)年P(guān)C服務(wù)器集群取代大型機(jī)一樣，現(xiàn)在廣泛應(yīng)用的大規(guī)模CPU多節(jié)點(diǎn)并行模式，有被GPU/CPU協(xié)同并行模式取代的趨勢(shì)。”
由于處理速度的大幅提高，過去許多不可能進(jìn)行的計(jì)算——如在現(xiàn)場(chǎng)處理中實(shí)現(xiàn)疊前偏移計(jì)算、快速的疊前深度偏移、大運(yùn)算量的波動(dòng)方程偏移技術(shù)的應(yīng)用等，將成為可能。劉欽表示，北京吉達(dá)吉星科技有限公司在成功實(shí)現(xiàn)了疊前時(shí)間偏移軟件開始之后，已經(jīng)開始研制kirchhoff深度偏移、波動(dòng)方程偏移和一系列交互輔助工具。
可見，GPU/CPU協(xié)同并行計(jì)算(CPPC)機(jī)將成為地球物理服務(wù)公司的新式武器，不僅可以實(shí)現(xiàn)低成本新建或改造大型超級(jí)計(jì)算中心，而且可以部署到散熱、供電、運(yùn)維條件有限的特殊應(yīng)用場(chǎng)合，如野外現(xiàn)場(chǎng)、大處理中心的分站、勘探船，從而可以大大提高地震資料處理的效率，縮短處理周期。 #p#page_title#e#
