CFD并行計算大揭秘！算法玩的不好，照樣香菇、藍(lán)瘦！

2017-02-24 by:CAE仿真在線來源:互聯(lián)網(wǎng)

相關(guān)背景

單核計算原來越不能滿足大規(guī)模CFD計算的需求。大量的學(xué)術(shù)機(jī)構(gòu)和工程院所通過并行的方法來進(jìn)行上億網(wǎng)格的計算模擬。理所當(dāng)然的,并行計算(Parallel computing)需要配備多核CPU的計算機(jī),也即并行計算機(jī)(Parallel computers)。

并行計算機(jī)和普通計算機(jī)相同,也是使用常規(guī)芯片,因此并行計算機(jī)比矢量計算機(jī)(Vector computers)要便宜的多。商用并行計算機(jī)通常具有上千個處理器,上T的內(nèi)存。因此計算能力是驚人的。

CFD工程師經(jīng)常會問,并行計算是僅僅調(diào)用多個CPU就可以實(shí)現(xiàn)加速計算了么?

Too simple, sometimes naive!

CFD并行計算大揭秘！算法玩的不好，照樣香菇、藍(lán)瘦！cfd流體分析圖片1

并行計算遠(yuǎn)非那樣簡單

多CPU串行計算

基于單核計算設(shè)計的算法,可能在并行計算機(jī)上不能夠有效的運(yùn)行。我們用循環(huán)語句為例,如果使用自動并行編譯器對代碼進(jìn)行編譯,并行只是在循環(huán)語句里面執(zhí)行。依據(jù)Amdahl法則,計算效率由最低效的部分決定。因此整個代碼中,不能并行計算的代碼要盡可能的小。

目前CFD中采用的并行算大體思路為把計算域分為子計算域,并且分別使用不同的CPU核心來對子計算域進(jìn)行計算。在這種并行分塊策略下,不同的CPU核心運(yùn)算相同的代碼,只不過他們處理的數(shù)據(jù)不同(分別處理自己的數(shù)據(jù)),在并行計算后再對數(shù)據(jù)進(jìn)行重組。

由于每個CPU核心需要處理自己的數(shù)據(jù),且某些數(shù)據(jù)需要和其他CPU核心中的數(shù)據(jù)中獲取,因此,CPU核心之間存在著數(shù)據(jù)交換。每個CPU處理的計算域的邊界也稱之為CPU邊界(Processor Boundary)。

顯性格式相對來說還是比較容易并行的,因?yàn)椴僮鞯臄?shù)據(jù)都是上一個時間步的已知數(shù)據(jù)。其離散后的矩陣為對角陣。數(shù)據(jù)交換只存在于在每個時間步計算完成后子計算域彼此的交界處。顯性格式并行計算最困難的部分就是橢圓形的壓力泊松方程。

隱性格式相對來講并行起來比較麻煩,矩陣的系數(shù)計算只是稍微麻煩一點(diǎn)(隱形格式離散后非對角陣),更頭疼的是求解這個非對角陣的迭代矩陣求解器不是很容易并行起來。比如:高斯消去法在計算的時候需要調(diào)用之前的迭代值,這導(dǎo)致其很難并行計算。

舉例,我們來看使用常規(guī)的矩陣求解方法(如采用ILU類型的矩陣求解器)在并行中的計算特點(diǎn):

CFD并行計算大揭秘！算法玩的不好，照樣香菇、藍(lán)瘦！cfd流體分析圖片2

在上圖中,黑格子為我們的2D網(wǎng)格單元,整個網(wǎng)格域被分為4個垂直的子區(qū)域并分別由4個不同的CPU求解。在每個網(wǎng)格單元上,存儲在著我們的矩陣系數(shù)。在常規(guī)的方式中,矩陣系數(shù)的計算需要相鄰網(wǎng)格單元的值。

假若某種矩陣求解器的矩陣系數(shù)構(gòu)造需要其西側(cè)和南側(cè)矩陣系數(shù)的值。那么CPU1上節(jié)點(diǎn)1、2上的矩陣系數(shù)可以順序求出,在這個時候,CPU2、3、4閑置,因?yàn)樗麄冃枰鱾?cè)和南側(cè)的矩陣系數(shù)值才能進(jìn)行計算。