由KAUST研究人員開發(fā)的搶先式內存管理系統(tǒng)可以消除因數據傳輸緩慢而造成的延遲，從而將數據密集型仿真速度提高2.5倍。該開發(fā)優(yōu)雅而透明地解決了現代超級計算中最頑固的瓶頸之一，即從內存中足夠快地交付數據以跟上計算的速度。

研究團隊的Hatem Ltaief解釋說：“減少數據的移動同時保持數據與計算硬件的距離是計算科學家處理大數據所面臨的最艱巨的挑戰(zhàn)之一。” “由于計算速度和內存?zhèn)鬏斈芰χg的差距越來越大，以及在遠程存儲介質上存儲大量數據的需求，這種情況更加惡化。”

處理大數據的關鍵挑戰(zhàn)是將數據存儲在內存中的成本和規(guī)模。內存越快，成本就越高，并且需要在計算元素之間移動數據的速度就越快。因為即使在功能最強大的超級計算平臺上，也只能使用相對較小容量的最快內存，因此系統(tǒng)工程師會依次添加更大，更慢和更遠程的內存層，以容納大數據集典型的TB級和PB級數據。

“在這種敵對環(huán)境中，我們的系統(tǒng)通過減少將數據移入和移出遠程存儲硬件的開銷發(fā)揮了作用，” Ltaief說。

Ltaief與同事David Keyes和Tariq Alturkestani共同開發(fā)了他們的多層緩沖系統(tǒng)(MLBS)，以通過協(xié)調存儲層之間的數據移動來主動維護數據，使其與計算硬件盡可能接近。

Alturkestani說：“ MLBS依靠一種多級緩沖技術，該技術通過使其“看到”所有數百PB的數據都在快速存儲器中，從而使模擬勝過智能。“緩沖機制可以防止應用程序在需要訪問位于遠程存儲上的數據時停止運行，從而允許應用程序通過異步計算操作全速運行。”

MLBS提供的這種協(xié)同作用，使用KAUST的Shaheen-2超級計算機進行了涉及數百PB數據移動的三維地震勘探模擬，實現了2.5倍的加速。

Ltaief說：“這種方法還減少了將數據移入和移出遠程存儲介質所需的能量，這可能比在本地存儲器上執(zhí)行單個計算的能量高數百倍。” “使用MLBS，我們可以減輕數據移動的能源開銷，這是我們中心的主要目標之一。”