今天的數(shù)據(jù)中心耗盡并浪費(fèi)了大量的能量，盡可能快地響應(yīng)用戶請(qǐng)求，只有幾微秒的延遲。麻省理工學(xué)院研究人員的新系統(tǒng)通過在中央處理單元(CPU)內(nèi)核之間更好地分配時(shí)間敏感數(shù)據(jù)處理并確保硬件高效運(yùn)行，提高了高速操作的效率。

數(shù)據(jù)中心作為分布式網(wǎng)絡(luò)運(yùn)行，在單個(gè)服務(wù)器上實(shí)現(xiàn)了大量Web和移動(dòng)應(yīng)用程序。當(dāng)用戶向應(yīng)用程序發(fā)送請(qǐng)求時(shí)，存儲(chǔ)數(shù)據(jù)的位數(shù)將從數(shù)百或數(shù)千個(gè)服務(wù)中提取出來。在發(fā)送響應(yīng)之前，應(yīng)用必須等待最慢的服務(wù)來處理數(shù)據(jù)。這種滯后時(shí)間稱為尾部延遲。

當(dāng)前減少尾部延遲的方法會(huì)使服務(wù)器中的大量CPU核心處于打開狀態(tài)，以快速處理傳入的請(qǐng)求。但這意味著核心大部分時(shí)間都處于空閑狀態(tài)，而服務(wù)器繼續(xù)使用能源只是為了保持通電。數(shù)據(jù)中心可以包含數(shù)十萬(wàn)臺(tái)服務(wù)器，因此即使每臺(tái)服務(wù)器的效率有所改善，也可以節(jié)省數(shù)百萬(wàn)美元。

或者，某些系統(tǒng)會(huì)根據(jù)工作負(fù)載在應(yīng)用程序之間重新分配核心。但這種情況發(fā)生在毫秒級(jí) - 大約是今天快節(jié)奏請(qǐng)求所需速度的千分之一。等待時(shí)間過長(zhǎng)也會(huì)降低應(yīng)用程序的性能，因?yàn)樵诜峙涞臅r(shí)間之前未處理的任何信息都不會(huì)發(fā)送給用戶。

在下周的USENIX網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)和實(shí)施會(huì)議上發(fā)表的一篇論文中，研究人員開發(fā)了一種更快的核心分配系統(tǒng)，稱為Shenango，可以減少尾部延遲，同時(shí)實(shí)現(xiàn)高效率。首先，一種新穎的算法可以檢測(cè)哪些應(yīng)用正在努力處理數(shù)據(jù)。然后，軟件組件分配空閑內(nèi)核以處理應(yīng)用程序的工作負(fù)載。

“在數(shù)據(jù)中心，效率和延遲之間存在權(quán)衡，你真的需要以比每毫秒更精細(xì)的粒度重新分配核心，”第一作者，計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)博士生Amy Ousterhout說。Shenango讓服務(wù)器“管理在非常短的時(shí)間內(nèi)發(fā)生的操作，并且有效地進(jìn)行操作。”

能源和成本節(jié)省因數(shù)據(jù)中心而異，具體取決于規(guī)模和工作量。但總體目標(biāo)是提高數(shù)據(jù)中心的CPU利用率，以便充分利用每個(gè)核心。目前最好的CPU利用率約為60%，但研究人員表示，他們的系統(tǒng)有可能將這一數(shù)字提高到100%。

“今天的數(shù)據(jù)中心利用率相當(dāng)?shù)停?rdquo;共同作者，電氣工程和計(jì)算機(jī)科學(xué)助理教授，CSAIL研究員Adam Belay說。“這是一個(gè)非常嚴(yán)重的問題[無(wú)法在數(shù)據(jù)中心的一個(gè)地方解決。但這個(gè)系統(tǒng)是提高利用率的關(guān)鍵因素之一。”

加入Ousterhout和Belay的是Hari Balakrishnan，富士通電氣工程和計(jì)算機(jī)科學(xué)系講座教授，以及CSAIL博士生Jonathan Behrens和Joshua Fried。

高效的擁塞檢測(cè)

在現(xiàn)實(shí)世界的數(shù)據(jù)中心中，Shenango算法和軟件將在數(shù)據(jù)中心的每臺(tái)服務(wù)器上運(yùn)行。所有服務(wù)器都能夠相互通信。

該系統(tǒng)的第一項(xiàng)創(chuàng)新是一種新穎的擁塞檢測(cè)算法。算法每隔5微秒檢查排隊(duì)等待處理的數(shù)據(jù)包。如果數(shù)據(jù)包仍在等待上次觀察，則算法會(huì)注意到至少有5微秒的延遲。它還檢查是否有任何計(jì)算進(jìn)程(稱為線程)等待執(zhí)行。如果是這樣，系統(tǒng)會(huì)認(rèn)為這是一個(gè)“擁擠”的應(yīng)用程序。

看起來很簡(jiǎn)單。但隊(duì)列的結(jié)構(gòu)對(duì)于實(shí)現(xiàn)微秒級(jí)擁塞檢測(cè)非常重要。傳統(tǒng)思維意味著讓軟件檢查每個(gè)排隊(duì)數(shù)據(jù)包的時(shí)間戳，這將花費(fèi)太多時(shí)間。

研究人員在稱為“環(huán)形緩沖區(qū)”的高效結(jié)構(gòu)中實(shí)現(xiàn)隊(duì)列。這些結(jié)構(gòu)可以被視為環(huán)周圍的不同槽。第一個(gè)輸入的數(shù)據(jù)包進(jìn)入起始時(shí)隙。隨著新數(shù)據(jù)的到來，它們會(huì)被放入環(huán)的后續(xù)插槽中。通常，這些結(jié)構(gòu)用于先進(jìn)先出數(shù)據(jù)處理，從起始時(shí)隙拉出數(shù)據(jù)并向結(jié)束時(shí)隙工作。

然而，研究人員的系統(tǒng)只在結(jié)構(gòu)中簡(jiǎn)要地存儲(chǔ)數(shù)據(jù)包，直到應(yīng)用程序可以處理它們。同時(shí)，存儲(chǔ)的數(shù)據(jù)包可用于擁塞檢查。該算法僅需要比較隊(duì)列中的兩個(gè)點(diǎn) - 第一個(gè)數(shù)據(jù)包的位置和最后一個(gè)數(shù)據(jù)包在5微秒前的位置 - 來確定數(shù)據(jù)包是否遇到延遲。

“您可以查看這兩點(diǎn)，并每隔5微秒跟蹤一次進(jìn)度，看看已經(jīng)處理了多少數(shù)據(jù)，”Fried說。因?yàn)榻Y(jié)構(gòu)很簡(jiǎn)單，“你只需要每個(gè)核心執(zhí)行一次。如果你正在查看24個(gè)核心，你可以在5微秒內(nèi)完成24次檢查，這可以很好地?cái)U(kuò)展。”

智能分配

第二項(xiàng)創(chuàng)新稱為IOKernel，它是將數(shù)據(jù)包引導(dǎo)到適當(dāng)應(yīng)用程序的中央軟件中心。IOKernel還使用擁塞檢測(cè)算法，比傳統(tǒng)方法更快地將內(nèi)核快速分配給擁擠的應(yīng)用程序數(shù)量級(jí)。

例如，IOKernel可能會(huì)看到某個(gè)需要微秒處理速度的應(yīng)用程序的傳入數(shù)據(jù)包。如果應(yīng)用程序由于缺少核心而擁擠，那么IOKernel會(huì)立即將閑置核心用于應(yīng)用程序。如果它還看到另一個(gè)應(yīng)用程序正在運(yùn)行具有較少時(shí)間敏感數(shù)據(jù)的核心，它將抓住其中一些核心并將它們重新分配給擁擠的應(yīng)用程序。應(yīng)用程序本身也有幫助：如果應(yīng)用程序沒有處理數(shù)據(jù)，它會(huì)向IOKernel發(fā)出警報(bào)，告知其核心可以重新分配。處理后的數(shù)據(jù)返回IOKernel以發(fā)送響應(yīng)。

“IOKernel專注于哪些應(yīng)用需要沒有它們的內(nèi)核，”Behrens說。“它試圖找出誰(shuí)過載并需要更多內(nèi)核，并盡可能快地為它們提供核心，因此它們不會(huì)落后并且具有巨大的延遲。”

IOKernel，算法，應(yīng)用程序和服務(wù)器硬件之間的緊密通信“在數(shù)據(jù)中心中是獨(dú)一無(wú)二的”，并允許Shenango無(wú)縫運(yùn)行，Belay說：“系統(tǒng)可以全面了解每臺(tái)服務(wù)器中發(fā)生的情況。它看到硬件提供了數(shù)據(jù)包，每個(gè)核心的運(yùn)行位置，以及每個(gè)應(yīng)用程序的繁忙程度。它以微秒級(jí)的速度運(yùn)行。“

接下來，研究人員正在改進(jìn)Shenango的實(shí)際數(shù)據(jù)中心實(shí)施。為此，他們確保軟件可以處理非常高的數(shù)據(jù)吞吐量并具有適當(dāng)?shù)陌踩δ堋?/p>