麻省理工學(xué)院的研究人員開發(fā)的新型系統(tǒng)可以自動(dòng)“學(xué)習(xí)”如何在數(shù)千臺(tái)服務(wù)器上調(diào)度數(shù)據(jù)處理操作，而這通常是由不精確的人工設(shè)計(jì)算法完成的任務(wù)。這樣做可以幫助當(dāng)今耗電的數(shù)據(jù)中心更加高效地運(yùn)行。

數(shù)據(jù)中心可以包含數(shù)以萬計(jì)的服務(wù)器，這些服務(wù)器不斷運(yùn)行來自開發(fā)人員和用戶的數(shù)據(jù)處理任務(wù)。群集調(diào)度算法可實(shí)時(shí)跨服務(wù)器分配傳入的任務(wù)，以有效利用所有可用的計(jì)算資源并快速完成工作。

然而，傳統(tǒng)上，人們會(huì)基于一些基本準(zhǔn)則(“策略”)和各種折衷來微調(diào)那些調(diào)度算法。例如，他們可以對(duì)算法進(jìn)行編碼，以快速完成某些任務(wù)，或者在任務(wù)之間平均分配資源。但是工作負(fù)載(意味著組合任務(wù)的組)各種各樣。因此，人類幾乎不可能針對(duì)特定的工作負(fù)荷優(yōu)化其調(diào)度算法，因此，他們常常無法發(fā)揮其真正的效率潛力。

麻省理工學(xué)院的研究人員將所有的手動(dòng)編碼卸載到了機(jī)器上。在SIGCOMM上發(fā)表的一篇論文中，他們描述了一種利用“強(qiáng)化學(xué)習(xí)”(RL)(一種反復(fù)試驗(yàn)的機(jī)器學(xué)習(xí)技術(shù))來針對(duì)特定服務(wù)器集群中的特定工作負(fù)載量身定制調(diào)度決策的系統(tǒng)。

為此，他們構(gòu)建了可以在復(fù)雜工作負(fù)載上進(jìn)行訓(xùn)練的新穎RL技術(shù)。在培訓(xùn)中，系統(tǒng)嘗試了多種可能的方式來跨服務(wù)器分配傳入的工作負(fù)載，最終在利用計(jì)算資源和快速處理速度方面找到了最佳折衷方案。除了簡單的說明(例如“最小化工作完成時(shí)間”)之外，不需要人工干預(yù)。

與最佳的手寫調(diào)度算法相比，研究人員的系統(tǒng)完成工作的速度提高了約20%到30%，而在交通繁忙的時(shí)候完成速度則提高了兩倍。但是，大多數(shù)情況下，系統(tǒng)會(huì)學(xué)習(xí)如何有效壓縮工作負(fù)載而幾乎沒有浪費(fèi)。結(jié)果表明，該系統(tǒng)可以使數(shù)據(jù)中心使用更少的資源，以更高的速度處理相同的工作負(fù)載。

“如果您有使用機(jī)器進(jìn)行反復(fù)試驗(yàn)的方法，他們可以嘗試以不同的方式安排作業(yè)，并自動(dòng)找出哪種策略比其他方法更好，”博士學(xué)位的洪子茂說。電氣工程與計(jì)算機(jī)科學(xué)系(EECS)的學(xué)生。“這可以自動(dòng)提高系統(tǒng)性能。利用率的任何小幅提高，即使提高1%，也可以節(jié)省數(shù)百萬美元，并為數(shù)據(jù)中心節(jié)省大量能源。”