盡管研究人員在機(jī)器學(xué)習(xí)方面幫助我們完成了緊縮數(shù)字，駕駛汽車(chē)和檢測(cè)癌癥等工作所取得的所有進(jìn)步，但我們很少考慮維護(hù)大型數(shù)據(jù)中心使這種工作成為可能的能源消耗。實(shí)際上，2017年的一項(xiàng)研究預(yù)測(cè)，到2025年，連接互聯(lián)網(wǎng)的設(shè)備將使用世界20%的電力。

機(jī)器學(xué)習(xí)的低效率部分取決于如何創(chuàng)建此類(lèi)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)通常通過(guò)生成初始模型，調(diào)整一些參數(shù)，再次嘗試然后漂洗和重復(fù)來(lái)開(kāi)發(fā)。但是這種方法意味著，在任何人都不知道它是否真正起作用之前，在該項(xiàng)目上花費(fèi)了大量時(shí)間，精力和計(jì)算資源。

麻省理工學(xué)院的研究生喬納森·羅森菲爾德(Jonathan Rosenfeld)將其比作尋求了解重力和行星運(yùn)動(dòng)的17世紀(jì)科學(xué)家。他說(shuō)，在沒(méi)有這樣的理解的情況下，我們今天開(kāi)發(fā)機(jī)器學(xué)習(xí)系統(tǒng)的方式具有有限的預(yù)測(cè)能力，因此效率很低。

“目前還不是預(yù)測(cè)一個(gè)神經(jīng)網(wǎng)絡(luò)將如何執(zhí)行給予一定的因素，如模型的形狀，或者它被訓(xùn)練的數(shù)據(jù)量的統(tǒng)一，”羅森菲爾德，誰(shuí)最近研制說(shuō)，一個(gè)新的框架的話(huà)題與麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的同事們。“我們想通過(guò)嘗試?yán)斫庥绊懢W(wǎng)絡(luò)準(zhǔn)確性的不同關(guān)系來(lái)探討是否可以使機(jī)器學(xué)習(xí)向前發(fā)展。”

CSAIL團(tuán)隊(duì)的新框架以較小的規(guī)模查看給定的算法，并且基于其形狀等因素，可以預(yù)測(cè)其在較大規(guī)模上的性能。這使數(shù)據(jù)科學(xué)家可以確定是否值得繼續(xù)投入更多的資源來(lái)進(jìn)一步培訓(xùn)系統(tǒng)。

麻省理工學(xué)院教授尼爾·沙維特(Nir Shavit)說(shuō)：“我們的方法告訴我們，諸如架構(gòu)要實(shí)現(xiàn)特定目標(biāo)性能所需的數(shù)據(jù)量，或者數(shù)據(jù)與模型大小之間在計(jì)算上最有效的折衷”。與Rosenfeld，約克大學(xué)前博士研究生Yonatan Belinkov和Amir Rosenfeld合作。“我們認(rèn)為這些發(fā)現(xiàn)對(duì)本領(lǐng)域具有深遠(yuǎn)的影響，它可以使學(xué)術(shù)界和行業(yè)的研究人員更好地了解開(kāi)發(fā)深度學(xué)習(xí)模型時(shí)必須權(quán)衡的不同因素之間的關(guān)系，并在有限的計(jì)算資源下做到這一點(diǎn)。可供學(xué)者使用。”

該框架使研究人員可以使用少50倍的計(jì)算能力來(lái)準(zhǔn)確預(yù)測(cè)大型模型和數(shù)據(jù)規(guī)模的性能。

團(tuán)隊(duì)關(guān)注的深度學(xué)習(xí)性能方面是所謂的“泛化錯(cuò)誤”，它是指對(duì)真實(shí)數(shù)據(jù)測(cè)試算法時(shí)產(chǎn)生的錯(cuò)誤。該團(tuán)隊(duì)利用了模型縮放的概念，該概念涉及以特定方式更改模型形狀以查看其對(duì)誤差的影響。

下一步，該團(tuán)隊(duì)計(jì)劃探索使特定算法的性能成敗的基礎(chǔ)理論。這包括嘗試其他可能影響深度學(xué)習(xí)模型訓(xùn)練的因素。