神經(jīng)網(wǎng)絡(luò)為研究人員提供了一個(gè)強(qiáng)大的工具，可以用來(lái)展望未來(lái)并做出預(yù)測(cè)。但是一個(gè)缺點(diǎn)是他們對(duì)處理所有這些信息的數(shù)據(jù)和計(jì)算能力(“計(jì)算”)的無(wú)限需求。在麻省理工學(xué)院，對(duì)計(jì)算的需求估計(jì)是研究所提供的需求的五倍。為了緩解這種緊縮，行業(yè)介入了。IBM最近捐贈(zèng)的一臺(tái)價(jià)值1160萬(wàn)美元的超級(jí)計(jì)算機(jī)于今年秋天上線，并且在過(guò)去的一年中，IBM和Google都向MIT Quest for Intelligence提供了云信用額度，以便在整個(gè)校園內(nèi)分發(fā)。下面重點(diǎn)介紹了IBM和Google云捐贈(zèng)促成的四個(gè)項(xiàng)目。

較小，更快，更智能的神經(jīng)網(wǎng)絡(luò)

為了識(shí)別圖片中的貓，深度學(xué)習(xí)模型可能需要先查看數(shù)百萬(wàn)張照片，然后人工神經(jīng)元才能“學(xué)習(xí)”以識(shí)別貓。正如試圖衡量人工智能(AI)碳足跡的新研究突出顯示的那樣，該過(guò)程需要大量的計(jì)算，并且會(huì)帶來(lái)巨大的環(huán)境成本。

但是可能有一種更有效的方法。麻省理工學(xué)院的最新研究表明，僅需模型的一小部分即可。麻省理工學(xué)院電氣工程與計(jì)算機(jī)科學(xué)系(EECS)的研究生喬納森·弗蘭克(Jonathan Frankle)說(shuō)：“培訓(xùn)一個(gè)大型網(wǎng)絡(luò)時(shí)，只有一個(gè)小型網(wǎng)絡(luò)可以完成所有工作。”

在研究合著者和EECS教授邁克爾·卡賓(Michael Carbin)的指導(dǎo)下，弗蘭克勒(Frankle)估計(jì)，如果一開始就找到正確的子網(wǎng)，那么神經(jīng)網(wǎng)絡(luò)的連接數(shù)將減少十倍。通常，在訓(xùn)練過(guò)程之后修剪神經(jīng)網(wǎng)絡(luò)，然后刪除不相關(guān)的連接。弗蘭克勒想知道，為什么不訓(xùn)練這種小型模型呢?

弗蘭克勒(Frankle)在他的筆記本電腦上進(jìn)行了兩個(gè)神經(jīng)元網(wǎng)絡(luò)的試驗(yàn)，結(jié)果令人鼓舞，并轉(zhuǎn)向MNIST和CIFAR-10等較大的圖像數(shù)據(jù)集，并盡可能借用了GPU。最后，通過(guò)IBM Cloud，他確保了足夠的計(jì)算能力來(lái)訓(xùn)練真實(shí)的ResNet模型。他說(shuō)：“我以前所做的一切都是玩具實(shí)驗(yàn)。” “我終于能夠運(yùn)行許多不同的設(shè)置，以確保可以在我們的論文中提出主張。”

弗蘭克勒(Frankle)在Facebook辦公室講話，他在夏季工作，探索他的彩票假說(shuō)論文提出的想法，該論文是在今年的國(guó)際學(xué)習(xí)代表大會(huì)上獲得最佳論文獎(jiǎng)的兩個(gè)人之一。弗蘭克勒說(shuō)，這項(xiàng)工作的潛在應(yīng)用超越了圖像分類，還包括強(qiáng)化學(xué)習(xí)和自然語(yǔ)言處理模型。Facebook AI Research，普林斯頓大學(xué)和Uber的研究人員已經(jīng)發(fā)表了后續(xù)研究。