眾所周知，修剪可以促進(jìn)植被的蓬勃發(fā)展。在這里剪一剪，在那里剪一剪，可以控制和引導(dǎo)生長，使植物更有活力。相同的原理可以應(yīng)用于機(jī)器學(xué)習(xí)算法。沿這些算法中的編碼分支刪除位和片段可以降低決策樹的復(fù)雜性并提高預(yù)測性能。

美國能源部太平洋西北國家實(shí)驗(yàn)室(PNNL)的研究人員正是這樣做的。通過二值化神經(jīng)網(wǎng)絡(luò)(BNN)的探索，他們使用修剪原理來顯著降低計(jì)算復(fù)雜性和內(nèi)存需求。BNN是深度神經(jīng)網(wǎng)絡(luò)的近親，需要大量的計(jì)算。但是BNN的顯著差異是：它們使用單??個(gè)位對每個(gè)神經(jīng)元和參數(shù)進(jìn)行編碼，而使用的能量和功率卻少得多。

修剪以加快增長

研究人員認(rèn)識到，從2016年左右開始，BNN在機(jī)器學(xué)習(xí)中的潛在價(jià)值。如果以正確的方式構(gòu)建或修剪BNN，它們將消耗更少的計(jì)算能量，并且?guī)缀跖c深度神經(jīng)網(wǎng)絡(luò)一樣精確。這意味著BNN更有潛力受益于資源受限的環(huán)境，例如手機(jī)，智能設(shè)備和整個(gè)物聯(lián)網(wǎng)生態(tài)系統(tǒng)。

這是修剪起作用的地方。隨著近年來神經(jīng)網(wǎng)絡(luò)研究的發(fā)展，修剪已引起計(jì)算機(jī)研究人員的更多興趣。

PNNL計(jì)算機(jī)科學(xué)家Ang Li說：“修剪目前是機(jī)器學(xué)習(xí)中的熱門話題。” “我們可以添加軟件和架構(gòu)編碼，以將修整推向一個(gè)對計(jì)算設(shè)備的性能有更多好處的方向。這些好處包括更低的能源需求和更低的計(jì)算成本。”

PNNL計(jì)算機(jī)科學(xué)家Ang Li表示，隨著近年來神經(jīng)網(wǎng)絡(luò)研究的發(fā)展，修剪已引起計(jì)算機(jī)研究人員的更多興趣。圖片提供：Andrea Starr | 太平洋西北國家實(shí)驗(yàn)室

Li是一組PNNL研究人員之一，最近他們在電氣與電子工程師協(xié)會關(guān)于并行和分布式系統(tǒng)的交易中發(fā)表了研究結(jié)果，顯示了選擇性修剪的好處。研究表明，修剪BNN架構(gòu)的冗余位會導(dǎo)致定制的亂序BNN，稱為O3BNN-R。他們的工作顯示了高度濃縮的BNN模型-已經(jīng)可以顯示高性能的超級計(jì)算質(zhì)量-可以在不損失準(zhǔn)確性的情況下進(jìn)一步縮小。

波士頓大學(xué)的博士生Tong“ Tony” Geng說，“二元神經(jīng)網(wǎng)絡(luò)有可能使神經(jīng)網(wǎng)絡(luò)的處理時(shí)間達(dá)到微秒左右。”他是PNNL實(shí)習(xí)生，他協(xié)助Li參與了O3BNN-R項(xiàng)目。

Geng說：“ BNN的研究朝著使神經(jīng)網(wǎng)絡(luò)真正有用并易于在現(xiàn)實(shí)世界中被采用的有前途的方向發(fā)展。” Geng將于1月份重新加入PNNL的工作，擔(dān)任博士后研究員。“我們的發(fā)現(xiàn)是實(shí)現(xiàn)這一潛力的重要一步。”

他們的研究表明，這種亂序的BNN可以平均減少30%的操作，而不會造成任何準(zhǔn)確性損失。通過進(jìn)行更精細(xì)的調(diào)整(稱為“訓(xùn)練中的常規(guī)化”)，可以將性能再提高15%。