深度學(xué)習(xí)系統(tǒng)正在徹底改變我們周圍的技術(shù)，從將您與手機配對的語音識別到越來越能夠看到并識別前方障礙物的自動駕駛汽車。但是，當(dāng)涉及到深度學(xué)習(xí)網(wǎng)絡(luò)本身時，許多成功都涉及反復(fù)試驗。一群MIT研究人員最近回顧了他們對更好地理解深度學(xué)習(xí)網(wǎng)絡(luò)的理論貢獻，為該領(lǐng)域的發(fā)展提供了方向。

“深度學(xué)習(xí)在某種程度上是一個偶然的發(fā)現(xiàn)，”麥戈文腦科學(xué)研究所研究員，大腦，思維與機器中心(CBMM)主任，尤金·麥克德莫特(Eugene McDermott)腦與認知科學(xué)教授Tommy Poggio解釋說。 。“我們?nèi)匀徊幻靼姿鼮槭裁雌鹱饔?。一個理論框架正在形成，我相信我們現(xiàn)在已經(jīng)接近一個令人滿意的理論?，F(xiàn)在該退后一步，回顧最近的見解。”

攀登數(shù)據(jù)山

我們當(dāng)前的時代以數(shù)據(jù)的豐富為特征-來自各種類型的廉價傳感器，文本，互聯(lián)網(wǎng)的數(shù)據(jù)，以及生命科學(xué)中生成的大量基因組數(shù)據(jù)。如今，計算機攝取這些多維數(shù)據(jù)集，從而產(chǎn)生了一系列問題，這些問題被已故的數(shù)學(xué)家理查德·貝爾曼(Richard Bellman)稱為“維數(shù)詛咒”。

這些問題之一是，表示平滑的高維函數(shù)需要天文學(xué)上大量的參數(shù)。我們知道深度神經(jīng)網(wǎng)絡(luò)特別擅長學(xué)習(xí)如何表示或近似于此類復(fù)雜數(shù)據(jù)，但是為什么呢?了解為什么可能有可能幫助推進深度學(xué)習(xí)應(yīng)用程序。

“深度學(xué)習(xí)就像是在Volta發(fā)現(xiàn)電池之后，但在Maxwell之前，就像電一樣。” Poggio解釋說，他是MIT Quest for Intelligence核心組織的創(chuàng)始科學(xué)顧問，并且是計算機科學(xué)與人工智能實驗室(CSAIL)的研究員麻省理工學(xué)院。“在Volta之后肯定可以進行有用的應(yīng)用，但這是Maxwell的電磁學(xué)理論，這種更深刻的理解為無線電，電視，雷達，晶體管，計算機和互聯(lián)網(wǎng)開辟了道路。”

Poggio，Andrzej Banburski和Qianli Liao的理論處理指出了深度學(xué)習(xí)為何可以克服諸如“維數(shù)詛咒”之類的數(shù)據(jù)問題的原因。他們的方法始于觀察到許多自然結(jié)構(gòu)是分層的。建模樹木的生長和發(fā)育不需要我們指定每個樹枝的位置。相反，模型可以使用本地規(guī)則來分層驅(qū)動分支。當(dāng)處理復(fù)雜數(shù)據(jù)時，靈長類動物的視覺系統(tǒng)似乎會做類似的事情。當(dāng)我們查看自然圖像(包括樹木，貓和臉)時，大腦先后整合了局部圖像補丁，然后是小補丁集合，然后是補丁集合。