人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)活動(dòng)的高能耗是廣泛使用人工智能(AI)的最大障礙之一，特別是在移動(dòng)應(yīng)用中?？梢詮挠嘘P(guān)人腦的知識(shí)中找到解決該問(wèn)題的一種方法。

盡管它具有超級(jí)計(jì)算機(jī)的計(jì)算能力，但僅需要20瓦，僅相當(dāng)于超級(jí)計(jì)算機(jī)的能量的百萬(wàn)分之一。

原因之一是大腦神經(jīng)元之間的信息有效傳遞。神經(jīng)元向其他神經(jīng)元發(fā)送短的電脈沖(尖峰)，但為了節(jié)省能量，僅在絕對(duì)必要的時(shí)候才會(huì)發(fā)送。

基于事件的信息處理

由TU Graz的兩位計(jì)算機(jī)科學(xué)家Wolfgang Maass和Robert Legenstein領(lǐng)導(dǎo)的工作組在開(kāi)發(fā)新的機(jī)器學(xué)習(xí)算法e-prop(e-propagation)時(shí)采用了這一原理。

也是歐洲燈塔計(jì)劃“人腦計(jì)劃”的一部分的理論計(jì)算機(jī)科學(xué)研究所的研究人員使用其模型中的峰值來(lái)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的通信。

尖峰僅在網(wǎng)絡(luò)中需要信息處理時(shí)才變?yōu)榛顒?dòng)狀態(tài)。對(duì)于這樣不那么活躍的網(wǎng)絡(luò)，學(xué)習(xí)是一個(gè)特殊的挑戰(zhàn)，因?yàn)樾枰L(zhǎng)的觀察時(shí)間才能確定哪些神經(jīng)元連接可以改善網(wǎng)絡(luò)性能。

先前的方法學(xué)習(xí)成功率太低或需要巨大的存儲(chǔ)空間?，F(xiàn)在，E-prop通過(guò)從大腦復(fù)制的分散方法解決了這個(gè)問(wèn)題，在該方法中，每個(gè)神經(jīng)元在所謂的e-trace(合格跟蹤)中記錄何時(shí)使用其連接。該方法與最佳和最詳盡的其他已知學(xué)習(xí)方法一樣強(qiáng)大。