眾所周知，生物突觸可以在不同的時間尺度上將多個記憶相互疊加，就像早期手稿寫作技術的表示被稱為“ palimpsest ”一樣，其中注釋可以與早期寫作的痕跡疊加在一起。

生物學上最完整的鞏固是通過隱藏的生化過程發(fā)生的，這些過程控制著不同生命期的突觸功效。這種安排可以促進空閑記憶被覆蓋而不忘記它們，同時短期使用以前看不見的記憶。嵌入式人工智能可以顯著受益于此類功能;但是，硬件尚未在實踐中得到證明。

在現(xiàn)在發(fā)表在《科學進展》上的一份新報告中，Christos Giotis 和南安普頓大學和英國愛丁堡大學的電子和計算機科學科學家團隊展示了金屬氧化物揮發(fā)性憶阻器的內(nèi)在特性如何模仿這一過程生物學的最完整的鞏固。

憶阻器是可以調(diào)節(jié)電路中電流流動以記住流過它的電荷的器件。在不執(zhí)行特殊指令的情況下，實驗性憶阻器突觸顯示出擴大了一倍的容量，同時保護了統(tǒng)一的記憶，因為多達數(shù)百個不相關的短期記憶暫時覆蓋了它。結果強調(diào)了新興的記憶技術如何有效地擴展人工智能硬件的能力，以概念化學習記憶。

大腦皮層中的神經(jīng)網(wǎng)絡使用估計的 10 13到 10 14 個突觸來產(chǎn)生一系列認知能力，它們重新設計的對應物需要相同數(shù)量的可訓練參數(shù)用于更窄的應用。

為了解釋生物智能與人工智能之間的這種學習能力差異，人工智能研究人員建議，突觸可以整合多個記憶，以便在不同的時間尺度上揭示出來，就像一個舊書。雖然突觸可以記住長期的可塑性事件，但它們可以在短期內(nèi)表達改變的狀態(tài)。因此，大腦可以將相同的資源用于一系列計算過程。這種靈活性可以為神經(jīng)形態(tài)硬件提供一個重要的里程碑，將人工智能集成到廣泛的前沿、持續(xù)的學習系統(tǒng)中。

在實驗過程中，研究人員之前設計了主要基于相變存儲器材料的突觸和基于電阻隨機存取存儲器 (RRAM) 的憶阻器，以實現(xiàn)超塑性來調(diào)整神經(jīng)網(wǎng)絡中人工突觸的學習率。

Giotis 和團隊在之前的工作的基礎上建立了這項研究，旨在將突觸可塑性與自動鞏固和記憶保護從突觸修改中獲得的記憶聯(lián)系起來——這是有效在線學習的重要因素。該團隊探索了RRAM 波動性的特征，以模仿隱藏的生化過程，從而促進生物智能的最完整的整合。他們在單個設備中實現(xiàn)了兩個合并的時間尺度，以創(chuàng)建一種技術，可以保護具有獨特特性的長期存儲中的強內(nèi)存，沒有特殊偏差或功能復雜性。

用于復寫合并的候選易失性存儲器

生物學重述鞏固過程假設隱藏變量(例如復雜的生化過程)可以在不同時間尺度上引起突觸功效的變化。雖然這些過程仍有待繪制，但它們的表型反應可以通過流體擴散進行建模。研究人員使用二氧化鈦-基于易失性憶阻設備，用于檢查復寫鞏固的潛力，并在單個憶阻突觸上演示了該過程。結果表明人工突觸如何保護隱藏的記憶，同時保留在其上表達另一個記憶以使記憶容量翻倍的靈活性。由于揮發(fā)性和非揮發(fā)性塑性變化的比率很高，它提供了系統(tǒng)的關鍵功能參數(shù)，因此該產(chǎn)品提供了一個很好的候選者。

操作內(nèi)存系統(tǒng)

Giotis 和團隊構建了一個由六個突觸組成的憶阻網(wǎng)絡，以加強或鞏固兩個相互競爭的信號。他們展示了實驗設置，其中每一位記憶都被寫入相應的憶阻突觸，并研究了兩個記憶信號如何在突觸之間相互作用。突觸循環(huán)通過一些鞏固階段，科學家們繼續(xù)從宏觀上檢查記憶性能。他們將特定記憶的逐漸成功呈現(xiàn)歸功于其覆蓋競爭記憶的能力，其中噪聲的影響是決定性因素。

他們進行了額外的實驗和模擬，以量化噪聲如何影響記憶性能，結果表明，該設備的特性通過實現(xiàn)從短期記憶到長期記憶狀態(tài)的可逆性，推動了重寫本整合。該網(wǎng)絡還顯示了熟悉回憶的能力，以識別先前是否存在多個記憶。他們將短期記憶的生命周期描述為短期記憶信號支配長期記憶的時期。這項工作揭示了容量和回憶準確性之間的權衡，以及通過突觸特別實現(xiàn)的化生特性。研究人員展示了高水平的整合似乎可以保護長期記憶免受數(shù)百個傳入的短期記憶的影響。

視覺工作記憶

該團隊基于系統(tǒng)中的短期注意力和無監(jiān)督記憶構建的概念進一步探索了視覺記憶。在實驗過程中，他們從現(xiàn)有的工作記憶理論中汲取靈感，構建了一個短期注意力與其記憶能力互補的視覺網(wǎng)絡。他們還研究了該系統(tǒng)是否可以在沒有監(jiān)督的情況下識別統(tǒng)計顯著性。當他們將長期記憶軌跡與隨后的快照進行比較時，他們注意到網(wǎng)絡可以自動對合并信號進行去噪。

外表

通過這種方式，Christos Giotis 及其同事專注于已知支持數(shù)學模型和深度學習算法學習的二元突觸。強烈的雙向揮發(fā)性和小的非揮發(fā)性殘留物之間的相互作用促成了該設備的最強大的能力。該研究的未來實施不僅限于二氧化鈦技術的選定材料，還可以根據(jù)具體應用需求進行研究。該設置展示了從長期記憶到短期記憶的轉變，同時也類似于短期注意力機制，有望實現(xiàn)更復雜的人工智能算法。設備的雙時間容量類似于已知的雙穩(wěn)態(tài)開關控制突觸可塑性。該團隊將核心可塑性的功能等同于鈣/鈣調(diào)蛋白依賴性蛋白激酶 II 機制的生物學過程;一種主要的生物分子記憶機制。