機(jī)器能學(xué)會抽象地推理嗎?這是谷歌子公司DeepMind 發(fā)表的一篇新論文的主題，題為“ 測量神經(jīng)網(wǎng)絡(luò)中的抽象推理 ”，本周在瑞典斯德哥爾摩舉行的國際機(jī)器學(xué)習(xí)會議上發(fā)表。

研究人員將抽象推理定義為在概念層面上檢測模式和解決問題的能力。在人類中，他們注意到，語言，空間和數(shù)學(xué)推理可以通過測試來經(jīng)驗性地測量，任務(wù)主體通過梳理形狀位置和線條顏色之間的關(guān)系。但那些測試并不完美。

不幸的是，即使在人類的情況下，如果受試者準(zhǔn)備太多，這樣的測試也可能無效，因為可以學(xué)習(xí)特定測試的啟發(fā)式方法，從而縮短了對普遍適用的推理的需求，”研究人員解釋說。“鑒于神奇網(wǎng)絡(luò)具有驚人的記憶能力，這種潛在的陷阱在神經(jīng)網(wǎng)絡(luò)中更為嚴(yán)重。”

團(tuán)隊的解決方案是一個生成器，它創(chuàng)建涉及一系列抽象因素的問題，包括“漸進(jìn)”之類的關(guān)系以及“顏色”和“大小”之類的屬性。他們限制這些因素來創(chuàng)建不同的問題集 - 例如，揭示的謎題僅在應(yīng)用于線條顏色時的漸進(jìn)關(guān)系 - 用于測試和訓(xùn)練機(jī)器學(xué)習(xí)模型。思維過去，非常精通的算法很可能能夠推斷出他們以前從未見過的概念。

大多數(shù)模型在測試中表現(xiàn)良好，有些模型的性能高達(dá)75%%; 研究人員發(fā)現(xiàn)，模型的準(zhǔn)確性與推斷任務(wù)的潛在抽象概念的能力密切相關(guān)。他們通過訓(xùn)練模型以“推理”答案，預(yù)測應(yīng)該考慮解決問題的關(guān)系和屬性，設(shè)法提高績效。

“[有些模型]學(xué)會了解決復(fù)雜的視覺推理問題，”團(tuán)隊寫道，“為此，[他們]需要從原始像素輸入中誘導(dǎo)和檢測抽象概念的存在，如邏輯運算和算術(shù)進(jìn)展，以及將這些原則應(yīng)用于從未觀察到的刺激。“

但即使是表現(xiàn)最佳的神經(jīng)網(wǎng)絡(luò)Wild Relation Network(WReN)也有其局限性：它無法推斷出在訓(xùn)練期間沒有看到的屬性值，并且在對先前看到的關(guān)系進(jìn)行訓(xùn)練時，它在泛化任務(wù)上的表現(xiàn)更差(例如，形狀數(shù)量的進(jìn)展)或新屬性(大小)。

“我們的研究結(jié)果表明，對于泛化得出普遍的結(jié)論可能是無益的：我們測試的神經(jīng)網(wǎng)絡(luò)在某些泛化方案中表現(xiàn)良好，而在其他方面表現(xiàn)得非常差，”該團(tuán)隊在博客文章中寫道。“他們的成功取決于一系列因素，包括所用模型的架構(gòu)以及該模型是否經(jīng)過培訓(xùn)，以便為其答案選擇提供可解釋的'理由'。”

最終結(jié)果可能是一個混合包，但研究人員還沒有放棄。他們打算探索改進(jìn)概括的策略，并探索在未來模型中使用“結(jié)構(gòu)豐富，但普遍適用”的歸納偏差。