在過(guò)去的十年左右的時(shí)間里，計(jì)算機(jī)科學(xué)家已經(jīng)開發(fā)了機(jī)器學(xué)習(xí)(ML)技術(shù)，該技術(shù)在各種任務(wù)上的表現(xiàn)都非常出色。盡管這些算法是為人為地復(fù)制人類的認(rèn)知技能而設(shè)計(jì)的，但仍然缺少將其能力與人類的能力進(jìn)行比較的工具。

考慮到這一點(diǎn)，印度Savitribai Phule Pune大學(xué)(SPPU)的兩名研究人員最近創(chuàng)建了一個(gè)框架來(lái)執(zhí)行機(jī)器學(xué)習(xí)代理的認(rèn)知評(píng)估。這種獨(dú)特的框架在Elsevier的《認(rèn)知系統(tǒng)研究》期刊上發(fā)表的一篇論文中概述，從心理學(xué)理論和機(jī)器認(rèn)知所描述的人類認(rèn)知中汲取了相似之處。

研究人員之一Suvarna Kadam表示：“當(dāng)我開始進(jìn)行有關(guān)少數(shù)射擊學(xué)習(xí)(FSL)的核心研究時(shí)，我和我的顧問(wèn)考慮了人類如何能夠輕松地從視覺上學(xué)習(xí)對(duì)物體進(jìn)行分類以及為何機(jī)器如此困難”告訴TechXplore進(jìn)行了這項(xiàng)研究。“人類可以概括化，但是機(jī)器發(fā)現(xiàn)它具有很大的挑戰(zhàn)性。對(duì)最新的FSL方法的快速分析使我們意識(shí)到，不僅很難用性能指標(biāo)來(lái)評(píng)估“學(xué)到了多少”，而且我們常常還不知道機(jī)器是真正理解手頭的任務(wù)還是僅僅模仿它。”

一旦他們意識(shí)到缺乏評(píng)估ML技術(shù)認(rèn)知的可靠方法，Kadam和她的主管Vinay Vaidya就開始問(wèn)自己有關(guān)機(jī)器認(rèn)知以及如何對(duì)其進(jìn)行有效評(píng)估的基本問(wèn)題。最終，他們決定設(shè)計(jì)一種結(jié)構(gòu)化的方法，以幫助研究人員了解機(jī)器如何獲得新技能并評(píng)估他們實(shí)際學(xué)習(xí)了多少。他們創(chuàng)建的框架提供了一種思考機(jī)器認(rèn)知的簡(jiǎn)單方法，與人類認(rèn)知相提并論。

卡達(dá)姆解釋說(shuō)：“我們決定利用人類在人類如何學(xué)習(xí)以及他們?nèi)绾魏饬繉W(xué)習(xí)方面的集體智慧。” “我們的框架使用人類認(rèn)知理論來(lái)提供逐步指導(dǎo)，以評(píng)估機(jī)器在任何領(lǐng)域的學(xué)習(xí)。它主張我們列出一個(gè)領(lǐng)域的任務(wù)，并檢查它們是簡(jiǎn)單還是具有挑戰(zhàn)性的實(shí)施，然后允許我們按照分類法安排任務(wù)他們的認(rèn)知困難。”

Kadam和Vaidya創(chuàng)建的框架旨在促使人們反思使任務(wù)比其他任務(wù)更難或更容易解決的問(wèn)題。通常根據(jù)學(xué)習(xí)者在特定任務(wù)上的表現(xiàn)來(lái)評(píng)估人類學(xué)習(xí)。研究人員提出的框架可以利用一種稱為任務(wù)分類法的概念來(lái)評(píng)估機(jī)器對(duì)特定任務(wù)的認(rèn)知。

卡丹說(shuō)：“由于人類非常擅長(zhǎng)概括并快速適應(yīng)新任務(wù)，因此我們也展示了如何量化機(jī)器的概括潛力。” “我們的研究首次強(qiáng)調(diào)了機(jī)器顯示出更高智能的事實(shí)，我們必須超越性能指標(biāo)來(lái)對(duì)其進(jìn)行測(cè)量。”

Kadam和Vaidya在最近的論文中使用他們的框架比較了兩種最新的ML技術(shù)。因此，對(duì)于試圖確定“最佳” ML模型以完成不同選擇中的特定任務(wù)的其他研究團(tuán)隊(duì)而言，它也可能會(huì)有用。

將來(lái)，相同的框架還可以幫助更好地了解機(jī)器的預(yù)測(cè)或動(dòng)作背后的過(guò)程。這最終可以提高AI系統(tǒng)的可靠性，使開發(fā)人員可以對(duì)其認(rèn)知能力有更深入的了解。

卡達(dá)姆說(shuō)：“在這個(gè)框架下，我們探索了認(rèn)知和學(xué)習(xí)是如何交織在一起的，并且學(xué)習(xí)在很大程度上受到認(rèn)知的影響。” “但是，學(xué)習(xí)也受到學(xué)習(xí)者所擁有的技能和態(tài)度的極大影響。如果能夠?qū)⑽覀兊墓ぷ鲾U(kuò)展到評(píng)估機(jī)器的身體和情感技能，那將非常有趣。盡管機(jī)器的情感技能看起來(lái)遙不可及尚未實(shí)現(xiàn)的機(jī)器已經(jīng)在緊密的人際互動(dòng)中使用(例如，聊天機(jī)器人，護(hù)理或陪伴機(jī)器人等)，因此我們認(rèn)為也應(yīng)該對(duì)它們的情緒商進(jìn)行測(cè)試。