普林斯頓大學(xué)的研究人員開(kāi)發(fā)了一種工具，用于標(biāo)記用于訓(xùn)練人工智能(AI)系統(tǒng)的圖像集中的潛在偏差。這項(xiàng)工作是糾正和防止AI系統(tǒng)中普遍存在的偏見(jiàn)的一項(xiàng)較大努力的一部分，該偏見(jiàn)影響了從信貸服務(wù)到法庭判決程序的所有內(nèi)容。

盡管AI系統(tǒng)中偏見(jiàn)的來(lái)源多種多樣，但一個(gè)主要的原因是從在線資源收集的大量圖像中包含的定型圖像，工程師使用這些圖像來(lái)開(kāi)發(fā)計(jì)算機(jī)視覺(jué)，這是AI的一個(gè)分支，允許計(jì)算機(jī)識(shí)別人，物體和動(dòng)作。由于計(jì)算機(jī)視覺(jué)的基礎(chǔ)是建立在這些數(shù)據(jù)集上的，因此反映社會(huì)定型觀念和偏見(jiàn)的圖像會(huì)無(wú)意間影響計(jì)算機(jī)視覺(jué)模型。

為了從源頭上解決這個(gè)問(wèn)題，普林斯頓視覺(jué)AI實(shí)驗(yàn)室的研究人員開(kāi)發(fā)了一種開(kāi)源工具，該工具可以自動(dòng)發(fā)現(xiàn)視覺(jué)數(shù)據(jù)集中的潛在偏差。該工具允許數(shù)據(jù)集創(chuàng)建者和用戶在使用圖像收集來(lái)訓(xùn)練計(jì)算機(jī)視覺(jué)模型之前糾正代表性不足或刻板印象的問(wèn)題。在相關(guān)工作中，視覺(jué)AI實(shí)驗(yàn)室的成員發(fā)布了現(xiàn)有的防止計(jì)算機(jī)視覺(jué)模型自身偏差的方法的比較，并提出了一種新的，更有效的緩解偏差的方法。

第一個(gè)工具稱(chēng)為REVISE(揭示視覺(jué)偏見(jiàn))，它使用統(tǒng)計(jì)方法來(lái)檢查數(shù)據(jù)集的三個(gè)方面：基于對(duì)象，基于性別和基于地理位置的潛在偏見(jiàn)或代表性不足。REVISE是一種全自動(dòng)工具，建立在早期工作的基礎(chǔ)上，涉及以需要用戶更多指導(dǎo)的方式來(lái)過(guò)濾和平衡數(shù)據(jù)集的圖像。該研究報(bào)告于8月24日在虛擬的歐洲計(jì)算機(jī)視覺(jué)會(huì)議上發(fā)表。

REVISE使用現(xiàn)有的圖像注釋和度量來(lái)評(píng)估數(shù)據(jù)集的內(nèi)容，例如對(duì)象計(jì)數(shù)，對(duì)象和人的共現(xiàn)以及圖像的原產(chǎn)國(guó)。在這些測(cè)量中，該工具可顯示與中值分布不同的圖案。

例如，在一個(gè)經(jīng)過(guò)測(cè)試的數(shù)據(jù)集中，REVISE顯示，男性和女性之間包含人和花朵的圖像有所不同：男性在儀式或會(huì)議上更經(jīng)常出現(xiàn)帶花的情況，而女性則更傾向于出現(xiàn)在舞臺(tái)上或繪畫(huà)中。(分析僅限于反映圖像中出現(xiàn)的人的二元性別的注釋。)