一組研究人員已經(jīng)確定了一套文化定型觀(guān)念，并將其引入到語(yǔ)言開(kāi)發(fā)的人工智能模型中，這一發(fā)現(xiàn)加深了我們對(duì)影響搜索引擎和其他AI驅(qū)動(dòng)工具產(chǎn)生的結(jié)果的因素的理解。

“我們的工作確定了人們?cè)趯W(xué)習(xí)英語(yǔ)時(shí)會(huì)廣泛使用的AI語(yǔ)言模型的刻板印象。我們正在尋找的模型以及其他語(yǔ)言的模型，是大多數(shù)現(xiàn)代語(yǔ)言技術(shù)的基礎(chǔ)，從翻譯系統(tǒng)到回答問(wèn)題的行業(yè)工具個(gè)人助理進(jìn)行簡(jiǎn)歷篩選，突顯了當(dāng)前使用這些技術(shù)所造成的真正危險(xiǎn)，”紐約大學(xué)語(yǔ)言學(xué)系和數(shù)據(jù)科學(xué)中心助理教授山姆·鮑曼(Sam Bowman)說(shuō)，作者。“我們希望這項(xiàng)工作和相關(guān)項(xiàng)目將鼓勵(lì)未來(lái)的研究，以建立更公平的語(yǔ)言處理系統(tǒng)。”

這項(xiàng)工作與最近的獎(jiǎng)學(xué)金相吻合，例如Safiya Umoja Noble的“壓迫算法：搜索引擎如何增強(qiáng)種族主義”(紐約大學(xué)出版社，2018年)，它記錄了種族和其他偏見(jiàn)如何困擾廣泛使用的語(yǔ)言技術(shù)。

該論文的其他作者是紐約大學(xué)數(shù)據(jù)科學(xué)中心的博士候選人Nikita Nangia，紐約大學(xué)數(shù)據(jù)科學(xué)中心的博士后研究員Clara Vania和紐約大學(xué)坦登工程學(xué)院的博士候選人Rasika Bhalerao。

“事實(shí)證明，“仇恨言論”檢測(cè)器偏向于非裔美國(guó)白話(huà)英語(yǔ)，事實(shí)證明，自動(dòng)聘用決策偏向于支持現(xiàn)狀，自動(dòng)文本生成器很容易被誘騙輸出種族主義言論，巴拉勒勞(Bhalerao)說(shuō)，指的是以前的相關(guān)研究。

Nangia補(bǔ)充說(shuō)：“通過(guò)量化語(yǔ)言模型中的偏差，我們可以從根本上識(shí)別和解決問(wèn)題，而不是從頭開(kāi)始。”

這項(xiàng)工作在2020年自然語(yǔ)言處理經(jīng)驗(yàn)方法會(huì)議論文集中進(jìn)行了描述。

近年來(lái)，應(yīng)用語(yǔ)言理解技術(shù)的進(jìn)步主要是由通用語(yǔ)言表示模型的使用推動(dòng)的，該模型通過(guò)將它們暴露于大量的互聯(lián)網(wǎng)文本中進(jìn)行訓(xùn)練。這些模型在培訓(xùn)過(guò)程中學(xué)習(xí)了大量關(guān)于語(yǔ)言的知識(shí)，但是他們?cè)趯W(xué)習(xí)語(yǔ)言的同時(shí)也學(xué)習(xí)了語(yǔ)言，從而從人們的寫(xiě)作中了解了世界的運(yùn)作方式。這使系統(tǒng)在典型的AI基準(zhǔn)上表現(xiàn)良好，但也引起了一些問(wèn)題：“盡管我們?cè)谑褂眠@些模型方面看到了很多進(jìn)步，但這些模型還獲得了反映在數(shù)據(jù)中的社會(huì)偏見(jiàn)，” Vania解釋說(shuō)。“當(dāng)這些模型用于決策時(shí)，這將是有害的，尤其是當(dāng)它們用于 要求對(duì)一些描述有色人種的文字或任何其他面臨廣泛刻板印象的社會(huì)群體做出決定。在這里，我們專(zhuān)注于隔離和衡量語(yǔ)言模型中特定類(lèi)型的陳規(guī)定型觀(guān)念，但是在減輕這些偏見(jiàn)以及識(shí)別和減輕類(lèi)似系統(tǒng)加強(qiáng)不平等的其他方式方面，還有許多工作要做。”