本月，谷歌因?qū)υ摴境坊匮芯空撐谋硎静粷M，迫使該公司退出了一位著名的AI倫理研究人員。本文指出了語言處理人工智能的風(fēng)險(xiǎn)，在Google搜索和其他文本分析產(chǎn)品中使用的類型。

開發(fā)此類AI技術(shù)的巨大風(fēng)險(xiǎn)是其中的風(fēng)險(xiǎn)。據(jù)一些估計(jì)，訓(xùn)練一個(gè)AI模型產(chǎn)生的碳排放量與建造和駕駛五輛汽車在其整個(gè)生命周期中所需的碳排放量一樣多。

我是一名研究和開發(fā)AI模型的研究員，而且我對(duì)AI研究的飛速發(fā)展的能源和財(cái)務(wù)成本非常熟悉。為什么AI模型變得如此耗電，它們與傳統(tǒng)數(shù)據(jù)中心計(jì)算有何不同?

今天的培訓(xùn)效率低下

在數(shù)據(jù)中心完成的傳統(tǒng)數(shù)據(jù)處理工作包括視頻流，電子郵件和社交媒體。AI的計(jì)算強(qiáng)度更高，因?yàn)樗枰x取大量數(shù)據(jù)，直到學(xué)會(huì)理解它為止，即經(jīng)過培訓(xùn)。

與人們的學(xué)習(xí)方式相比，這種培訓(xùn)效率很低?，F(xiàn)代AI使用人工神經(jīng)網(wǎng)絡(luò)，這是模擬人腦神經(jīng)元的數(shù)學(xué)計(jì)算。每個(gè)神經(jīng)元與其鄰居的連接強(qiáng)度是網(wǎng)絡(luò)的一個(gè)參數(shù)，稱為權(quán)重。為了學(xué)習(xí)如何理解語言，網(wǎng)絡(luò)從隨機(jī)權(quán)重開始并進(jìn)行調(diào)整，直到輸出同意正確答案為止。

訓(xùn)練語言網(wǎng)絡(luò)的一種常見方法是，從Wikipedia和新聞媒體等網(wǎng)站向其提供大量文本，并在其中掩蓋一些單詞，并要求其猜測(cè)被掩蓋的單詞。一個(gè)例子是“我的狗很可愛”，而“可愛”一詞被遮蓋了。最初，該模型將它們?nèi)颗e(cuò)了，但是，經(jīng)過多輪調(diào)整之后，連接權(quán)重開始改變并拾取數(shù)據(jù)中的模式。網(wǎng)絡(luò)最終變得準(zhǔn)確。

最近的一個(gè)名為“變壓器雙向編碼器表示(BERT)”的模型使用了英語書籍和維基百科文章中的33億個(gè)單詞。此外，在訓(xùn)練期間BERT讀取此數(shù)據(jù)集的次數(shù)不是一次，而是40次。相比之下，一個(gè)普通的孩子學(xué)習(xí)說話時(shí)到五歲時(shí)可能會(huì)聽到4500萬個(gè)單詞，比BERT少3000倍。