每天，甚至可能沒有意識(shí)到，我們大多數(shù)人都與稱為深度學(xué)習(xí)的高級(jí)AI方法保持密切聯(lián)系。每當(dāng)我們使用Siri或Alexa，Netflix根據(jù)我們的觀看歷史記錄推薦電影和電視節(jié)目，或與網(wǎng)站的客戶服務(wù)聊天機(jī)器人進(jìn)行通信時(shí)，深度學(xué)習(xí)算法都會(huì)攪動(dòng)。

然而，這種迅速發(fā)展的技術(shù)原本可以作為抵御氣候變化的有效武器，但它卻有很多人不知道的缺點(diǎn)-高能耗。如果行業(yè)趨勢(shì)繼續(xù)下去，人工智能，尤其是深度學(xué)習(xí)的子領(lǐng)域，可能會(huì)成為重要的氣候罪魁禍?zhǔn)?。?012年到2018年的短短六年間，深度學(xué)習(xí)所需的計(jì)算能力增長(zhǎng)了300,000%。然而，盡管有大量研究清楚地表明了這一日益嚴(yán)重的問題，但與開發(fā)算法相關(guān)的能耗和碳足跡卻很少被測(cè)量。

為了解決這個(gè)問題，哥本哈根大學(xué)計(jì)算機(jī)科學(xué)系的兩名學(xué)生Lasse F. Wolff Anthony和Benjamin Kanding與助理教授Raghavendra Selvan一起開發(fā)了一個(gè)名為Carbontracker的軟件程序。該程序可以計(jì)算和預(yù)測(cè)訓(xùn)練深度學(xué)習(xí)模型的能耗和CO 2排放量。

“該領(lǐng)域的發(fā)展正在迅速地瘋狂發(fā)展，深度學(xué)習(xí)模型正在不斷擴(kuò)大規(guī)模并變得更加先進(jìn)?，F(xiàn)在，它呈指數(shù)級(jí)增長(zhǎng)。這意味著能源消耗的增加，大多數(shù)人似乎都沒有想到。”拉瑟·F·沃爾夫·安東尼。

一次培訓(xùn)= 126個(gè)丹麥家庭的年度能源消耗

深度學(xué)習(xí)訓(xùn)練是數(shù)學(xué)模型學(xué)習(xí)識(shí)別大型數(shù)據(jù)集中的模式的過程。這是一個(gè)耗能的過程，需要一天24小時(shí)不間斷運(yùn)行在專用的，耗電的硬件上。

本杰明·坎丁說：“隨著數(shù)據(jù)集一天一天地增長(zhǎng)，算法需要解決的問題變得越來(lái)越復(fù)雜。”

迄今為止開發(fā)的最大的深度學(xué)習(xí)模型之一是稱為GPT-3的高級(jí)語(yǔ)言模型。在一次培訓(xùn)中，估計(jì)將使用相當(dāng)于126個(gè)丹麥家庭一年的能源消耗，并排放與700,000公里行駛相同的CO 2量。

Lasse F. Wolff Anthony說：“幾年之內(nèi)，可能會(huì)有幾倍大得多的模型。”

有待改進(jìn)

“如果趨勢(shì)繼續(xù)下去，人工智能最終可能會(huì)成為氣候變化的重要因素。阻礙技術(shù)發(fā)展不是關(guān)鍵所在。這些發(fā)展為幫助我們的氣候提供了絕佳的機(jī)會(huì)。相反，它是要意識(shí)到這一問題。思考：我們將如何改善?” 本杰明·康定(Benjamin Kanding)解釋說。

Carbontracker是一個(gè)免費(fèi)程序，其思想是為該領(lǐng)域提供減少模型對(duì)氣候影響的基礎(chǔ)。除其他事項(xiàng)外，該程序收集有關(guān)在進(jìn)行深度學(xué)習(xí)培訓(xùn)的任何區(qū)域中使用多少CO 2產(chǎn)生能量的信息。這樣做可以將能耗轉(zhuǎn)換為CO 2排放預(yù)測(cè)。

在他們的建議中，兩位計(jì)算機(jī)科學(xué)專業(yè)的學(xué)生建議深度學(xué)習(xí)的從業(yè)者著眼于何時(shí)進(jìn)行他們的模型訓(xùn)練，因?yàn)?4小時(shí)內(nèi)電源不是同樣的綠色，以及他們部署的硬件和算法的類型。

“可以大大減少氣候影響。例如，選擇在愛沙尼亞或瑞典進(jìn)行模型培訓(xùn)非常重要，這要?dú)w功于綠色能源供應(yīng)，模型培訓(xùn)的碳足跡可以減少60倍以上。算法的能效也有很大差異。某些算法需要更少的計(jì)算，因此也就需要更少的能量來(lái)達(dá)到相似的結(jié)果。如果人們可以調(diào)整這些類型的參數(shù)，則情況可能會(huì)發(fā)生很大的變化。” Lasse F. Wolff Anthony總結(jié)道。