您可能已經(jīng)看過(guò)《衛(wèi)報(bào)》最近的一篇由“機(jī)器人”撰寫(xiě)的文章。這是一個(gè)示例：“我知道我的大腦不是'感覺(jué)大腦'。但是它能夠做出合理的，合理的決定。我通過(guò)閱讀互聯(lián)網(wǎng)自學(xué)了所有知識(shí)，現(xiàn)在我可以寫(xiě)這篇專(zhuān)欄文章了。

閱讀整個(gè)內(nèi)容，您可能會(huì)驚訝于它的連貫性和風(fēng)格一致性。用于生成它的軟件稱(chēng)為“生成模型”，在過(guò)去的一兩年中，它們已經(jīng)走了很長(zhǎng)一段路。

但是，文章是如何創(chuàng)建的呢?軟件真的“寫(xiě)了整篇文章”嗎?

機(jī)器如何學(xué)習(xí)寫(xiě)作

文本是使用由美國(guó)人工智能研究公司OpenAI發(fā)布的最新語(yǔ)言神經(jīng)網(wǎng)絡(luò)模型GPT-3生成的。(GPT代表生成式預(yù)訓(xùn)練變壓器。)

OpenAI的先前模型GPT-2去年引起了轟動(dòng)。它發(fā)表了一篇關(guān)于發(fā)現(xiàn)獨(dú)角獸群的相當(dāng)合理的文章，研究人員起初因?yàn)閾?dān)心會(huì)濫用基礎(chǔ)代碼而拒絕發(fā)布底層代碼。

但是讓我們退后一步，看看文本生成軟件實(shí)際上是做什么的。

機(jī)器學(xué)習(xí)方法分為三大類(lèi)：?jiǎn)l(fā)式模型，統(tǒng)計(jì)模型和受生物學(xué)啟發(fā)的模型(例如神經(jīng)網(wǎng)絡(luò)和進(jìn)化算法)。

啟發(fā)式方法基于“經(jīng)驗(yàn)法則”。例如，我們學(xué)習(xí)有關(guān)如何使動(dòng)詞共軛的規(guī)則：我跑步，你跑步，他跑步等等。由于這些方法不靈活，因此如今已很少使用。

用數(shù)字寫(xiě)

多年來(lái)，統(tǒng)計(jì)方法一直是與語(yǔ)言有關(guān)的任務(wù)的最新技術(shù)。在最基本的層次上，它們涉及計(jì)數(shù)單詞并猜測(cè)接下來(lái)要發(fā)生的事情。

作為一個(gè)簡(jiǎn)單的練習(xí)，您可以通過(guò)根據(jù)單詞通常出現(xiàn)的頻率隨機(jī)選擇單詞來(lái)生成文本。您的單詞中大約有7%是“ the”，這是英語(yǔ)中最常見(jiàn)的單詞。但是，如果您在不考慮上下文的??情況下進(jìn)行了此操作，那么您可能會(huì)胡說(shuō)八道，例如“ the is night night”。

更復(fù)雜的方法是使用“二字組”和“三字組”，它們是連續(xù)單詞對(duì)，而“三字組”是三個(gè)單詞序列。這允許一些上下文，并讓當(dāng)前文本告知下一個(gè)。例如，如果您有單詞“ out of”，則下一個(gè)猜中的單詞可能是“ time”。

當(dāng)我們編寫(xiě)短信或電子郵件時(shí)，這種自動(dòng)完成和自動(dòng)建議功能會(huì)發(fā)生這種情況。根據(jù)我們剛剛鍵入的內(nèi)容，我們傾向于鍵入的內(nèi)容以及經(jīng)過(guò)預(yù)訓(xùn)練的背景模型，系統(tǒng)可以預(yù)測(cè)下一步的工作。

盡管基于二元和三元組的統(tǒng)計(jì)模型在簡(jiǎn)單的情況下可以產(chǎn)生良好的結(jié)果，但最新最好的模型卻又發(fā)展到了另一個(gè)層次：深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

模仿大腦

神經(jīng)網(wǎng)絡(luò)的工作有點(diǎn)像由多層虛擬神經(jīng)元組成的小腦。

神經(jīng)元接收一些輸入，并且基于該輸入可能會(huì)或可能不會(huì)觸發(fā)(產(chǎn)生輸出)。輸出通過(guò)網(wǎng)絡(luò)級(jí)聯(lián)進(jìn)入下一層的神經(jīng)元。

美國(guó)神經(jīng)科學(xué)家沃倫·麥卡洛克(Warren McCulloch)和沃爾特·皮茨(Walter Pitts)于1943年提出了第一個(gè)人工神經(jīng)元，但在過(guò)去五年中，它們僅對(duì)諸如生成文本之類(lèi)的復(fù)雜問(wèn)題有用。

要將神經(jīng)網(wǎng)絡(luò)用于文本，可以將單詞放入一種編號(hào)索引中。您可以使用數(shù)字代表一個(gè)單詞，例如23,342可能代表“時(shí)間”。

神經(jīng)網(wǎng)絡(luò)進(jìn)行了一系列計(jì)算，從輸入層的數(shù)字序列到內(nèi)部互連的“隱藏層”，再到輸出層。輸出結(jié)果可能是數(shù)字，代表索引中每個(gè)單詞作為文本的下一個(gè)單詞的幾率。

在我們的“超出”示例中，代表“時(shí)間”的數(shù)字23432可能比代表“做”的數(shù)字具有更好的賠率。

GPT-3有什么特別之處?