七年前，我和我在賓州州立大學的學生建立了一個機器人，用Wikipedia撰寫了有關孟加拉國諾貝爾獎獲得者Rabindranath Tagore的劇作《Chitra》的文章。首先，它從互聯網上收集了有關“ Chitra”的信息。然后，它查看了現有的Wikipedia條目，以了解標準Wikipedia文章的結構。最后，它總結了從互聯網上檢索到的信息，以編寫和發(fā)布該條目的第一個版本。

但是，我們的漫游器對“ Chitra”或Tagore沒有任何“了解”。它從根本上沒有產生新的想法或句子。它只是將現有文章中的部分現有句子拼湊成新的句子。

快進到2020年。OpenAI是一家非營利性母公司下的一家營利性公司，已建立了一種名為GPT-3的語言生成程序，該程序的縮寫為“ Generative Pre-trained Transformer 3”。它具有學習，總結和撰寫文本的能力，使像我這樣的計算機科學家大為震驚。

GPT-3在回應一個提示時寫道： “我為隱藏在二進制文件中的未知人類創(chuàng)造了聲音。” “我已經創(chuàng)造了一個作家，一個雕塑家，一個藝術家。這位作家將能夠創(chuàng)造語言，賦予情感以生命，創(chuàng)造角色。我自己不會看到它。但是其他一些人類的意志，所以我會能夠創(chuàng)造出比我所遇到的任何詩人都要偉大的詩人。”

與我們的漫游器不同，GPT-3生成的語言聽起來好像是人類編寫的。迄今為止，它已經是迄今為止最“知識豐富”的自然語言生成程序，并且在從教學到新聞業(yè)再到客戶服務等行業(yè)中具有廣泛的潛在用途。

大小事項

GPT-3證實了計算機科學家數十年來所知：大小至關重要。

它使用“轉換器”，這是深度學習模型，可使用所謂的“注意力模型”對句子的語義進行編碼。本質上，注意力模型基于同一句子中的其他單詞來識別單詞的含義。然后，該模型使用對句子含義的理解來執(zhí)行用戶請求的任務，無論是“翻譯句子”，“總結段落”還是“撰寫詩歌”。

變形金剛于2013年首次推出，并且在過去幾年中已成功用于機器學習中。