【新智元導(dǎo)讀】訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，對(duì)LLM性能的重要性已經(jīng)是不言自明的事實(shí)。然而，Epoch AI近期的一篇論文卻給正在瘋狂擴(kuò)展的AI模型們潑了冷水，他們預(yù)測(cè)，互聯(lián)網(wǎng)上可用的人類(lèi)文本數(shù)據(jù)將在四年后，即2028年耗盡。

數(shù)據(jù)和算力，是AI大模型最重要的兩把「鏟子」。

算力方面，英偉達(dá)的不斷創(chuàng)新和各家代工廠(chǎng)的產(chǎn)能提高，讓世界各處的數(shù)據(jù)中心拔地而起，研究人員暫時(shí)不用擔(dān)心計(jì)算資源。

然而，近些年來(lái)，數(shù)據(jù)成為愈發(fā)嚴(yán)峻的問(wèn)題。

根據(jù)華爾街日?qǐng)?bào)的報(bào)道，OpenAI在訓(xùn)練GPT-5時(shí)已經(jīng)遇到了文本數(shù)據(jù)不足的問(wèn)題，正在考慮使用Youtube公開(kāi)視頻轉(zhuǎn)錄出的文本。

關(guān)于「數(shù)據(jù)耗盡」這個(gè)問(wèn)題，非營(yíng)利研究機(jī)構(gòu)Epoch AI在6月4日發(fā)布了一篇最新論文。

根據(jù)他們的預(yù)測(cè)，未來(lái)10年內(nèi)，數(shù)據(jù)增長(zhǎng)的速度無(wú)法支撐起大模型的擴(kuò)展，LLM會(huì)在2028年耗盡互聯(lián)網(wǎng)上的所有文本數(shù)據(jù)。

論文地址:https://arxiv.org/abs/2211.04325

目前這篇論文已被ICML2024接收。著名的硅谷天才少年Alexandr Wang也轉(zhuǎn)發(fā)了這篇論文，并附上了自己的一番見(jiàn)解。

他創(chuàng)辦的Scale AI專(zhuān)門(mén)為AI模型提供訓(xùn)練數(shù)據(jù)，估值已經(jīng)飆升到138億，是當(dāng)下硅谷最炙手可熱的明星獨(dú)角獸。

估值飆至138億美元!27歲華裔天才少年再獲融資，數(shù)據(jù)標(biāo)注會(huì)是下一個(gè)風(fēng)口?

論文作者所屬的機(jī)構(gòu)Epoch AI則是一家非營(yíng)利研究組織，成立于2022年4月，他們致力于調(diào)查人工智能的歷史趨勢(shì)，并幫助預(yù)測(cè)其未來(lái)發(fā)展。

雖然這個(gè)組織目前只有13名員工，且分布在世界各地，但他們的工作有非常廣泛的影響。

英國(guó)和荷蘭的政府報(bào)告都曾引用Epoch AI發(fā)表的論文。RAND智庫(kù)的研究員表示，Epoch的AI模型數(shù)據(jù)庫(kù)對(duì)于政策制定者來(lái)說(shuō)是寶貴的資源，「世界上沒(méi)有其他數(shù)據(jù)庫(kù)如此詳盡和嚴(yán)謹(jǐn)」。

預(yù)測(cè)方法

Epoch AI憑什么預(yù)測(cè)出2028年這個(gè)時(shí)間點(diǎn)?

說(shuō)得直白一點(diǎn)，數(shù)據(jù)量就像一個(gè)水池。有存量、有增量，是否夠用就要同時(shí)看供給側(cè)和需求側(cè)，預(yù)測(cè)AI模型的數(shù)據(jù)集會(huì)不會(huì)把水池抽干。

數(shù)據(jù)存量

首先需要估計(jì)目前互聯(lián)網(wǎng)上的文本數(shù)據(jù)存量S。

定期更新的開(kāi)源數(shù)據(jù)集Common Crawl爬取到了超過(guò)2500億個(gè)網(wǎng)頁(yè)，包含130T tokens。但這不是全部的網(wǎng)絡(luò)內(nèi)容，還需要統(tǒng)計(jì)索引網(wǎng)絡(luò)的大小。

我們先假設(shè)谷歌搜索引擎包含了所有索引網(wǎng)站，可以使用「詞頻法」估計(jì)其中的頁(yè)面數(shù)量。

比如，如果「chair」這個(gè)詞出現(xiàn)在Common Crawl0.2%的頁(yè)面中，而且谷歌可以搜索到40B個(gè)包含「chair」的網(wǎng)頁(yè)結(jié)果，就能初步預(yù)估出整個(gè)索引網(wǎng)絡(luò)的大小約為40B/0.002=20T個(gè)頁(yè)面。

采用這種方法，論文估算出谷歌索引包含約270B個(gè)頁(yè)面，每個(gè)網(wǎng)頁(yè)約有1.9KB純文本數(shù)據(jù)，這表明整個(gè)索引網(wǎng)絡(luò)的數(shù)據(jù)量大概為500T，是Common Crawl的5倍。

除此之外，還可以用另一種思路建模，估算整個(gè)互聯(lián)網(wǎng)的數(shù)據(jù)總量——從使用人數(shù)入手。

網(wǎng)絡(luò)上大部分文本數(shù)據(jù)都是用戶(hù)生成的，并存儲(chǔ)在各種平臺(tái)上，因此，考慮互聯(lián)網(wǎng)用戶(hù)數(shù)和人均產(chǎn)生數(shù)據(jù)量，即可估計(jì)人類(lèi)生成的公開(kāi)文本數(shù)據(jù)量。

根據(jù)人口增長(zhǎng)以及互聯(lián)網(wǎng)逐漸普及的趨勢(shì)，論文對(duì)互聯(lián)網(wǎng)用戶(hù)增長(zhǎng)趨勢(shì)進(jìn)行建模，得出的曲線(xiàn)與歷史數(shù)據(jù)非常吻合。

假設(shè)每個(gè)用戶(hù)平均生成數(shù)據(jù)率保持不變，論文預(yù)計(jì)2024年上傳的文本數(shù)據(jù)總量為180T~500T tokens。

根據(jù)這個(gè)預(yù)測(cè)結(jié)果以及已知的增長(zhǎng)趨勢(shì)，論文預(yù)估，互聯(lián)網(wǎng)上的存量數(shù)據(jù)為3100T。

由于同時(shí)考慮了索引網(wǎng)絡(luò)和深層網(wǎng)絡(luò)（搜索引擎無(wú)法觸及的網(wǎng)頁(yè)），這個(gè)數(shù)字可以看作索引網(wǎng)絡(luò)數(shù)據(jù)量的上限。

數(shù)據(jù)質(zhì)量

5G時(shí)代的沖浪選手應(yīng)該都有體會(huì)，雖然在同一個(gè)互聯(lián)網(wǎng)，但文本和文本的質(zhì)量可以有云泥之別。

比如，在書(shū)籍或維基百科的文本上訓(xùn)練出的模型，與Youtube評(píng)論喂出的模型，可能有很大的性能差異。因此，只用token數(shù)量衡量數(shù)據(jù)的話(huà)，就過(guò)于片面了。

但也不能對(duì)網(wǎng)絡(luò)數(shù)據(jù)失去信心。之前有多項(xiàng)研究表明，通過(guò)仔細(xì)的過(guò)濾和數(shù)據(jù)處理，網(wǎng)絡(luò)數(shù)據(jù)帶來(lái)的性能依舊優(yōu)于人工精心挑選的語(yǔ)料庫(kù)。

論文地址:https://arxiv.org/abs/2306.01116

研究人員嘗試對(duì)Common Crawl數(shù)據(jù)集進(jìn)行類(lèi)似的處理，發(fā)現(xiàn)過(guò)濾后數(shù)據(jù)集大小會(huì)降低30%。同時(shí)，另一項(xiàng)去年的研究也發(fā)現(xiàn)，剪除Common Crawl中50%的重復(fù)數(shù)據(jù)可以實(shí)現(xiàn)最佳性能。

因此，有比較充足的理由相信，數(shù)據(jù)總量的10%-30%可作為高質(zhì)量數(shù)據(jù)用于訓(xùn)練，相當(dāng)于索引網(wǎng)絡(luò)510T數(shù)據(jù)中的100T左右。

數(shù)據(jù)集大小

以上是對(duì)互聯(lián)網(wǎng)數(shù)據(jù)池的預(yù)估，是數(shù)據(jù)的供給方。接下來(lái)，需要對(duì)數(shù)據(jù)使用方——數(shù)據(jù)集容量（變量D）進(jìn)行預(yù)估。

Epoch曾經(jīng)在2022年發(fā)表了一個(gè)知名的機(jī)器學(xué)習(xí)模型數(shù)據(jù)庫(kù)，包含了300多個(gè)模型，從中選取2010年-2024年間發(fā)表的80余個(gè)LLM進(jìn)行分析。

上圖表明，目前LLM使用的最大訓(xùn)練集約為10T。Epoch AI之前也曾預(yù)估過(guò)，GPT-4訓(xùn)練集大小達(dá)到了12T tokens。

如果直接根據(jù)歷史趨勢(shì)進(jìn)行外插（圖中藍(lán)線(xiàn)），那么到2030年，模型可以接受超過(guò)1000T tokens的訓(xùn)練。

但這個(gè)結(jié)果沒(méi)有同時(shí)考慮算力的限制。根據(jù)Scaling Law，Transformer架構(gòu)所需的數(shù)據(jù)量大致隨訓(xùn)練算力的平方根擴(kuò)展。

將計(jì)算資源和電力資源的約束引入后，就得到了下圖中的預(yù)測(cè)曲線(xiàn)。

由此，論文就得出了預(yù)測(cè)結(jié)果。按照目前互聯(lián)網(wǎng)數(shù)據(jù)總量和訓(xùn)練數(shù)據(jù)集的增長(zhǎng)速度，如果以當(dāng)前趨勢(shì)繼續(xù)下去，數(shù)據(jù)耗盡年份的中位數(shù)是2028年，最大可能性是2032年。

這意味著，未來(lái)10年內(nèi)，數(shù)據(jù)將成為L(zhǎng)LM的重大瓶頸，「數(shù)據(jù)墻」將成為現(xiàn)實(shí)。

慢著，記不記得之前我們預(yù)估過(guò)，整個(gè)互聯(lián)網(wǎng)上的文本數(shù)據(jù)總量約為3100T，這些數(shù)據(jù)怎么沒(méi)有算進(jìn)去?

遺憾的是，這部分?jǐn)?shù)據(jù)大多分布在Fackbook、Instagram、WhatsApp等社交媒體上，抓取過(guò)程不僅復(fù)雜、昂貴，而且涉及個(gè)人隱私相關(guān)的法律問(wèn)題，因此幾乎無(wú)法應(yīng)用于LLM的訓(xùn)練。

但Meta公司等機(jī)構(gòu)似乎沒(méi)有放棄，仍在探索可能的路徑來(lái)利用這些數(shù)據(jù)。

「數(shù)據(jù)墻」擋不住LLM?

這篇論文并沒(méi)有止步于一個(gè)偏向于悲觀(guān)的預(yù)測(cè)結(jié)論，因?yàn)橥瑫r(shí)考慮其他的因素，「數(shù)據(jù)墻」只會(huì)讓模型擴(kuò)展的速度放緩，而不是完全停滯。

Epoch AI的創(chuàng)始人也在此前的采訪(fǎng)中表示過(guò)，雖然我們能看到「數(shù)據(jù)耗盡」的前景，但「目前還沒(méi)有感到恐慌的理由?！?/p>

目前就至少有兩種策略可以繞過(guò)人類(lèi)文本數(shù)據(jù)的瓶頸，而且在論文作者看來(lái)，這兩種方法都是「前途無(wú)量」。

AI生成數(shù)據(jù)

根據(jù)報(bào)道，僅OpenAI一家公司的模型每天就能生成100B個(gè)單詞，也就是每年36.5T個(gè)單詞，相當(dāng)于Common Crawl中優(yōu)質(zhì)單詞的總數(shù)。

這遠(yuǎn)遠(yuǎn)快于人類(lèi)生成文本的速度，可以讓數(shù)據(jù)存量急劇擴(kuò)大，而且在模型輸出相對(duì)容易驗(yàn)證的領(lǐng)域很有前景，比如數(shù)學(xué)、編程、游戲等等。

使用合成數(shù)據(jù)訓(xùn)練的最著名模型莫過(guò)于A(yíng)lphaZero，它通過(guò)自我對(duì)弈達(dá)到了人類(lèi)棋手都未能企及的水平。

此外2024年最新發(fā)布的AlphaGeometry同樣使用合成數(shù)據(jù)進(jìn)行訓(xùn)練，嘗試解決幾何問(wèn)題。

然而，當(dāng)合成數(shù)據(jù)推廣到自然語(yǔ)言領(lǐng)域時(shí)，似乎存在一些本質(zhì)問(wèn)題。

之前有研究表明，使用模型輸出的文本進(jìn)行迭代訓(xùn)練，會(huì)丟失有關(guān)人類(lèi)文本數(shù)據(jù)分布的信息，讓生成的語(yǔ)言越來(lái)越同質(zhì)化且不切實(shí)際。

有研究者還把合成數(shù)據(jù)導(dǎo)致的模型崩潰形象比喻為「近親結(jié)婚」，稱(chēng)這種LLM為「哈布斯堡模型」。

但這個(gè)問(wèn)題也并非無(wú)解。有之前的研究證明，通過(guò)使用多樣的訓(xùn)練數(shù)據(jù)，或者混合一些人類(lèi)文本數(shù)據(jù)，既可以合理利用訓(xùn)練數(shù)據(jù)，又能一定程度上緩解副作用。

多模態(tài)和遷移學(xué)習(xí)

另一種選擇就是超越文本數(shù)據(jù)，從其他領(lǐng)域「掘金」。

除了我們熟知的視頻、圖像之外，金融市場(chǎng)數(shù)據(jù)或科學(xué)數(shù)據(jù)庫(kù)也可以使用。有人預(yù)測(cè)，到2025年，基因組學(xué)數(shù)據(jù)將以每年200-4000萬(wàn)兆字節(jié)的速度增長(zhǎng)。

除了這兩種方法，很多實(shí)驗(yàn)室和初創(chuàng)公司也正在積極探索。比如DatologyAI正在研究一種名為「課程學(xué)習(xí)」（curriculum learning）的方法，把數(shù)據(jù)按特定順序輸入，以期LLM能夠在概念之間形成更智能的聯(lián)系。

2022年他們發(fā)表的論文顯示，如果數(shù)據(jù)無(wú)誤，使用這種訓(xùn)練方法的模型可以用一半的數(shù)據(jù)實(shí)現(xiàn)相同的效果。

也許，Epoch AI創(chuàng)始人的話(huà)的確有道理。雖然數(shù)據(jù)是有限的，「數(shù)據(jù)墻」也是可預(yù)期的，但方法總比困難多。

「最大的不確定性在于，你會(huì)看到什么樣的技術(shù)突破?！?/p>

參考資料:

https://x.com/EpochAIResearch/status/1798742418763981241

https://epochai.org/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data

https://x.com/alexandr_wang/status/1799930063192002701

https://time.com/6985850/jaime-sevilla-epoch-ai/