---

??新智元報道??

Scaling law走到盡頭了嗎？

近日，馬庫斯的一句「Is scaling all you need?」引發(fā)了正反兩方的論戰(zhàn)。

馬庫斯表示，距離GPT-4發(fā)布已經(jīng)過去了14.5個月，在那之后，又有大約有500億美元投資在芯片上，但仍然沒有模型能夠真正打敗GPT-4。

It's now 14.5 months post GPT-4, and roughly $50B in chipspost GPT-4, and still nobody has decisively beat it.

Many have converged in roughly the same place.

That's *evidence*. Each day that passes without a further breakthrough is more evidence that it is time to consider alternatives.

業(yè)界和學(xué)界砸了這么多資源在LLM上，但證據(jù)似乎表明，我們已經(jīng)很長時間停滯不前了。

展望未來，模型性能提升所需的算力已經(jīng)很難滿足（遠超摩爾定律），

而又有研究表明LLM性能的線性增長，很可能需要指數(shù)級的數(shù)據(jù)，

——「也許，是時候考慮替代方案了。」

德克薩斯大學(xué)心理學(xué)教授Art Markman表示，「我們已經(jīng)把所有數(shù)據(jù)都榨干了」。

歸根結(jié)底，這與模型的大小無關(guān)，而是與語言統(tǒng)計結(jié)構(gòu)中的信息量有關(guān)。我認為我們已經(jīng)從這些數(shù)據(jù)中榨取了所有可能的東西。除非我們開發(fā)出強大的方法，把LLM鏈接到基于符號知識的模型，否則我們就觸及天花板了。

另有專業(yè)人士認為，問題出在數(shù)學(xué)層面，「我們現(xiàn)在處于一個平臺期，因為大部分數(shù)據(jù)已經(jīng)被消耗掉了，而使用模型自己生成的數(shù)據(jù)會破壞系統(tǒng)」。

「除非再次改變整個結(jié)構(gòu)，否則大多數(shù)人工智能將逐漸消失」。

Scaling is all you need.

對此反方表示，你們太消極了，咱們這不是天天都有進步嗎？

模型越來越小，速度越來越快，并且能保持接近SOTA的性能，——還要啥自行車？

「Llama 3 70B比GPT-4（1.8T參數(shù)）小約25倍，性能相似。GPT-4o的大小可能是GPT-4的一半，但性能優(yōu)于GPT-4，并且包括音頻和圖像生成?！?/span>

還有網(wǎng)友說，你又沒看到在10倍算力和10倍數(shù)據(jù)上訓(xùn)練的模型，怎么能說撞墻了？

我們都知道GPT-3比GPT-2好得多，而GPT-4比GPT-3好得多，——但之后呢？

OpenAI曾用這張圖表來吹捧GPT-4 Turbo在過去一段時間的改進：

確實看上去有一些提升，但問題是，從長期的歷史數(shù)據(jù)來看，進步的比例有多少。

馬庫斯在自己的博客中給出了下面這張圖：

能作為對比的基準測試只找到了MMLU，里面也沒有GPT 3.5，算是管中窺豹吧。

當(dāng)然了，沒有再進步的一個原因可能是觸及基準測試的上限了，畢竟100分很可能只是代表著過擬合。

所以，讓我們來看另一項有趣的測試：來自《紐約時報》的Connections游戲。

聰明的人類可以在任何給定數(shù)據(jù)上獲得90以上的分數(shù)，但目前的模型得分還比較保守，完全不存在摸到天花板的問題。

我們可以看到，在性能獲得巨大飛躍之后，GPT-4系列好像就熄火了。

那堵墻要來了

從另一個角度看，模型的性能似乎也正在收斂。

下圖給出了開源和閉源兩個陣營的戰(zhàn)況：

紅點代表的閉源模型領(lǐng)先于同時期的開源模型，但通過擬合紅綠雙方的數(shù)據(jù)，我們可以發(fā)現(xiàn)，開源和閉源的性能差距在逐漸縮小。

另外，從2022年大模型爆火到今天，LLM仍然會時不時犯一些愚蠢的錯誤，幻覺問題也依然沒有得到解決。

比如已經(jīng)學(xué)會畫圖的ChatGPT，仍然可能不會數(shù)數(shù)：

如果LLM無法解決自身的問題，如果人們對于GenAI的熱情開始減弱，這個領(lǐng)域的市場估值將會暴跌。

當(dāng)然，AI不會消失，LLM也不會消失，而是會成為一種近似的工具占有一席之地，但那個黃金時代再也不會到來了。

但結(jié)果是，他們總共只賺了30億美元，——這樣的買賣顯然做不成。

大多數(shù)公司都在苦苦掙扎，尋找能賺錢的路子，另一方面，迫于經(jīng)濟壓力，很多公司也在裁員或者轉(zhuǎn)型。

最近幾周，Inflection AI基本上關(guān)閉了商店，首席執(zhí)行官和大部分員工已經(jīng)離職加入了微軟；

Character.ai的產(chǎn)品很受歡迎，但報告的年收入僅有不到2000萬美元；

基于LLM的自動駕駛公司Ghost關(guān)閉了商店；

「差點取代了程序員」的AI編碼系統(tǒng)Devin受到嚴重質(zhì)疑；

還有早已不再「stable」的Stability AI，風(fēng)雨中飄搖但身殘志堅，發(fā)不起工資也不耽誤開源，如今四處找錢尋求「賣身」。

除了頭部的OpenAI和Anthropic，大部分AI小廠的日子都不好過，哪怕是曾風(fēng)光一時的獨角獸，沒有靠譜的商業(yè)模式，錢燒完也就完了。

一位AI領(lǐng)域的CEO表示，風(fēng)險投資者也開始變得謹慎了，希望控制成本，希望看到收益。

生成式AI的初創(chuàng)公司目前也傾向于選擇計算需求較小的道路，省錢、省電、省人，趕緊想辦法搞錢，而不是先給英偉達爸爸上貢。

同時，我們也看到了開源模型的崛起，Meta和Mistral等公司為世界提供了更低成本的解決方案，小廠可以在此基礎(chǔ)上前進。

AI產(chǎn)業(yè)的整條鏈路上，最不擔(dān)心的就是老黃了。

老黃表示，聊天機器人正在向多模態(tài)邁進，對于圖片和聲音的處理會消耗掉所有的GPU。

而且有很多GenAI初創(chuàng)公司還拿不到所需的GPU，老黃估計有15,000到20,000個不同領(lǐng)域的公司都需要訓(xùn)練端到端模型。

然而，這些模型的大小以及他們需要的計算能力如何，還是一個問題。

我們通常認為英偉達的最大客戶是那些大型云服務(wù)提供商，但自動駕駛、邊緣計算、機器人等，已經(jīng)成長為一個巨大且重要的市場。

特斯拉有幾百萬輛汽車行駛在世界各地，終端和云端都需要處理大量的數(shù)據(jù)。

馬老板買了35000個GPU，這還只是個開始，未來這個領(lǐng)域的變化會非?？?，會有更多的新動態(tài)，和層出不窮的新技術(shù)。

在這方面，很多公司應(yīng)該向馬老板學(xué)習(xí)，先賺到錢才是王道。