2024年年底以來(lái)，圍繞大模型有非常多討論，其中一個(gè)聲音是，技術(shù)上Scalling law（尺度定律）面臨“撞墻”，大模型迭代放緩。另一方面，大模型在落地應(yīng)用上也有諸多掣肘。這些話題也是剛剛過(guò)去的GDC（全球開發(fā)者先鋒大會(huì)）討論的一個(gè)焦點(diǎn)。

“行業(yè)非常關(guān)注產(chǎn)業(yè)落地，但和很多企業(yè)聊的時(shí)候，大家經(jīng)常說(shuō)的是，大模型適合做演示，在真正落地的時(shí)候存在著成本、效率、可靠性、穩(wěn)定性和安全性等很多挑戰(zhàn)。”上海人工智能實(shí)驗(yàn)室主任助理、領(lǐng)軍科學(xué)家喬宇在大會(huì)上表示。

喬宇認(rèn)為，這些討論預(yù)示著，大模型雖然目前已經(jīng)取得一定成果，但還有很多“烏云”。他判斷，從2025年開始，大模型進(jìn)入下一個(gè)階段時(shí)，破解這些瓶頸的關(guān)鍵是創(chuàng)新和應(yīng)用，在這方面DeepSeek帶來(lái)了一些啟發(fā)。

DeepSeek做的是體系化的創(chuàng)新，喬宇提到，“DeepSeek不僅技術(shù)系統(tǒng)做得好，而且將模型的架構(gòu)、訓(xùn)練的方式和訓(xùn)練的框架高速并行，做體系化的優(yōu)化，帶來(lái)了非常大的效率提升與成本降低，語(yǔ)言大模型V3的訓(xùn)練，（成本）相當(dāng)于Llama3的1/10。”

在這一基礎(chǔ)上，喬宇補(bǔ)充表示，在大模型產(chǎn)業(yè)鏈上，DeepSeek所做的也只是中間模型和系統(tǒng)，“如果我們能將芯片、互聯(lián)、框架、數(shù)據(jù)、模型、評(píng)測(cè)、應(yīng)用做更好的體系創(chuàng)新，這里面會(huì)有更大的空間，一方面將模型做得更強(qiáng)，一方面也可以將效率做得更高”。

在接受采訪時(shí)，上海人工智能實(shí)驗(yàn)室青年科學(xué)家何聰輝認(rèn)為，DeepSeek所做的事情一定程度上打開了大模型當(dāng)前的一些瓶頸。“它讓整個(gè)訓(xùn)練成本降下來(lái)了，會(huì)讓更多的研究者能參與進(jìn)來(lái)，另一方面，將強(qiáng)化學(xué)習(xí)直接引入到后訓(xùn)練的這個(gè)階段，也會(huì)促進(jìn)很多科學(xué)方面的探索，且它本身很強(qiáng)的推理模型，也可以作為一個(gè)研究科學(xué)發(fā)現(xiàn)很好的起點(diǎn)。”

此前，數(shù)據(jù)語(yǔ)料的缺乏，被認(rèn)為是Scalling law“撞墻”、迭代放緩的核心原因。“互聯(lián)網(wǎng)上的人類語(yǔ)料是基本原料，已經(jīng)耗盡了，雖然模型變大了，但是輸入沒有變得更多，無(wú)法學(xué)習(xí)新知識(shí)。”一位從業(yè)者對(duì)記者表示。

何聰輝長(zhǎng)期研究大模型的數(shù)據(jù)語(yǔ)料方面，他對(duì)記者表示，“現(xiàn)在說(shuō)的數(shù)據(jù)用完了，更多是說(shuō)已知的一些公開數(shù)據(jù)模型都見過(guò)了，但其實(shí)并沒有充分利用起來(lái)，質(zhì)量還有持續(xù)提升的空間，還沒有到頭。”

何聰輝表示，質(zhì)量的提升能夠讓數(shù)據(jù)的效率更高，模型可能不需要那么多數(shù)據(jù)，這樣會(huì)帶來(lái)進(jìn)一步的計(jì)算成本降低，并進(jìn)一步帶動(dòng)越來(lái)越多人進(jìn)來(lái)優(yōu)化它。

在另一場(chǎng)論壇上，MiniMax副總裁劉華也在演講時(shí)提及大模型“撞墻”這一話題，他更多認(rèn)為，現(xiàn)在的大模型處于快速的發(fā)展階段，原因在于，2024年底Open AI推出了o1，這意味著在推理階段大模型還在“scaling Law”，隨著DeepSeek 1月的開源，大家又更熟悉了什么是強(qiáng)化學(xué)習(xí)。

“這一切的一切都沒有結(jié)束，未來(lái)兩到三年，類似GPT3.5到GPT4這樣的技術(shù)再發(fā)生兩次是高度可預(yù)期的。”劉華的判斷是，未來(lái)兩到三年大模型會(huì)飛快地發(fā)展，技術(shù)上限遠(yuǎn)沒有看到。

對(duì)于未來(lái)，業(yè)界目前相對(duì)較為樂觀。喬宇認(rèn)為，2025年有三方面值得關(guān)注的事情，包括更多的多模態(tài)智能涌現(xiàn)，以及AI助力科學(xué)發(fā)現(xiàn)等。

在過(guò)去一兩年中，多模態(tài)在語(yǔ)言上取得突破之后，對(duì)圖像、視頻、音頻等的多模態(tài)引入，行業(yè)期待非常高，但現(xiàn)在很多的模態(tài)只是在對(duì)齊理解有進(jìn)展，真正像語(yǔ)言一樣的涌現(xiàn)能力，將生成理解相結(jié)合，能夠從多模態(tài)中間發(fā)現(xiàn)知識(shí)的能力還非常有限。喬宇認(rèn)為，2025年這方面或許會(huì)有值得期待的進(jìn)展。

其次，在“AI4S”相關(guān)的科學(xué)智能方面，是未來(lái)人工智能的高價(jià)值區(qū)域，人工智能不應(yīng)該簡(jiǎn)簡(jiǎn)單單陪我們聊聊天、畫畫，更多的是幫人類進(jìn)行知識(shí)發(fā)現(xiàn)。

“我們有了AlphaFold這樣單點(diǎn)的巨大成功，但是人工智能的潛力絕對(duì)不在于專項(xiàng)智能，而是如何能夠?qū)崿F(xiàn)從科學(xué)假設(shè)的提出，到實(shí)驗(yàn)的設(shè)計(jì)，甚至包括實(shí)驗(yàn)的自動(dòng)化完成，以及科學(xué)知識(shí)發(fā)現(xiàn)的全流程。”喬宇提到，期待的是，2025年AI會(huì)不會(huì)在某一個(gè)重要的科學(xué)問(wèn)題突破上體現(xiàn)作用。