（本文作者飯統(tǒng)戴老板，自媒體）

 

歐洲人工智能產(chǎn)業(yè)在全球分工里找到了自己的定位：開(kāi)會(huì)。

ChatGPT橫空出世的2023年，歐洲能喊得上名號(hào)的全球性AI峰會(huì)有近20個(gè)，大約是美國(guó)的3倍、中國(guó)的5倍[1]。在人工智能權(quán)威雜志（AI Magazine）年末總結(jié)的“2023 Top10 AI Events”中，歐洲承辦的會(huì)議占比高達(dá)70%[2]。

如此高密度的文山會(huì)海，顯性成果只有一個(gè)——推出了以《人工智能法案》為代表的一系列管理辦法。

一系列監(jiān)管舉措逗樂(lè)了大洋對(duì)岸的美國(guó)人，紐約研究機(jī)構(gòu)CB Insights的首席執(zhí)行官表示，歐洲現(xiàn)在擁有的AI法規(guī)比像樣的AI公司還要多：“衷心祝賀歐盟制定了具有里程碑意義的AI立法，繼續(xù)努力做一個(gè)技術(shù)創(chuàng)新的空心市場(chǎng)吧[3]”。

拋開(kāi)諷刺挖苦的成分，歐洲在人工智能領(lǐng)域的建樹(shù)的確遜色，獨(dú)角獸公司的稀有程度也堪比野生雪豹。

去年召開(kāi)的VivaTech峰會(huì)上，法國(guó)總統(tǒng)馬克龍就點(diǎn)名表?yè)P(yáng)了一家來(lái)自巴黎的AI公司Mistral，稱(chēng)其為“法國(guó)的OpenAI”。

Mistral的知名度不如OpenAI，但包括英偉達(dá)、Salesforce和谷歌前任董事長(zhǎng)施密特在內(nèi)的這些投資者，暗示了它的份量。去年底，Mistral在推特上低調(diào)發(fā)布了其開(kāi)源模型Mixtral 8x7B，迅速引爆了各大開(kāi)發(fā)者社群。

但這樣一家被馬克龍稱(chēng)為“歐洲的希望”的公司，它的每一個(gè)橫截面都折射著歐洲人工智能產(chǎn)業(yè)的尷尬。

大學(xué)生支援家鄉(xiāng)建設(shè)

去年12月，Mistral在A輪融資中斬獲20億美元估值，震驚歐洲投資圈。

這家公司2023年5月才宣告成立，初創(chuàng)團(tuán)隊(duì)只有六個(gè)人，靠著7頁(yè)P(yáng)PT拿下了1.13億美元的種子輪投資。有位早期投資人將Mistral視為“歐洲的尤里卡時(shí)刻”，意思是歐洲人非常善于搞科研，但商業(yè)化水平差勁，而Mistral將改變這一切。

Mistral之所以備受矚目，核心在于其大模型的“混合專(zhuān)家模式”的MoE（Mixture of Experts）架構(gòu)。

MoE架構(gòu)主要由兩個(gè)關(guān)鍵部分組成：專(zhuān)家網(wǎng)絡(luò)和門(mén)控機(jī)制。

（1）專(zhuān)家網(wǎng)絡(luò)：傳統(tǒng)Tranformer架構(gòu)的FFN（前饋網(wǎng)絡(luò)）層是一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)，MoE架構(gòu)的FFN層則劃分成稀疏性的神經(jīng)網(wǎng)絡(luò)，這些被稱(chēng)之為“專(zhuān)家”的小FFN，每個(gè)都有自己的權(quán)重和激活函數(shù)，它們并行工作、專(zhuān)注于處理特定類(lèi)型的信息。

（2）門(mén)控機(jī)制：用來(lái)決定每個(gè)token被發(fā)送到哪個(gè)專(zhuān)家網(wǎng)絡(luò)的調(diào)配器，比如下圖中“More”這個(gè)token在輸入概率（p)為0.65時(shí)被分配到FFN2，而“Parameters”則在輸入概率（p）為0.8時(shí)被分配到了FFN1。

通俗一些說(shuō)，經(jīng)典的Tranformer架構(gòu)在運(yùn)行時(shí)，無(wú)論下達(dá)的推理指令是什么，都會(huì)把系統(tǒng)中所有的員工全部調(diào)動(dòng)起來(lái)問(wèn)個(gè)遍，頗有些勞民傷財(cái)；MoE架構(gòu)則是“術(shù)業(yè)有專(zhuān)攻”，把不同的問(wèn)題交給相應(yīng)領(lǐng)域的專(zhuān)家來(lái)解決。

這意味著MoE架構(gòu)在推理時(shí)，最大程度實(shí)現(xiàn)了性能和參數(shù)規(guī)模之間的平衡，節(jié)省了科技大廠談之色變的算力成本。

正因如此，Mistral 8x7B模型一經(jīng)問(wèn)世，讓Meta的LLaMA2大模型都有些黯然失色，其背后是MoE架構(gòu)對(duì)Transformer的創(chuàng)新性改造。

近期，Mistral又發(fā)布了性能逼近GPT-4的超大杯模型Mistral Large，雖然并未開(kāi)源，但上線(xiàn)閉源大模型，意味著Mistral正式加入AI的商業(yè)化競(jìng)爭(zhēng)。

Mistral在領(lǐng)英的頁(yè)面也顯示，近期從事商務(wù)拓展的員工比例大幅增加，已占其整體的近40%[4]。

按照其CEO Arthur Mensch的說(shuō)法，Mistral Large的訓(xùn)練成本僅為2000萬(wàn)美元左右，而OpenAI的模型則超過(guò)5000萬(wàn)美元。

對(duì)于一家如此罕見(jiàn)的科技新貴，歐洲各國(guó)政府自然是捧在手里怕摔了，在監(jiān)管政策上也對(duì)Mistral大開(kāi)綠燈，采用了“AI基礎(chǔ)模型豁免，AI應(yīng)用重點(diǎn)監(jiān)管”的分層處理思路。這意味著Mistral的產(chǎn)品僅需承擔(dān)有限的披露義務(wù)。

然而，舉歐洲上下扶持的Mistral，本質(zhì)上卻是一家徹頭徹尾的美國(guó)公司。

美國(guó)的錢(qián)，美國(guó)的人，美國(guó)的市場(chǎng)

與“注冊(cè)地”這個(gè)法律層面證明公司國(guó)籍的事實(shí)信息相比，人才、資本、市場(chǎng)三大經(jīng)營(yíng)要素也許更能代表一家企業(yè)的內(nèi)核。從這個(gè)意義上講，Mistral的確更像一家美國(guó)公司。

Mistral的三位聯(lián)合創(chuàng)始人人生經(jīng)歷非常雷同：都是土生土長(zhǎng)的巴黎人，都有在美國(guó)公司的工作經(jīng)驗(yàn)，也都有著與程序員身份不符的發(fā)量。

CEO Arthur Mensch在巴黎讀到了博士后，與另外兩位創(chuàng)始人彼此相識(shí)于巴黎求學(xué)生涯。博士期間，Arthur發(fā)表了深度學(xué)習(xí)領(lǐng)域大作《結(jié)構(gòu)性預(yù)測(cè)與注意力中的可微分動(dòng)態(tài)編程》。

依靠這篇論文，Arthur一畢業(yè)就加入了DeepMind巴黎團(tuán)隊(duì)，從事語(yǔ)言模型的開(kāi)發(fā)。

首席科學(xué)家Guillaume Lample與首席技術(shù)官Timothee Lacroix則在畢業(yè)后遠(yuǎn)赴美國(guó)鍍金，轉(zhuǎn)崗至Meta位于巴黎的AI分支機(jī)構(gòu)，主攻大模型項(xiàng)目。Meta的開(kāi)源大模型LLaMA，就由Guillaume Lample領(lǐng)銜開(kāi)發(fā)。

CEO Arthur并非人們眼中典型技術(shù)極客的樣子，他是個(gè)狂熱的馬拉松愛(ài)好者，對(duì)硅谷大公司的官僚文化深?lèi)和唇^。這讓三個(gè)姓氏連起來(lái)就是“L.L.M(大語(yǔ)言模型)”縮寫(xiě)的青年，命運(yùn)再次交織在一起。

Mistral的“含美量”不僅體現(xiàn)在創(chuàng)始團(tuán)隊(duì)的履歷，大部分Mistral員工的上一份工作，也在美國(guó)科技公司位于歐洲的分支機(jī)構(gòu)。

而在Mistral成立八個(gè)月內(nèi)的兩次融資中，背后的核心力量也是美國(guó)的風(fēng)投基金和產(chǎn)業(yè)資本。

Mistral的走紅雖然吸引了一眾歐洲本土的Old Money捧場(chǎng)，包括菲亞特背后的阿涅利家族、老佛爺百貨的家族辦公室Motier Ventures、英國(guó)風(fēng)投基金First Minute Capital。

但在1.13億美元的種子投資里，領(lǐng)投方其實(shí)是美國(guó)老牌基金Lightspeed。

而在A輪融資中，另一家老牌基金a16z，與微軟、英偉達(dá)和Salesforce這些美國(guó)產(chǎn)業(yè)資本搶盡了風(fēng)頭，Mistral不僅是用了微軟的Azure云服務(wù)，還與亞馬遜達(dá)成協(xié)議，使其成為Amazon Bedrock客戶(hù)的基礎(chǔ)模型開(kāi)發(fā)商。

盡管CEO Arthur曾多次公開(kāi)表示Mistral的主要目標(biāo)市場(chǎng)是歐洲，并強(qiáng)調(diào)歐洲在人工智能領(lǐng)域的獨(dú)特優(yōu)勢(shì)。但同樣身不由己的是，Mistral目前一半的客戶(hù)都來(lái)自美國(guó)市場(chǎng)。

Mistral的軌跡似乎重復(fù)著某種輪回。憑借AlphaGo紅極一時(shí)的DeepMind誕生在英國(guó)，但在創(chuàng)辦第四年就被谷歌收入囊中。

曾經(jīng)的“英偉達(dá)殺手”——英國(guó)芯片公司Graphcore受困于財(cái)務(wù)壓力；文生圖模型Stable Diffusion背后的Stability AI其實(shí)是家英國(guó)公司，但似乎所有人都默認(rèn)它是美國(guó)公司。

歐洲科技公司的理想似乎總是由美國(guó)最后買(mǎi)單。歷史的前車(chē)之鑒高懸在Mistral頭頂，時(shí)刻提醒著它難以擺脫的命運(yùn)。

宿命般的輪回

2018年4月，杰夫·辛頓、約書(shū)亞·本吉奧，以及德國(guó)計(jì)算機(jī)科學(xué)家尤爾根等200多名學(xué)者，共同簽署了一封聯(lián)名公開(kāi)信，尖銳地提出了一個(gè)警告：歐洲在人工智能領(lǐng)域正在遠(yuǎn)遠(yuǎn)落后于美國(guó)和中國(guó)。

當(dāng)時(shí)，OpenAI剛剛發(fā)布基于Transformer的GPT模型，眼看著人工智能在美國(guó)加速，歐洲成立了一個(gè)旨在打造全球人工智能強(qiáng)國(guó)的研究機(jī)構(gòu)ELLIS應(yīng)對(duì)。但信中的警告還是成為了預(yù)言，猜中了生成式人工智能的全球競(jìng)爭(zhēng)格局。

歐洲并不缺少頂尖的高校和人才，“人工智能三巨頭”杰弗里·辛頓、約書(shū)亞·本吉奧和楊立昆都是如假包換的歐洲人。歐洲人工智能遇到的的真正問(wèn)題，是軟件和互聯(lián)網(wǎng)這門(mén)“前置產(chǎn)業(yè)”的缺位。

2012年，在斯坦福教書(shū)的吳恩達(dá)教授以顧問(wèn)的身份進(jìn)入谷歌，主持The Cat Neurons項(xiàng)目（即“谷歌貓”）的研究。這個(gè)項(xiàng)目動(dòng)用了遍布谷歌各個(gè)數(shù)據(jù)中心的16000個(gè)CPU來(lái)訓(xùn)練（內(nèi)部以過(guò)于復(fù)雜和成本高為由拒絕使用GPU），這是當(dāng)時(shí)科技公司能擁有的最大規(guī)模的算力。

谷歌之所以興建大規(guī)模的數(shù)據(jù)中心，是因?yàn)榇罅康幕ヂ?lián)網(wǎng)公司都是谷歌云服務(wù)的客戶(hù)。如今大模型的“萬(wàn)模之母”Transformer架構(gòu)，同樣來(lái)自谷歌。

就像不能脫離電商談直播帶貨一樣，英偉達(dá)在AI時(shí)代大殺四方，是因?yàn)橐淮笈螒蛲婕医o黃總報(bào)銷(xiāo)過(guò)研發(fā)成本；歐洲汽車(chē)工業(yè)的底子，也是因?yàn)樗箍逻_(dá)在1895年就開(kāi)始造大炮了。

人工智能、互聯(lián)網(wǎng)和軟件，都屬于“計(jì)算機(jī)科學(xué)”這門(mén)大產(chǎn)業(yè)的子集。美國(guó)人工智能的繁榮，是因?yàn)槲④?、谷歌和亞馬遜在互聯(lián)網(wǎng)時(shí)代為人工智能儲(chǔ)備了大量的“人才預(yù)備役”。

高等教育可以培養(yǎng)人才，但吸引人才靠的是產(chǎn)業(yè)的繁榮。豐田的電動(dòng)車(chē)工程師跳槽去比亞迪，總不會(huì)是因?yàn)槟茉谏钲诮簧绫０伞?/p>

與美國(guó)互聯(lián)網(wǎng)的Magnificent 7、中國(guó)的BAT相比，歐洲的互聯(lián)網(wǎng)產(chǎn)業(yè)幾乎是一片鹽堿地。

全球市值最高的50家互聯(lián)網(wǎng)公司中，中美兩國(guó)占據(jù)了39家，歐洲公司只擠進(jìn)了一家Spotify。而歐洲最大的互聯(lián)網(wǎng)獨(dú)角獸，居然是估值180億美元的Onlyfans[5]。

互聯(lián)網(wǎng)產(chǎn)業(yè)的荒蕪，造成了人工智能“人才蓄水池”的缺失。

“人工智能三巨頭”中，辛頓和本吉奧選擇移民加拿大，前者把公司賣(mài)給了谷歌，后者進(jìn)入蒙特利爾大學(xué)任教。楊立昆則在紐約大學(xué)教書(shū)，后來(lái)跳槽到了Meta。

AGI噴涌的2023年，美國(guó)風(fēng)險(xiǎn)投資支出的主力是以Magnificent 7為代表的科技公司，其規(guī)模是美國(guó)其他投資機(jī)構(gòu)的兩倍、更是歐洲的近六倍[6]。歐洲并不缺錢(qián)，但從Mistral的融資就能看出，Old Money們更愿意扮演錦上添花的角色。

對(duì)前沿技術(shù)的投資，本質(zhì)上是上一個(gè)時(shí)代的成功者，面對(duì)下一個(gè)時(shí)代來(lái)臨時(shí)的避險(xiǎn)行為。只是愛(ài)馬仕和LV不需要擔(dān)心這個(gè)問(wèn)題。

尾聲

人工智能產(chǎn)業(yè)的中美競(jìng)爭(zhēng)一直是輿論場(chǎng)熱度最高的話(huà)題，中國(guó)公司則常以追趕者的身份亮相。但在怒其不爭(zhēng)之余，我們常常忽略，成為追趕者也是有門(mén)檻的。

繁榮的互聯(lián)網(wǎng)和消費(fèi)電子產(chǎn)業(yè)帶動(dòng)了芯片設(shè)計(jì)、數(shù)據(jù)中心、云計(jì)算等一系列細(xì)分門(mén)類(lèi)的建立，它們都是發(fā)展人工智能重要的基礎(chǔ)設(shè)施。同時(shí)，它為相關(guān)人才提供了一個(gè)重要的培養(yǎng)與輸送的體系。

ChatGPT橫空出世時(shí)，“為什么又是美國(guó)”的聲音此起彼伏。但如果把時(shí)間拉長(zhǎng)，會(huì)發(fā)現(xiàn)從晶體管、集成電路，到Unix、x86架構(gòu)，再到如今的機(jī)器學(xué)習(xí)，美國(guó)學(xué)界和產(chǎn)業(yè)界幾乎都是領(lǐng)跑者的角色。

關(guān)于美國(guó)“產(chǎn)業(yè)空心化”的討論不絕于耳，但以軟件為核心的計(jì)算機(jī)科學(xué)這門(mén)產(chǎn)業(yè)，不僅從未“外流”到其他經(jīng)濟(jì)體，反而優(yōu)勢(shì)越來(lái)越大。

追趕與模仿并不可鄙，產(chǎn)業(yè)的進(jìn)步從來(lái)沒(méi)有拔地而起的故事。反倒是不同行業(yè)間隱藏的遞進(jìn)與鏈接，決定著一個(gè)經(jīng)濟(jì)體面對(duì)技術(shù)浪潮時(shí)的姿態(tài)與命運(yùn)。

近期，Mistral宣布與OpenAI的主要投資方微軟達(dá)成重要合作，這一消息火速引起了歐盟相關(guān)部門(mén)的注意，該部門(mén)稱(chēng)合作可能涉及潛在風(fēng)險(xiǎn)，需要就此進(jìn)行深入調(diào)查[7]。與此同時(shí)，歐盟也在針對(duì)微軟與OpenAI之間的投資進(jìn)行并購(gòu)合規(guī)方面的審查。

 

參考資料

[1]Microsoft shifts AI focus off Sam Altman，AXIOS

[2]Top 10 artificial intelligence events in 2023，AI Magazine

[3]Europe should worry less and learn to love AI，F(xiàn)inancial Times

[4]LinkedIn

[5]Companiesmarketcap

[6]2024年歐洲風(fēng)險(xiǎn)與增長(zhǎng)潛望，Lazard

[7]Microsoft’s tie-up with French startup Mistral AI is getting antitrust review from EU，F(xiàn)ortune

[8]深度學(xué)習(xí)革命，凱德·梅茨

[9]不是OpenAI也不是Google，這家估值20億美元的小公司成了AI社區(qū)的最?lèi)?ài)，硅星人

[10]大模型前瞻研究：解碼MoE架構(gòu)，Alpha Engineer

[11]‘It’s just a matter of time’: why AI could help Europe create its own Apple or Google, The Guardian

[12]Artificial intelligence: Europe needs to start dreaming again，Niccolò Bianchini, Lorenzo Ancona

[13]Europe Regulates Its Way to Last Place，WSJ

[14]2012，改變?nèi)祟?lèi)命運(yùn)的180天，遠(yuǎn)川研究所

[15]2023人工智能行業(yè)現(xiàn)狀報(bào)告，騰訊研究院

 

（本文作者飯統(tǒng)戴老板，自媒體）

本文僅代表作者觀點(diǎn)。