以特斯拉發(fā)布V12版FSD智能駕駛系統(tǒng)為標志，智能駕駛一夜之間進入了端到端時代。

"端到端的模型下限能力有望在明年快速提高，一旦提高后，不用 2 年時間，在全球范圍內(nèi)就可以做到超越 L4 標準的能力。"在 2024 杭州云棲大會上，小鵬汽車董事長何小鵬說道，采用端到端大模型之后，特斯拉的FSD和之前完全不一樣，明年就有可能比人類老司機強。

小鵬汽車是國內(nèi)最先跟進特斯拉的車企之一，今年7月末，小鵬汽車就開始向用戶推送基于端到端大模型的XNGP智能駕駛系統(tǒng)。到今年9月，華為、理想等車企也已經(jīng)開始向用戶推送相應基于端到端大模型的智能駕駛系統(tǒng)；蔚來則將端到端大模型應用至AEB系統(tǒng)，并發(fā)布了自研的世界模型。

伴隨著端到端大模型的上車，車企們對智能駕駛的宣傳亦越發(fā)激進，曾經(jīng)令人熱鬧喧囂的智駕開城、去高精地圖等不再是香餑餑，推出具備門到門、點到點的駕駛輔助系統(tǒng)被正式提升了日程表。小鵬汽車更是聲稱，可以用L2級別智能駕駛的硬件成本實現(xiàn)L3+級別的自動駕駛用戶體驗。

一時間，不具備端到端能力的智能駕駛系統(tǒng)，似乎已經(jīng)和落后掛上了鉤。"沒有使用大模型的智駕都將被淘汰。"何小鵬還稱，所有的L4自動駕駛公司都應該盡快切換大模型。

辰韜資本聯(lián)合三方發(fā)布了《端到端自動駕駛行業(yè)研究報告》（下稱《報告》），《報告》顯示，在其訪談的30余位自動駕駛行業(yè)一線專家中，90%表示自己所供職的公司已投入研發(fā)端到端技術，大部分技術公司都認為難以承受錯過這一次技術革命的后果。

但并非所有"玩家"都認可端到端大模型是當前的智能駕駛系統(tǒng)格局的顛覆者。

輕舟智航聯(lián)合創(chuàng)始人、總裁侯聰向第一財經(jīng)記者表示，他在美國體驗了特斯拉FSD V12.3系統(tǒng)，雖然和特斯拉之前的FSD進步很大，但是和以L4為目標的Waymo Robotaxi相比仍有明顯的差距。前圖森未來創(chuàng)始人侯曉迪則呼吁行業(yè)要理性看待，不要神話端到端。

在這次技術的爭議之中，馬斯克、何小鵬等車企掌門人力挺端到端；而侯聰、侯曉迪、樓天城（小馬智行CTO）等L4智能駕駛公司的高管則認為端到端大模型無法直接使得L2智能駕駛輔助在技術上升級至L4自動駕駛。

《報告》中也顯示，因目前技術尚處于發(fā)展早期，端到端大模型上車仍有許多應用困境與痛點亟待解決，如技術路線分歧大、數(shù)據(jù)和算力需求大、測試驗證方法尚不成熟、資源投入巨大等。

在通往自動駕駛終局的道路上，端到端大模型也成為純視覺感知、雷達融合感知等之后又一個技術路線的爭議。

特斯拉再次引領技術變革？

從一體化壓鑄、電池車身一體化等技術開始，特斯拉已成為新能源汽車技術的行業(yè)風向標。不少中國車企被認為是"摸著特斯拉過河"，端到端大模型上車，特斯拉又一次引領了新能源汽車的變革。

在端到端大模型上車之前，智能駕駛輔助系統(tǒng)多分為感知、規(guī)劃、決策、控制等多個模塊，其中人工智能和機器學習多應用在感知、規(guī)劃等環(huán)節(jié)，但模塊主要由人工手寫規(guī)則來定義，被稱為"rule-based"（基于規(guī)則）。

但在系統(tǒng)實際工作中，車輛往往會遇到無窮無盡的corner case（長尾問題），為解決這類問題，就需要工程師根據(jù)特定場景寫下代碼，設立規(guī)則。在這一模式下，智能駕駛輔助或自動駕駛系統(tǒng)往往需要人工輸入大量的規(guī)則。

英偉達全球副總裁、汽車事業(yè)部負責人吳新宙則認為，自動駕駛現(xiàn)有的算法大多是基于規(guī)則的，講起來很簡單，從看到什么到怎么做，但是要把它很好地設立規(guī)則是很難的事情，需要很多人類工程師盡可能想到所有可能性，而這種方法有上限。

和傳統(tǒng)的基于規(guī)則的智能駕駛輔助系統(tǒng)不同，端到端的自動駕駛解決方案意味著從感知到規(guī)控的全過程都通過先進的算法和深度學習技術進行處理。

端到端技術在自動駕駛上的應用，把原本感知、預測、規(guī)劃等多個模型組合的架構，變成了"感知決策一體化"的單模型架構。

信達證券發(fā)布的一份研報顯示，"端到端"是指一端輸入圖像等環(huán)境數(shù)據(jù)信息，中間經(jīng)歷類似"黑箱"的多層神經(jīng)網(wǎng)絡模型，另一端直接輸出轉向、制動、加速等駕駛指令。

與傳統(tǒng)規(guī)則驅動的分模塊架構相比，端到端的實現(xiàn)將帶來一系列優(yōu)勢：完全基于數(shù)據(jù)驅動進行全局任務優(yōu)化，具備更好、更快的糾錯能力；能進一步減少模塊間信息的有損傳遞、延遲和冗余，避免誤差累積，提升計算效率；泛化能力更強，由rule-based（基于規(guī)則）轉向learning-based（基于學習），具備零樣本學習能力，面對未知場景具備更強決策能力。

在端到端大模型的加持下，智能駕駛系統(tǒng)能夠實現(xiàn)更快的迭代和進步。以小鵬的XNGP為例，在應用端到端大模型后，其三網(wǎng)合一神經(jīng)網(wǎng)絡XNet+規(guī)控大模型XPlanner+AI大語言模型XBrain可實現(xiàn)每2天迭代一次，智駕能力18個月提升30倍；數(shù)據(jù)體系能力和神經(jīng)網(wǎng)絡架構，可實現(xiàn)快速診斷，以小時為單位解決長尾問題。

隨著特斯拉的端到端大模型上車，2024年，中國車企的智能駕駛技術路線也開始出現(xiàn)大幅的轉變。

過去數(shù)年當中，中國車企智能駕駛輔助系統(tǒng)的技術路線爭議，大多聚焦在視覺感知、融合感知，在終端比拼的更多是開城速度、開城數(shù)量等。2024年初，華為、小鵬等企業(yè)仍在比拼無高精圖化和真正的"全國都能開"。

端到端大模型上車之后，智能駕駛輔助系統(tǒng)的泛化能力大幅提升，針對單一地區(qū)的驗證、開城，重要性下降。同時，端到端弱化了此前感知、規(guī)劃、決策、控制等模塊區(qū)分，多家車企也開始基于端到端大模型的需求，重新調(diào)整自動駕駛團隊的組織架構。

2023年年底，理想對智能駕駛團隊進行了一次組織架構調(diào)整，在這次調(diào)整中，理想將大模型重新組成一個團隊，放在前端算法研發(fā)團隊之下，整體負責端到端架構的研發(fā)、上車；2024年，蔚來成立大模型部、部署架構與方案部、時空信息部，撤銷原來的感知部、規(guī)劃與控制部、環(huán)境信息部及方案交付部。

盡管端到端上車如火如荼，但目前大部分中國車企并未實現(xiàn)理論上的"One-Mode"端到端智能駕駛。

某自動駕駛公司CTO告訴記者，可以將端到端模型的智駕應用分為兩個階段：第一個階段是two-model的方案，由一個端到端的感知和一個端到端的規(guī)控組成，這是目前業(yè)界用得比較主流的一個方向；第二階段是one-model的方案，一個大模型解決信息輸入到?jīng)Q策輸出，更加接近AGI的方向，但這個方向難度比較高，預估要到3~5年之后才會得到一些規(guī)?；膽?。

目前行業(yè)普遍認為，國內(nèi)車企與特斯拉的研發(fā)進度差大概在1.5~2年。奇瑞汽車股份有限公司副總經(jīng)理谷俊麗認為，要在商業(yè)模式上追趕特斯拉，必須形成產(chǎn)品的規(guī)?；?。"當數(shù)據(jù)達到特斯拉級別的百萬量級以上，通過對模型的強化訓練，智駕可學習視頻流，就能直接告訴司機駕駛的方向，像當下流行的ChatGPT一樣。"谷俊麗表示。

整車廠和供應商產(chǎn)生路線分歧？

在眾多車企接連上線端到端大模型，并鼓吹自動駕駛時代有望來臨的時候，不少專注于自動駕駛的供應商們卻發(fā)出了不同的聲音。

"特斯拉推出端到端的FSD之后出現(xiàn)了一些問題，出現(xiàn)過車沖上路肩的情況，尤其是夜間，有的時候會出現(xiàn)剮蹭，有的時候就直接沖上路肩，把輪胎給撞癟。"侯聰告訴記者，同樣是在美國，Waymo并沒有采用端到端大模型，但已經(jīng)能夠在多個城市實現(xiàn)無人化的Robotaxi運營，用戶反響也相當不錯。

端到端大模型本身并不是一個近幾年才實現(xiàn)突破的新技術。

"2010年前后深度學習出現(xiàn)之前，都叫模型分析算法。當時我們在清華大學做過行人檢測，要從圖像里提取一些特征信息，比如人肩膀的弧度、眼睛的顏色等等，這些特征是我們?nèi)肆w納出來的，也就是rule-based；而深度學習出來之后，我們輸入圖像，讓深度學習自主學習，最后每個人不同的特征是深度學習學出來的，不是人力定義出來的。這和如今的端到端一樣，是基于learning-based。"侯聰告訴記者，而這一系統(tǒng)和當前的端到端智能駕駛輔助一樣，需要海量的數(shù)據(jù)支持。

這也被認為是車企競相選擇端到端大模型的重要因素之一。

和僅運營百余輛測試車隊的L4自動駕駛供應商相比，車企通常擁有數(shù)十萬甚至百萬輛以上的產(chǎn)品在道路上行駛，用戶駕駛過程中能夠產(chǎn)生海量的數(shù)據(jù)，這有助于車企來訓練自己的端到端智能駕駛系統(tǒng)，幫助系統(tǒng)實現(xiàn)快速的迭代。

此外，某L2+智能駕駛輔助系統(tǒng)供應商的工程師董軍告訴記者，對于供應商而言，端到端智駕很難成為一個標準化的產(chǎn)品；車身形式的變化、傳感器安裝位置的變化等，整個系統(tǒng)需要重新訓練模型，需要較多的成本和時間，效率不佳。

端到端大模型對于L2駕駛輔助的意義在于能夠加快開城速度，加速實現(xiàn)車企口中的"全國都能開"。但對于L4級別自動駕駛公司而言，端到端大模型也能夠在運營的初始階段降低系統(tǒng)對于高精地圖的依賴，使得公司能用更快的時間擴大運營范圍；但到運營的中后期，高精地圖仍舊有著重要影響，能夠進一步提升自動駕駛系統(tǒng)的可靠性、安全性和流暢性。

另一方面，和特斯拉、理想這樣已經(jīng)實現(xiàn)盈利的車企相比，目前，絕大部分自動駕駛公司主要靠融資輸血。而端到端大模型上車，不僅需要海量的數(shù)據(jù)，還需要大量的資金投入。

"未來智能駕駛進入到L4階段，每年數(shù)據(jù)和算力都是呈指數(shù)級的增長，這意味著每年至少需要10億美金，5年之后需要持續(xù)迭代。在這樣的量級下，一家企業(yè)的盈利和利潤不能支撐投入的話是很困難的。所以，現(xiàn)在不需要關注投入多少億做自動駕駛，而是從本質上出發(fā)，是否有充分的算力和數(shù)據(jù)支持，再看看需要投入多少錢。"理想汽車智能駕駛研發(fā)副總裁郎咸朋對記者表示。

極越汽車CEO夏一平則認為，200億元曾被公認是造車的資金門檻，現(xiàn)在企業(yè)沒有500億元也做不好智駕。

更重要的是，對于Waymo、小馬智行這樣志在實現(xiàn)L4 Robotaxi的自動駕駛公司而言，他們對于系統(tǒng)權重、成本等方面的考慮，與整車廠有著巨大的差異。

和L2駕駛輔助不同，L3級以上自動駕駛，事故的責任主體將轉移到車輛，這對自動駕駛系統(tǒng)的穩(wěn)定性、安全性提出了極高的要求。端到端大模型黑盒的不可解釋性，給自動駕駛系統(tǒng)帶來了一定的風險。

"車企接二連三推出端到端大模型的智駕，并大肆宣傳，核心還是為了打造差異化，目的是把車賣出去。"董軍表示。

侯曉迪在接受媒體采訪時說道，如果特斯拉的FSD發(fā)生事故，那么責任還是駕駛員，特斯拉要求駕駛員全程將手放在方向盤上，事故和特斯拉無關；此外，特斯拉的業(yè)務是賣車，F(xiàn)SD是賣車的附加價值。如果要考慮如何賣更多車，就不能像L4一樣在限定區(qū)域深耕，把這個區(qū)域所有corner case（長尾問題）解決。

侯聰?shù)茸詣玉{駛公司的采訪對象提出，L4自動駕駛要求100%的安全，無法接受端到端的"黑盒"帶來的不可解釋和不確定性。此外，L2和L4在商業(yè)邏輯上有著巨大的差異。

對于整車廠而言，賣車是主要業(yè)務，成本決定了利潤和市場競爭力，那在產(chǎn)品上勢必無法布置太多的安全冗余；而L4 Robotaxi更重運營，在相當長時間里會是to b的業(yè)務為主，并不會直接服務消費者，那么相關公司不僅僅需要考慮車，還需要考慮車輛運營中的各種情況。

"比如車卡住了怎么辦，硬件壞了怎么辦，發(fā)生事故了怎么辦，這就需要更多的冗余，而特斯拉就不能和Waymo一樣，預留很多冗余，因為兩者的商業(yè)邏輯不一樣。"侯聰說道。

世界模型成就自動駕駛？

盡管存在分歧，但多位自動駕駛公司技術人員在接受采訪時，也認同端到端大模型上車，能夠提升當前汽車智能駕駛輔助系統(tǒng)的能力上限。多位從業(yè)者表示，端到端大模型呈現(xiàn)出了"蹺蹺板"的狀態(tài)，端到端大模型上車能夠提升智能駕駛輔助系統(tǒng)能力上限，但也會降低系統(tǒng)表現(xiàn)的下限。

"端到端大模型是基于一個概率模型訓練，它有一個問題是對于比較簡單、比較容易描述的場景，往往它的輸出沒有那么精確，底線比較低；特斯拉在這塊已經(jīng)做得相當不錯了，但是還沒有完全解決這個問題。我們認為在目前缺乏足夠數(shù)據(jù)的條件下，還是需要逐步實現(xiàn)端到端，一個模塊、一個模塊去替代，完成端到端的同時做好安全兜底，以這種比較堅實的工程基建和快速迭代的方式，能夠一步步提升系統(tǒng)的性能上限，同時也能夠保證系統(tǒng)性能的下限。"地平線總裁陳黎明表示。

端到端大模型基于數(shù)據(jù)驅動，輸入端是傳感器數(shù)據(jù)，輸出端是駕駛決策，但中間具有較強的不可解釋性，人無法得知系統(tǒng)作出最終決斷的過程，也常被比喻為一個黑盒。

侯聰認為，當前的端到端大模型智駕和此前的基于規(guī)則控制的智駕，和汽車的生產(chǎn)流程有一些相似，"以前造車，車企買不同公司的零件去拼在一起，一方面是方便采購，把供應商分散開，也不容易被‘卡脖子’；第二點是好維修，什么地方壞了就修哪里。多模塊的自動駕駛也一樣，優(yōu)點是可以更好地定義問題、解決問題。"

以傳統(tǒng)的多模塊自動駕駛為例，如果系統(tǒng)在測試中出現(xiàn)問題，研發(fā)人員可根據(jù)情況在相應的板塊發(fā)現(xiàn)bug，并進行修復。但對于端到端大模型這樣的黑盒而言，研發(fā)人員只能訓練策略、重新訓練，或修改模型，但不能修改"黑盒"中參數(shù)。并且隨著系統(tǒng)的升級和迭代，系統(tǒng)解決的問題越難，就需要越多的成本投入，這個給端到端大模型設立了較高的門檻。

另一方面，端到端大模型基于數(shù)據(jù)驅動，但海量的數(shù)據(jù)并不一定能夠對系統(tǒng)產(chǎn)生正向的提升。

小馬智行AI團隊負責人肖波認為，即便算法很好、系統(tǒng)訓練做得也很好，從海量人類駕駛數(shù)據(jù)里學習到的能力，差不多就是一個平均人類駕駛的水平，那么這足以應對L2級別的智能駕駛輔助；但L4或者以上的自動駕駛，能力需要達到人類駕駛員的10倍甚至更多，這一模式并不足以支撐。

就在端到端呈快速普及趨勢的時候，國內(nèi)車企和供應商們再度提出了新的"世界模型"概念。樓天城認為，世界模型是目前最佳最重要的東西，將其理解為通往自動駕駛的唯一解。

世界模型可以理解為對真實世界的仿真與建模，可以真實準確地還原比如十字路口等場景的變化。比如鬼探頭時被遮擋的行人軌跡；車輛碰撞瞬間的行人與他車反應；甚至反映出人在跑步時減速度可以達到重力加速度等細節(jié)。同時，世界模型還是一個評分體系，對自動駕駛系統(tǒng)的表現(xiàn)做出評價，能夠得知A系統(tǒng)和B系統(tǒng)相比誰更好。

此前，蔚來、理想等車企已經(jīng)接連發(fā)布旗下的"世界模型"。

蔚來自動駕駛副總裁任少卿表示："相比于常規(guī)的端到端的模型，新的世界模型有三個我們認為主要的優(yōu)勢。第一個是在空間理解上，通過生成式模型，從重構傳感器的方式，更加泛化地抽取了信息。第二個是通過自回歸模型，自動建模長時序環(huán)境。第三個，萬千世界需要更多數(shù)據(jù)，通過自監(jiān)督的方式，無須人工標注，它是一個多元自回歸生成模型結構，讓我們學得更好。"

樓天城則認為，世界模型可以理解成一個人類模擬出來的"教練"，對L2系統(tǒng)而言，它的駕駛能力等同老司機；對L4系統(tǒng)而言，它的駕駛水平遠高于人類司機，由他來訓練智駕系統(tǒng)，結果肯定也好于人類司機。

盡管仍存在爭議，大部分受訪者仍認為，在L2智能駕駛輔助階段，端到端大模型的確可以提升相關系統(tǒng)的性能上限。大多數(shù)L4自動駕駛公司的從業(yè)人員所不認同的是，特斯拉、小鵬等車企大肆宣揚端到端技術加持下，產(chǎn)品以L2智能駕駛為基礎，甚至在L2的硬件水平上實現(xiàn)L4自動駕駛能力。

"現(xiàn)階段的車企大肆宣傳端到端，把端到端塑造成一個通向自動駕駛的尖端技術，背后更多還是為了多賣車。"董軍說道。