欧美区国产区日韩区在线观看_最新中文字幕有码在线播放_影音先锋亚洲欧美丝袜_在线免费观看国产视频_高清精品无码少妇_先锋影音中文字幕_飘花电影院午夜伦限_免费99久久国产综合麻豆

最近，一直采用激光雷達和高精地圖實現(xiàn) L4 的自動駕駛公司 Waymo 的一個內(nèi)部研究團隊，發(fā)布了一篇關(guān)于利用端到端多模態(tài)自動駕駛模型實現(xiàn)自動駕駛的新論文。

它采用類似于 ChatGPT 的大語言模型 Gemini LLM 作為算法核心，算法所有的輸入和輸出表示為普通文本，具有非常強大的通用性和泛化性，算法還具有可解釋性。

引起了自動駕駛行業(yè)的轟動。所以，本文將初步總結(jié)和介紹Waymo 的端到端多模態(tài)自動駕駛模型EMMA相關(guān)信息：

目前智能駕駛行業(yè)算法的四種算法方案。

“端到端多模態(tài)自動駕駛模型”（EMMA）是怎么做的？

當前 EMMA 類方案有什么局限性？

對當前智能駕駛乃至汽車行業(yè)產(chǎn)生什么影響？

希望能給大家?guī)�來一些智能駕駛和汽車發(fā)展的信息和思路。

目前智能駕駛行業(yè)算法的四種算法方案：

模塊化自動駕駛算法

模塊化的高階智能駕駛系統(tǒng)采用，感知 、地圖、預(yù)測和規(guī)劃等不同的模塊或者組件來實現(xiàn)。

這種設(shè)計便于單個模塊或組件的調(diào)試和優(yōu)化，但由于模塊間的錯誤積累和模塊間的通信有限，它在可擴展性方面面臨挑戰(zhàn)。特別需要指出的是，這些模塊通常是基于目標場景預(yù)先定義的，所以，這些基于規(guī)則設(shè)計的模塊間接口（例如感知和行為模塊之間的接口）可能難以適應(yīng)新環(huán)境。

這種方案在現(xiàn)在的智能駕駛應(yīng)用，能夠?qū)崿F(xiàn)針對性場景下高性能，高性價比，我們之前文章《被逼墻角的Mobileye，祭出 CAIS 大旗，挑戰(zhàn)端到端大模型智能駕駛》中介紹的Mobileye是這方面的強者代表。端到端自動駕駛算法

特斯拉FSD V12，首先發(fā)起在智能駕駛方面采用端到端的自動駕駛算法，直接從傳感器數(shù)據(jù)學(xué)習(xí)生成駕駛行為。該方法消除了模塊之間信號接口的需求，并允許從原始傳感器輸入聯(lián)合優(yōu)化駕駛目標。這種端到端算法是專門針對駕駛這種特定的任務(wù)，它需要收集大量的道路駕駛數(shù)據(jù)來訓(xùn)練全新的模型。

這也就是當前特斯拉以及國內(nèi)一眾智能駕駛公司的方法，數(shù)據(jù)，算力為王，大家都在賣力重復(fù)造自己的輪子，希望有朝一日自己輪子能夠成為米其林或者馬牌輪胎，獨步天下。但是，長尾理論一直存在，大家一直在 push 尋找這個長尾到底有多長。端到端自動駕駛算法+LVM圖像語言模型。我們之前文章《智能駕駛技術(shù)演進與未來挑戰(zhàn)：從目標物識別到大模型上車》分享了將現(xiàn)有智能駕駛系統(tǒng)的能力與多模特語言模型進行整合和增強的案例，它就是借用大語言模型對世界理解的能力去解讀道路圖片信息來增強端到端算法能力，彌補長尾。

業(yè)內(nèi)理想汽車最新的自動駕駛就是采用此類方案E2E大模型+LVM圖像語言模型。端到端多模態(tài)自動駕駛大模型本文介紹的 Waymo 端到端多模態(tài)自動駕駛模型EMMA是另外一種方法，當然它目前只是學(xué)術(shù)論文，沒有進行工程化。它采用多模態(tài)大型語言模型為自動駕駛中的人工智能提供了一個有前景的新范式，采用專門針對駕駛調(diào)整過的通用基礎(chǔ)大語言模型，作為智能駕駛算法的核心算法或者組件。大語言模型在兩個關(guān)鍵領(lǐng)域表現(xiàn)出色，所以采用它不需要重新訓(xùn)練一個模型：他們是基于人類在互聯(lián)網(wǎng)上積累的文字信息訓(xùn)練而成，所以可以理解為三體中的“智子”他把人類豐富的“世界知識”全部折疊進入它算法內(nèi)，它的知識量遠遠超過我們常見駕駛?cè)罩局兴�包含的�?nèi)容。它們通過鏈式思維推理等技術(shù)展示了卓越的推理能力 ，這些能力在專用駕駛系統(tǒng)中并不具備。

其實目前業(yè)內(nèi)已經(jīng)有兩三家開始靠近這個方案，例如我們之前文章《探秘美國加州自動駕駛路試：豪橫競逐、勤奮探索與技術(shù)挑戰(zhàn)》提到的采用Open AI大模型的 Ghost (今年已經(jīng)倒閉)和 Wayve，但他們應(yīng)該是部分采用這個思維。“端到端多模態(tài)自動駕駛模型”（EMMA）是怎么做的？“端到端多模態(tài)自動駕駛模型”（EMMA）是以谷歌的大語言模型 Gemini 框架為算法核心構(gòu)建。Gemini 是一個基于文本的 LLM，類似于 Open AI的 ChatGPT，它使用大量通用文本語料庫進行訓(xùn)練，從而獲得世界和人類自然語言的知識。同時該算法針對大量有關(guān)道路和駕駛的文本以及許多其他通用知識進行訓(xùn)練和微調(diào)。此外，還添加了基于駕駛視頻的“端到端”訓(xùn)練。EMMA的關(guān)鍵創(chuàng)新在于能夠同時處理視覺輸入（如攝像頭圖像）和非視覺輸入（如基于文本的駕駛指令和歷史上下文）。

通過將駕駛?cè)蝿?wù)重新表述為視覺問答（VQA）問題，這樣，EMMA能夠利用Gemini原有模型中編碼的大量知識，同時賦予其處理各種駕駛?cè)蝿?wù)的能力。以下是論文中討論的幾個關(guān)鍵要素：多模態(tài)輸入：EMMA接受攝像頭圖像（視覺數(shù)據(jù)）以及導(dǎo)航等文本輸入，駕駛指令和歷史上下文，使其能夠理解并應(yīng)對涉及視覺和非視覺信息的復(fù)雜駕駛場景。視覺問答VQA方法：將駕駛?cè)蝿?wù)重新表述為視覺問答問題，允許EMMA在文本指令的上下文中解讀視覺數(shù)據(jù)。這有助于模型更好地理解駕駛中的動態(tài)和多樣化的情況。使用任務(wù)特定提示進行微調(diào)：EMMA通過使用駕駛?cè)罩竞腿蝿?wù)特定的提示進行微調(diào)，從而使其能夠生成各種駕駛輸出，如運動規(guī)劃的未來軌跡、感知目標、道路圖元素和場景語義等。EMMA概述圖：

它的三個輸入：

導(dǎo)航指令，類似于人類使用導(dǎo)航一樣，系統(tǒng)接收來自于導(dǎo)航的high level高層次文本指令，例如前方100m左轉(zhuǎn)，前方路口右轉(zhuǎn)等等類似指令。自車的歷史狀態(tài)，表示為不同時間戳下的鳥瞰視圖（BEV）空間中的一組路標坐標。所有的路標坐標都表示為普通文本，不使用專門的標記。方便擴展為包含更高階的自車狀態(tài)，如速度和加速度。攝像頭視頻感知。通過攝像頭感知三維世界、識別周圍的物體、道路圖以及交通狀況。Waymo 團隊將EMMA構(gòu)建為一個通用模型，能夠通過訓(xùn)練混合處理多個駕駛?cè)蝿?wù)。Waymo 團隊使用視覺-語言框架將所有的輸入和輸出表示為普通文本，從而提供了將許多其他駕駛?cè)蝿?wù)融入系統(tǒng)的靈活性。對原有大語言模型采用指令微調(diào)（instruction-tuning），將感知任務(wù)組織為三個主要類別：空間推理、道路圖估計和場景理解。

空間推理是理解、推理并得出關(guān)于物體及其在空間中的關(guān)系的能力。這使得自動駕駛系統(tǒng)能夠解釋并與其周圍環(huán)境互動，從而實現(xiàn)安全導(dǎo)航。Waymo 團隊巧妙的將空間推理結(jié)果的7維框((x, y, z)是車輛坐標系中的中心位置，l, w, h是邊界框的長、寬和高，θ是航向角)轉(zhuǎn)換為文本表示。道路圖估計側(cè)重于識別關(guān)鍵的道路元素，以確保安全駕駛，包括語義元素（如車道標線、標志）和物理屬性（如車道曲率）。這些道路元素集合構(gòu)成了道路圖。場景理解任務(wù)測試模型對整個場景上下文的理解，這對于駕駛尤為重要。

例如，由于施工、緊急情況或其他事件，道路可能暫時被堵塞。及時檢測這些堵塞并安全繞行對于確保自動駕駛車輛的順暢和安全運行至關(guān)重要；然而，場景中的多個線索必須結(jié)合起來才能確定是否存在堵塞。所有的輸入和輸出都是文本信息，EMMA通過使用駕駛?cè)罩竞腿蝿?wù)特定的提示進行微調(diào)，從而使微調(diào)的 LLM 語言大模型能夠生成各種駕駛輸出運動規(guī)劃和駕駛控制信號。

這樣的算法實現(xiàn)了三個優(yōu)點：自監(jiān)督：唯一需要監(jiān)督的是自車未來的位置，不需要專門的人工標簽。僅使用攝像頭：唯一的傳感器輸入是周圍視角攝像頭。無需高清地圖：除了來自導(dǎo)航系統(tǒng)（如Google Maps類似于我們用的高德和百度地圖）的高層次導(dǎo)航信息外，不需要高清地圖。其實端到端大模型，最大的問題是可解釋性，EMMA引入了鏈式思維提示（Chain-of-Thought Prompting），它可以增強多模態(tài)大型語言模型（MLLMs）的推理能力，并提高其可解釋性。在EMMA中，Waymo團隊通過要求模型在預(yù)測最終的未來軌跡路標Otrajectory 時闡明其決策理由（Orationale），將鏈式思維推理融入端到端規(guī)劃軌跡生成中。Waymo 團隊將駕駛推理結(jié)構(gòu)化為四種粗到細的信息類型：R1 - 場景描述：廣泛描述駕駛場景，包括天氣、時間、交通狀況和道路條件。

例如：“天氣晴朗，白天。道路是四車道的未分隔街道，中間有行人道，街道兩邊停著車。”R2 - 關(guān)鍵物體：指那些可能影響自車駕駛行為的路面上的其他代理物體，我們要求模型識別其精確的3D/BEV坐標。例如：“行人位于[9.01, 3.22]，車輛位于[11.58, 0.35]。”R3 - 關(guān)鍵物體的行為描述：描述已識別關(guān)鍵物體的當前狀態(tài)和意圖。例如：“行人目前站在人行道上，朝向道路，可能準備過馬路。車輛目前在我前方，朝相同方向行駛，未來軌跡表明它將繼續(xù)直行。”R4 - 元駕駛決策：包括12類高層次駕駛決策，總結(jié)基于前述觀察的駕駛計劃。例如：“我應(yīng)該保持當前的低速。”Waymo 團隊強調(diào)，駕駛推理文本是通過自動化工具生成的，而沒有任何額外的人工標簽，從而確保了數(shù)據(jù)生成流程的可擴展性。

當前 EMMA 有什么局限性這么好的東西，那么直接上車了?Waymo 團隊指出其當前模型每次只能處理有限數(shù)量的圖像幀（最多4幀），搞自動駕駛的朋友肯定知道，當前牽扯安全的場景，甚至可能需要更多幀圖片來確定場景。同時這限制了其捕捉駕駛?cè)蝿?wù)所需的長期依賴關(guān)系的能力。有效的自動駕駛不僅需要實時決策，還需要在較長的時間范圍內(nèi)進行推理，能夠預(yù)測并應(yīng)對不斷變化的場景。所以，此類算法還需要解決長時間記憶問題。

另外，目前，哪里有能跑如此多參數(shù)的大模型車載算力芯片，我們之前文章《高通的下一代智能汽車芯片 - 驍龍 Cockpit Elite 和 Ride Elite》介紹過高通下一代智能汽車芯片，最大能跑數(shù)十億個參數(shù)的大型語言模型;最近小鵬AI日表示其新一代Turing芯片也最高可運行300億 參數(shù)大模型，還不知道何時能上車。而現(xiàn)在的大語言模型參數(shù)量都是千億級別。

除此之外，隨著算力的增大，整個計算系統(tǒng)從緩存到帶寬再到熱管理都需要跟上，這都需要當前車載算力平臺能夠跟上。

同時，另外一個要命的問題是實時性，大模型用作ChatGPT對話，或者Midjourny畫圖延遲幾秒完全沒問題，不會影響到生命安全，但是對于汽車來講毫秒必爭，都是事關(guān)安全�？偟膩碇v，當前大語言模型，需要通過蒸餾，來縮小參數(shù)，保證一定的準確性來實現(xiàn)。所以這個方法必須要優(yōu)化模型，或者將其蒸餾成適合實時部署的更緊湊版本，同時確保不犧牲性能和安全。此外，當前這個模型可以直接預(yù)測駕駛信號，而無需依賴中間輸出（如物體檢測或道路圖估計）。這種方法在實時驗證和后期分析時帶來了挑戰(zhàn)。盡管Waymo 團隊已經(jīng)證明，模型可以生成如物體和道路圖預(yù)測這樣的可解釋輸出，并且駕駛決策可以通過思維鏈推理來解釋，但這些輸出與實際駕駛信號之間并不總是能夠完全一致，也就是說這個可解釋性目前有時候也會出錯。

最后，當前的模型主要依賴于預(yù)訓(xùn)練的多模態(tài)大語言模型（MLLMs），這些模型通常不包括LiDAR或雷達輸入，汽車冗余多傳感器方案部署是個大問題。所以此類大模型上車，需要解決工程問題有：強大算力的芯片，支持本地高達百億，千億參數(shù)的LLM大模型。蒸餾優(yōu)化后縮小參數(shù)可以部署上車的大模型，適合實時部署，同時確保不犧牲性能和安全，這個有點和小鵬汽車的云端大模型，車端小模型理論相吻合。

支持長記憶的LLM大模型，并降低延遲。泛化并融合好例如激光雷達和雷達。

解決好此類的工程問題，才為上車工程化鋪好了路。對當前智能駕駛乃至汽車行業(yè)產(chǎn)生什么影響？首先，Waymo 發(fā)布的端到端多模態(tài)自動駕駛模型 EMMA 給智能駕駛時代又添加了一顆定心丸，當前基于AI的人工智能，端到端方案理論上能夠?qū)崿F(xiàn)自動駕駛，接下來就是工程化落地。它一定能夠幫助人類實現(xiàn)自動駕駛，而且還不會太遠。另外，通用人工智能會成為智能駕駛的發(fā)動機，智能汽車的劃分，可以通過模型參數(shù)和算力來實現(xiàn)能力的分級，猶如燃油車時代，發(fā)動機排量決定車輛的等級和性能。那么對于車企來講，如果需要贏的智能汽車時代，可能需要擴大自己的野心，做一個足夠大的集團覆蓋汽車，機器人等人工智能落地的制造機器集團�？赡鼙仨氁�自研通用人工智能并利用 AI 賦能整個汽車和機器項目，提高汽車機器制造業(yè)的附加值。抑或采用通用人工智能打造差異化產(chǎn)品實現(xiàn)競爭。最終或許通用人工智能接管人類的重復(fù)性的腦力勞動，猶如現(xiàn)在機械取代人類的體力勞動。

*未經(jīng)準許嚴禁轉(zhuǎn)載和摘錄-參考資料：

EMMA: End-to-End Multimodal Modelfor Autonomous Driving - waymo

Could Foundation Models really resolveEnd-to-end Autonomy?Hongyang Li

The Next Frontier in Embodied AI:Autonomous DrivingCUED Guest Lecture – 25 April 2024

introduce autonomous vehicles - 英偉達

GAIA-1: A Generative World Model for Autonomous Driving - wayve

       原文標題 : 采用 ChatGPT 類似大模型作為自動駕駛算法核心的 - Waymo 的端到端多模態(tài)算法 EMMA