自動駕駛車輛要在復(fù)雜多變的道路環(huán)境中安全行駛，不僅需要“看見”前方的車輛、行人和路面標(biāo)志，還需要“讀懂”交通標(biāo)識上的文字提示、施工告示牌和乘客的語言指令。之前和大家討論過VLA（相關(guān)閱讀：自動駕駛中常提的VLA是個啥？），了解到視覺-語言-動作模型，但在很多場景中，大家還會提到VLM，看起來與VLA非常類似，那VLM又是個啥？與VLA（Vision-Language-Action，視覺-語言-動作）又有什么區(qū)別？

什么是VLM?

VLM即視覺-語言模型（Vision–Language Model），是一類讓計算機“看懂”圖像和“讀懂”文字能力合二為一的人工智能系統(tǒng)，它通過在同一個模型中聯(lián)合處理視覺特征和語言信息，實現(xiàn)對圖片或視頻內(nèi)容的深度理解與自然語言互動。VLM可以抽取圖像中的物體形狀、顏色、位置甚至動作，然后將這些視覺嵌入與文本嵌入在多模態(tài) Transformer 中融合，讓模型學(xué)會把“畫面”映射成語義概念，再通過語言解碼器生成符合人類表達(dá)習(xí)慣的文字描述、回答問題或創(chuàng)作故事。通俗來說，VLM 就像擁有視覺和語言雙重感官的“大腦”，能夠在看到一張照片后，不僅識別出里面的貓狗、車輛或建筑，還能用一句話或一段話把它們生動地說出來，大大提升了 AI 在圖文檢索、輔助寫作、智能客服和機器人導(dǎo)航等場景中的實用價值。

如何讓VLM高效工作？

VLM可以將一幀原始的道路圖像轉(zhuǎn)換為計算機能處理的特征表示。這一過程通常由視覺編碼器完成，主流方案包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）和近年來興起的視覺Transformer（ViT）。它們會對圖像進(jìn)行分層處理，提取出道路紋理、車輛輪廓、行人形狀以及路牌文字等多種視覺特征，并將它們編碼為向量形式。語言編碼器和語言解碼器則負(fù)責(zé)處理自然語言的輸入與輸出，也采用基于Transformer的架構(gòu)，將文字拆分為Token，然后學(xué)習(xí)各個Token之間的語義關(guān)聯(lián)，并能夠根據(jù)給定的向量特征生成連貫的語言描述。

將視覺編碼器得到的圖像特征和語言模塊進(jìn)行對齊是VLM的關(guān)鍵所在。常見的做法是通過跨模態(tài)注意力（cross-attention）機制，讓語言解碼器在生成每個文字Token時，能夠自動關(guān)注到圖像中與該文字最相關(guān)的區(qū)域。比如在識別“前方施工，請減速慢行”這句話時，模型會在圖像中著重關(guān)注黃色施工標(biāo)志、交通錐或挖掘機等顯著區(qū)域，從而保證生成的文字與實際場景高度一致。整個系統(tǒng)可以端到端聯(lián)合訓(xùn)練，也就是說模型的損失函數(shù)會同時考慮視覺特征提取的準(zhǔn)確性和語言生成的流暢性，通過不斷迭代，將兩者的性能共同提升。

為了讓VLM更好地適應(yīng)自動駕駛的特殊場景，訓(xùn)練過程通常分為預(yù)訓(xùn)練和微調(diào)兩個階段。在預(yù)訓(xùn)練階段，會利用海量的網(wǎng)絡(luò)圖文，比如從互聯(lián)網(wǎng)收集的大規(guī)模圖片和對應(yīng)的標(biāo)題、說明文字，讓模型先掌握通用的視覺-語言對應(yīng)關(guān)系。這一階段的目標(biāo)是讓模型具備跨領(lǐng)域的基本能力，能識別多種物體、理解常見場景、生成自然表達(dá)。隨后，進(jìn)入微調(diào)階段，需要采集自動駕駛專屬的數(shù)據(jù)集，這其中包括各種道路類型（城市道路、高速公路、鄉(xiāng)村公路）、多種天氣條件（晴天、雨雪、夜晚）、不同交通設(shè)施（施工區(qū)域、隧道、十字路口）等場景下的圖像，并配以專業(yè)標(biāo)注的文字描述。通過這種有針對性的訓(xùn)練，模型才能在實際行駛中精準(zhǔn)識別交通標(biāo)志上的文字信息，并及時生成符合交通法規(guī)和行駛安全的提示語。

在實際應(yīng)用中，VLM能夠支持多種智能化功能。首先是實時場景提示。當(dāng)車輛行駛在突遇施工、積水、落石等危險區(qū)域時，VLM會識別路面狀況，結(jié)合圖像中出現(xiàn)的施工標(biāo)志、警示牌或水坑輪廓，自動生成“前方道路施工，請?zhí)崆皽p速”或“前方積水較深，請繞行”的自然語言提示，并將該提示通過儀表盤或車載語音播報給駕駛員。其次是交互式語義問答。乘客可通過語音助手詢問“前方哪條車道最快？”、“我還能在下一個路口右轉(zhuǎn)嗎？”等問題，系統(tǒng)會將語音轉(zhuǎn)文字后，結(jié)合當(dāng)前圖像和地圖數(shù)據(jù)，利用VLM回答“從左側(cè)車道行駛可避開前方擁堵，請注意車距”或“前方禁止右轉(zhuǎn)，請繼續(xù)直行”之類的文字回復(fù)。再者，VLM還可對路標(biāo)與路牌文字識別，它不僅對交通標(biāo)志的圖形進(jìn)行分類，還能識別標(biāo)志牌上的文字信息，將“限高3.5米”“禁止掉頭”“施工中”等信息結(jié)構(gòu)化地傳遞給決策模塊。

為了讓VLM在車載環(huán)境中實時運行，通常會采用“邊緣-云協(xié)同”架構(gòu)。在云端完成大規(guī)模預(yù)訓(xùn)練和定期微調(diào)，將性能最優(yōu)的模型權(quán)重通過OTA（Over-The-Air）下發(fā)到車載單元；車載單元部署經(jīng)過剪枝、量化和蒸餾等技術(shù)優(yōu)化后的輕量級推理模型，依托車載GPU或NPU在毫秒級別內(nèi)完成圖像與語言的聯(lián)合推理。對于對時延要求極高的安全提示，優(yōu)先使用本地推理結(jié)果；對于更加復(fù)雜的非安全場景分析，如行程總結(jié)或高級報告，則可異步將數(shù)據(jù)上傳云端進(jìn)行深度處理。

數(shù)據(jù)標(biāo)注與質(zhì)量保障是VLM部署的另一大關(guān)鍵。標(biāo)注團隊需要在不同光照、天氣、道路類型條件下采集多視角、多樣本圖像，并為每張圖像配備詳盡的文字描述。如對一張高速路施工場景的圖像，不僅要框選出施工車輛、路障和交通錐，還要撰寫“前方高速公路正在施工，左側(cè)車道封閉，請向右變道并減速至60公里/小時以內(nèi)”的自然語言說明。為了保證標(biāo)注一致性，通常會進(jìn)行多輪審核和校驗，并引入弱監(jiān)督策略對大量未標(biāo)注圖像生成偽標(biāo)簽，降低人工成本的同時保持?jǐn)?shù)據(jù)多樣性與標(biāo)注質(zhì)量。

安全性與魯棒性是自動駕駛的核心要求。當(dāng)VLM在雨雪、霧霾或復(fù)雜光照條件下出現(xiàn)識別錯誤時，系統(tǒng)必須迅速評估其不確定性，并及時采取冗余措施。常見做法有利用模型集成（Ensemble）或貝葉斯深度學(xué)習(xí)（BayesianDL）計算輸出置信度，當(dāng)置信度低于閾值時，系統(tǒng)退回至傳統(tǒng)多傳感器融合感知結(jié)果，或提示駕駛員手動接管。與此同時，跨模態(tài)注意力的可解釋性工具能夠幫助在事故復(fù)盤時追蹤模型的決策過程，明確模型為何在某一幀圖像中生成特定提示，從而為系統(tǒng)迭代和責(zé)任認(rèn)定提供依據(jù)。

隨著大語言模型（LLM）和大視覺模型（LVM）的持續(xù)發(fā)展，VLM將在多模態(tài)融合、知識更新和人機協(xié)同方面取得更大突破。系統(tǒng)不僅能處理攝像頭圖像，還會整合雷達(dá)、LiDAR和V2X（Vehicle-to-Everything）數(shù)據(jù)，使得對車輛周邊環(huán)境的感知更為全面；同時將實時獲取的交通法規(guī)更新、路政公告和氣象預(yù)報輸入語言模型，為車輛決策和提示提供最新背景知識；在交互方式上，乘客可通過語音、手勢和觸摸屏多模態(tài)聯(lián)合輸入，獲取更加自然、有效的行駛建議。

VLA與VLM有何差別？

VLA與VLM都是大模型的重要技術(shù)，那兩者又有何區(qū)別？VLA和VLM雖然都屬于多模態(tài)大模型體系，但在模型架構(gòu)、目標(biāo)任務(wù)、輸出類型和應(yīng)用場景上其實存在根本差異。VLM主要解決的是圖像與語言之間的關(guān)聯(lián)問題，其核心能力是對圖像進(jìn)行語義理解，并通過語言表達(dá)這種理解，輸出形式通常是自然語言，例如圖像描述、視覺問答、圖文匹配、圖文生成等，代表任務(wù)包括“這張圖里有什么？”“這個圖和這段話是否匹配？”等，廣泛應(yīng)用于AI助手、搜索引擎、內(nèi)容生成和信息提取等領(lǐng)域。

VLA則是VLM的進(jìn)一步擴展，它不僅需要理解圖像中的視覺信息和語言指令，還要將兩者融合后生成可執(zhí)行的動作決策，輸出不再是文本，而是物理控制信號或動作計劃，例如加速、剎車、轉(zhuǎn)彎等。因此，VLA模型不僅承擔(dān)感知和理解任務(wù)，還需要完成行為決策和動作控制，是面向真實世界“感知—認(rèn)知—執(zhí)行”閉環(huán)系統(tǒng)的關(guān)鍵技術(shù)，其典型應(yīng)用包括自動駕駛、機器人導(dǎo)航、智能操作臂等。可以說，VLM是“看懂+說清楚”，而VLA是“看懂+聽懂+做對”，前者更偏向信息理解與表達(dá)，后者則更聚焦智能體的自主行為能力和決策執(zhí)行能力。

最后的話

視覺-語言模型通過將圖像感知與自然語言處理相結(jié)合，為自動駕駛系統(tǒng)提供了更豐富、更靈活的語義層面支持。它不僅能幫助車輛“看懂”復(fù)雜的道路場景，還能用“看得懂”的自然語言與人類駕駛員或乘客進(jìn)行高效交互。盡管在模型體積、實時性、數(shù)據(jù)標(biāo)注與安全保障等方面仍面臨挑戰(zhàn)，但隨著算法優(yōu)化、邊緣計算與車聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，VLM定將成為推動智能駕駛進(jìn)入“感知-理解-決策”一體化時代的關(guān)鍵引擎，為未來出行帶來更高的安全性和舒適性。

-- END --

       原文標(biāo)題 : 自動駕駛中常提的VLM是個啥？與VLA有什么區(qū)別？