一、引 言 

隨著感知、決策和控制各模塊的性能逐步逼近上限，端到端學習（End-to-End Learning）在智能駕駛領域受到越來越多關注。端到端模型通過深度神經(jīng)網(wǎng)絡將原始傳感器輸入直接映射為駕駛控制信號，減少中間模塊誤差傳播的影響，有望簡化系統(tǒng)架構(gòu)、提升整體協(xié)同效率。

然而，現(xiàn)實中端到端方案的實際落地遠未達到預期，訓練穩(wěn)定性差、泛化能力弱、對極端場景響應遲鈍等問題頻現(xiàn)。本文將從訓練數(shù)據(jù)角度出發(fā)，聚焦一個關鍵變量：高質(zhì)量連續(xù)幀數(shù)據(jù)真值，探討它如何成為突破端到端訓練瓶頸的核心資源。

端到端發(fā)展歷程

二、端到端智能駕駛訓練的基本流程

端到端智能駕駛模型的核心思想是打通傳感器輸入與車輛控制之間的映射關系，其訓練流程通常包括以下關鍵步驟：

1. 數(shù)據(jù)采集與預處理：采集車輛在真實或仿真環(huán)境中行駛時的多模態(tài)數(shù)據(jù)，包括RGB圖像、LiDAR點云、IMU信號、CAN控制數(shù)據(jù)、高精地圖等，并對其進行時間同步、數(shù)據(jù)清洗與格式標準化。 

2. 模型設計與訓練：主流端到端模型多基于深度卷積神經(jīng)網(wǎng)絡、Transformer、BEV（Bird's Eye View）表示等結(jié)構(gòu)，分為感知-規(guī)控融合網(wǎng)絡和軌跡回歸網(wǎng)絡兩類，訓練目標為最小化預測控制信號（或目標軌跡）與人類駕駛員實際操作之間的誤差。 

3. 評估與驗證：通過回放或閉環(huán)仿真方式對模型進行評估，主要考察其在不同交通場景下的魯棒性、平滑性、安全性和策略合理性。 

相較于傳統(tǒng)模塊化系統(tǒng)，端到端模型理論上更具整體協(xié)同性，但對數(shù)據(jù)質(zhì)量，尤其是語義一致、時間連續(xù)的訓練樣本提出了更高要求。 

OpenDriveLab發(fā)布UniAD架構(gòu)設計概覽

三、訓練瓶頸解析：為什么端到端模型難以落地？

3.1 場景稀疏與長尾分布問題

端到端模型依賴大量駕駛數(shù)據(jù)學習控制策略，但現(xiàn)實道路中的關鍵決策場景（如非保護左轉(zhuǎn)、臨時施工、突發(fā)加塞等）極為稀缺，屬于典型的長尾分布。模型在訓練階段難以充分暴露于這些罕見場景，導致測試或部署時響應失效。 

即便具備上萬小時的駕駛數(shù)據(jù)，如果缺乏對這些“高風險高復雜度場景”的密集采集和標注，模型學習出的控制策略往往偏向于“溫和保守”，難以在突變交通情境下做出有效響應。此外，傳統(tǒng)采集方式主要依賴自然駕駛過程，未必能高效覆蓋所有corner case場景，進一步放大了模型在長尾問題上的性能劣勢。 

更重要的是，這些場景常常具有復雜的語義關系和多重意圖變化，如施工場地同時伴隨道路收窄、交警指揮、路面反光干擾等，單幀信息難以覆蓋其語義全貌。 

3.2 缺乏時序建模能力

許多端到端方法采用靜態(tài)輸入（如單幀圖像或短時間窗口），忽視了駕駛行為本質(zhì)上是一個強時序相關的連續(xù)決策過程。缺乏時序特征建模，導致模型在需要提前預判的場景中響應遲緩，表現(xiàn)為“控制漂移”、“跟車失穩(wěn)”等問題。 

比如在高速并線場景中，駕駛員通常會通過觀察前后車速和打燈行為提前規(guī)劃動作，而非根據(jù)當前幀立即判斷是否變道。若訓練數(shù)據(jù)無法提供連續(xù)幀的狀態(tài)變化信息，模型將缺乏對“策略演化路徑”的學習，容易陷入只適應靜態(tài)決策的“盲控制”。 

此外，諸如緊急剎車、躲避障礙、連續(xù)交互讓行等行為，本質(zhì)上是一個策略序列，而不是某一幀的孤立響應，必須依靠跨時間建模與行為記憶。 

3.3 控制真值的模糊性與歧義性

相比分類或檢測任務中相對明確的標簽，駕駛控制信號具有明顯的多解性。比如在同一場景中，駕駛員可以選擇輕微減速也可以選擇變道，均為合理行為。這樣的監(jiān)督信號本身就存在歧義，容易造成模型學習方向不確定，訓練過程震蕩。 

此外，不同駕駛員在相同條件下的行為也存在差異，個體風格、安全容忍度、駕駛經(jīng)驗都會導致控制策略的不同，模型學習到的控制行為易出現(xiàn)不穩(wěn)定、多樣性過高的現(xiàn)象，從而影響模型收斂效果與泛化性能。 

控制數(shù)據(jù)還存在“非一致性采集”問題，例如由于采集時GPS漂移或CAN延遲，標簽信號本身存在偏移或波動，進一步加劇了訓練過程中的誤差傳播。 

3.4 數(shù)據(jù)離散性，缺乏連續(xù)監(jiān)督

當前常用的數(shù)據(jù)集如nuScenes、Argoverse、Waymo Motion僅提供稀疏幀標注或短時軌跡片段，缺乏高頻連續(xù)的數(shù)據(jù)段。這種數(shù)據(jù)形態(tài)難以支撐模型學習跨時序的策略演化邏輯，也難以實現(xiàn)真正意義上的“行為模仿”。

例如，車輛在進入環(huán)島前的減速、注視、尋找切入點，再到環(huán)島內(nèi)決策、出環(huán)時加速等，均需多幀狀態(tài)連續(xù)呈現(xiàn)才能完整表達策略過程。離散幀僅能呈現(xiàn)動作結(jié)果，缺乏狀態(tài)演化的上下文，導致模型無法推理“為何做出某動作”。 

某些駕駛行為（如超車）還涉及視覺注意力遷移、信號意圖變化、交互對抗博弈等內(nèi)容，只有連續(xù)幀才能揭示背后的語義軌跡。 

3.5 時序標簽不一致、誤差累積

在模塊化系統(tǒng)中，每一層都可以進行誤差校正。但在端到端體系中，一旦輸入數(shù)據(jù)存在時間對齊誤差或標簽跳變，誤差會在模型中逐層放大并最終導致策略輸出嚴重偏移，尤其是在復雜交通互動場景中更為明顯。 

此外，如果連續(xù)幀間的目標ID、軌跡或意圖標注不一致，會導致模型誤認為是兩個完全不同的事件，進一步削弱其對跨幀語義的建模能力。缺乏穩(wěn)健的多幀時間標注機制，也直接限制了Transformer等長時序建模結(jié)構(gòu)在端到端訓練中的表現(xiàn)。 

目前很多數(shù)據(jù)平臺在生成標注時仍以幀為單位，缺少跨幀實體一致性檢查與插值重建能力，導致同一目標在兩幀中出現(xiàn)“跳幀”、“漂移”甚至“消失”，這在視覺跟蹤、意圖建模上都是嚴重阻礙。 

綜上所述，當前端到端模型雖具備技術吸引力，但在訓練穩(wěn)定性、數(shù)據(jù)需求、行為一致性建模等方面仍存在明顯瓶頸，而這些問題的根源往往可以追溯到“連續(xù)幀真值”的缺失。 

四、連續(xù)幀數(shù)據(jù)真值的價值與作用

在端到端智能駕駛模型的訓練中，數(shù)據(jù)不僅僅是“素材”，更是“監(jiān)督信號”的根基。尤其是具有時序連續(xù)性與真實語義真值（ground truth）的高質(zhì)量數(shù)據(jù)序列，不僅彌補了端到端訓練中的諸多結(jié)構(gòu)性缺陷，更逐步成為系統(tǒng)走向?qū)嵱没�的“第一性資源”。本文將從以下四個維度系統(tǒng)論述其核心價值。 

4.1 驅(qū)動策略演化建模的基礎

智能駕駛并非圖像分類等靜態(tài)任務，它要求模型不僅識別當前狀態(tài)，更要基于過去預測未來、基于變化規(guī)劃行為。因此，“策略的演化軌跡”是理解駕駛行為的關鍵。而這種策略路徑，天然需要通過高時間分辨率的連續(xù)幀數(shù)據(jù)來呈現(xiàn)。 

以左轉(zhuǎn)避讓為例，駕駛員通常會經(jīng)歷“駛?cè)虢徊婵?→ 觀察對向車 → 判斷速度差 → 減速等待/直接穿越”一系列決策階段。若數(shù)據(jù)僅提供轉(zhuǎn)彎瞬間的單幀控制信號，模型將無法理解為何此時選擇“等待”或“轉(zhuǎn)向”，更難學習行為背后的演化邏輯。 

而連續(xù)幀數(shù)據(jù)，配合高質(zhì)量的控制與意圖真值，可以讓模型感知到“從觀察到動作”的全過程，從而建立起策略因果鏈條。這是傳統(tǒng)離散采樣數(shù)據(jù)無法提供的訓練線索。 

更進一步，借助連續(xù)幀，模型可以構(gòu)建跨幀表示，如軌跡微分、速度變化率、注意力轉(zhuǎn)移趨勢等，極大豐富輸入特征空間，為策略預測提供更具表現(xiàn)力的狀態(tài)描述。 

4.2 提升模型穩(wěn)定性與泛化能力

端到端模型最大挑戰(zhàn)之一是其對數(shù)據(jù)波動的敏感性，即“單幀預測誤差”會導致整段控制邏輯偏移。而連續(xù)幀數(shù)據(jù)在訓練中天然具備“冗余約束”效應： 

· 時序一致性：連續(xù)幀之間狀態(tài)平滑，控制信號應逐漸過渡。訓練過程中，模型在擬合軌跡時需同時滿足空間誤差最小與時間連貫性，等于引入一種“隱式正則化”，能有效抑制過擬合與過激預測。 

· 行為約束帶寬：在復雜場景下，連續(xù)幀記錄了同一行為的多個表現(xiàn)階段，構(gòu)成“多視圖監(jiān)督”。這使得模型即使某一幀預測存在偏差，也可通過鄰近幀反饋糾偏，從而在整體上增強魯棒性。 

· 稀缺場景的語義外推：對于長尾決策如“前車緊急掉頭”、“交警指揮變道”，連續(xù)幀能揭示該事件前后的上下文狀態(tài)，有助于模型從相似但非等同場景中遷移策略，從而提升泛化能力。 

以實際工程經(jīng)驗為例，當端到端模型引入連續(xù)幀訓練機制后，其軌跡偏差率在城市環(huán)路中的變化范圍下降約20%-30%，尤其在多車交互、突然減速等非結(jié)構(gòu)化場景中表現(xiàn)更平穩(wěn)。 

4.3 支撐行為意圖與交互建模

連續(xù)幀不僅僅記錄空間狀態(tài)變化，更提供了行為演進與意圖顯現(xiàn)的窗口。在車路交互頻繁的城市交通中，僅通過單幀很難判斷其他交通體的“未來走勢”。而連續(xù)幀軌跡+語義標簽的組合，可構(gòu)建明確的行為意圖監(jiān)督信號，提升模型對交互場景的感知與預測能力。 

例如，在“交匯讓行”情景中：

· 行人連續(xù)幀的移動方向、速度變化可推斷其“是否過街”的意圖；

· 對向車是否減速、變道可預示其“是否避讓”；

· 自車歷史控制軌跡也能影響未來行為預測，如剎車力度持續(xù)變化說明“正在讓行”。 

這些隱性意圖信息，依賴高質(zhì)量連續(xù)幀數(shù)據(jù)才能準確提取與標注。借助多幀的速度、加速度、加加速度（jerk）等物理量可進一步輔助模型判斷“是想停還是正加速”，從而做出更合邏輯的決策。 

一些先進的端到端架構(gòu)甚至將行為意圖作為中間顯式表示（例如 Waymo 的 Multi-Agent Prediction 網(wǎng)絡結(jié)構(gòu)），通過多目標軌跡回歸對交互進行建模，背后均依賴連續(xù)幀的軌跡與ID一致性標簽作為監(jiān)督。 

4.4 滿足長時序神經(jīng)網(wǎng)絡的訓練需求

Transformer等長序列神經(jīng)網(wǎng)絡結(jié)構(gòu)近年來被廣泛引入端到端駕駛學習，嘗試解決傳統(tǒng)CNN架構(gòu)對時序建模能力的不足。但這類模型天然需要大規(guī)�！靶蛄袠颖尽敝С�。 

如以每秒20幀計算，一個10秒行為片段即包含200幀圖像+CAN數(shù)據(jù)+標注，且要求目標ID一致、動作連續(xù)、時間對齊，若缺乏高質(zhì)量連續(xù)幀樣本，將極大制約這類結(jié)構(gòu)的性能發(fā)揮。 

此外，部分模型使用滑窗機制對歷史狀態(tài)進行聚合，需要標注數(shù)據(jù)能保持穩(wěn)定的“因果鏈式輸入”，即“前10幀決定當前動作”，此時一旦中間幀存在遮擋、跳幀、標注丟失等問題，整個訓練段將失效。 

在實際項目中，使用具備4D連續(xù)真值（空間3D+時間連續(xù)）支持的數(shù)據(jù)集，可將Transformer模型的收斂速度提升40%以上，訓練穩(wěn)定性顯著增強。而無此類數(shù)據(jù)的情況下一些長序列結(jié)構(gòu)甚至無法穩(wěn)定訓練。 

4.5 促進閉環(huán)部署與仿真評估

高質(zhì)量連續(xù)幀數(shù)據(jù)不僅用于模型訓練，也為后續(xù)的模型驗證與部署提供堅實支撐。在閉環(huán)部署前，通常需在仿真平臺中對端到端策略進行大規(guī)模行為回放與場景重演驗證，而只有具備時間連續(xù)性的真實行為數(shù)據(jù)，才能有效驅(qū)動仿真系統(tǒng)： 

· 可基于真實軌跡構(gòu)造多車交通情景，復現(xiàn)稀缺互動行為；

· 可模擬模型替代人類駕駛員進行同一路徑重演，對比預測軌跡與真實軌跡之間的偏差，評估模型行為一致性；

· 可通過插值、剪輯等方式構(gòu)建場景變體，對模型策略穩(wěn)定性進行壓測。 

此外，在實際部署過程中，若發(fā)現(xiàn)模型在某類場景下存在“重復性誤判”，可通過連續(xù)幀回放精確定位策略崩潰點，為后續(xù)模型重訓、數(shù)據(jù)補充提供針對性樣本。 

因此，具備高語義、長時序、一致性標簽的連續(xù)幀數(shù)據(jù)，不僅用于前端訓練，更是端到端系統(tǒng)實現(xiàn)閉環(huán)開發(fā)的基礎資源。 

五、行業(yè)代表性實踐與案例分析

在端到端智能駕駛系統(tǒng)的探索過程中，頭部科技公司和造車新勢力已逐步認識到連續(xù)幀數(shù)據(jù)與高質(zhì)量真值標簽在模型訓練中的核心價值。無論是Waymo、Cruise等國際自動駕駛先鋒，還是理想、小鵬、華為、亮道智能等中國智能駕駛主力軍，均在其技術路線或平臺架構(gòu)中，強調(diào)連續(xù)行為數(shù)據(jù)的采集、標注與利用。 

5.1 Waymo、Cruise 等國際領先企業(yè)的應用實踐

Waymo：利用多幀軌跡監(jiān)督訓練長時策略模型

Waymo在其端到端建模中高度重視“駕駛者行為模式”的重建，其Motion數(shù)據(jù)子集中就明確提供連續(xù)時間片段，涵蓋目標ID、速度、加速度、軌跡點等詳細標簽。這使得模型不僅能預測當前位置的控制指令，還能在更長時間窗口內(nèi)回歸未來數(shù)秒的目標行為。Waymo同時還在內(nèi)部實驗中提出“多策略采樣+交互式回放”的數(shù)據(jù)構(gòu)建方法，以增強端到端模型對復雜交通情境中“多種合理解”的學習能力。

Cruise：閉環(huán)回放與重演強化策略一致性

Cruise在訓練其城市端到端決策系統(tǒng)時，強調(diào)用連續(xù)數(shù)據(jù)復現(xiàn)真實駕駛狀態(tài)變化。其獨特的回放+仿真結(jié)合訓練流程中，模型需在“給定過去行為”的前提下預測未來動作路徑。這種設計促使模型從“即時控制”轉(zhuǎn)向“連續(xù)意圖生成”。Cruise還建立專門的軌跡一致性度量指標，評估模型預測結(jié)果與人類駕駛策略在時間維度上的擬合度，進一步驗證了連續(xù)數(shù)據(jù)對策略一致性的重要支撐作用。

5.2 理想、小鵬、華為、亮道智能：國內(nèi)代表性路徑實踐

理想汽車：基于自然駕駛行為段構(gòu)建時序?qū)W習樣本

理想汽車在L2+系統(tǒng)中已部署多套輕量化端到端模型，其數(shù)據(jù)策略以“行為單元”為核心單位。通過對自然駕駛軌跡進行聚類分析與行為識別，提取如“變道插隊”“進出匝道”等行為序列，構(gòu)成完整的時序樣本用于訓練。同時，理想還基于自研的多模態(tài)數(shù)據(jù)管理平臺，實現(xiàn)視頻、點云、軌跡、控制數(shù)據(jù)的全鏈路同步，為端到端策略訓練構(gòu)建了堅實的數(shù)據(jù)基礎。

VLM模型在駕駛過程中，自動標注視頻幀和傳感 器信號以生成軌跡和其他標簽。此外，對視頻幀應用自動描述生成，以生成行為和推理的描述

理想汽車推出ReconDreamer世界模型

理想汽車雙系統(tǒng)架構(gòu)

系統(tǒng)1（端到端）&系統(tǒng)2（VLM）架構(gòu)

小鵬汽車：BEV+Transformer結(jié)構(gòu)融合連續(xù)幀輸入

小鵬在端到端感知-規(guī)控一體化方向的研究中，積極引入BEV表示與時序Transformer結(jié)構(gòu)。其訓練樣本由10-20秒連續(xù)幀構(gòu)成，包含目標跟蹤ID、語義地圖、路徑偏差等多層次真值標注，極大提升了模型在多車交互和密集城市道路場景中的穩(wěn)定性。小鵬內(nèi)部評估數(shù)據(jù)顯示，在引入連續(xù)幀軌跡監(jiān)督后，其軌跡預測偏差下降約27%，同時在“追尾危險”場景中提前干預率提升顯著。

小鵬XNGP模塊化端到端架構(gòu)

主流的端到端架構(gòu)vs小鵬汽車的端到端架構(gòu)

華為智能汽車：構(gòu)建端到端訓練的全流程時序平臺

華為通過其MDC平臺，將數(shù)據(jù)閉環(huán)能力從靜態(tài)采集升級為“行為段級別”的連續(xù)信息提取。其數(shù)據(jù)平臺支持CAN、感知、定位、地圖等多模態(tài)信號的毫秒級時間對齊，并通過規(guī)則引擎自動識別關鍵決策事件，輸出結(jié)構(gòu)化連續(xù)標簽序列。同時，華為在訓練端采用“時間窗滾動預測”機制，使端到端模型能夠自適應地感知過去狀態(tài)變化并動態(tài)調(diào)整策略，顯著提升城市通勤中的跟車舒適性與安全性。

華為智能駕駛ADS版本演進

算法從ADS 2.0升級至ADS 3.0

ADS 3.0采用兩段式端到端架構(gòu)

亮道智能：提供工業(yè)級4D連續(xù)幀數(shù)據(jù)標注解決方案

亮道智能作為領先的自動駕駛數(shù)據(jù)服務平臺，率先在國內(nèi)構(gòu)建了可規(guī)�；�生產(chǎn)“4D真值數(shù)據(jù)”的工業(yè)流程體系。其服務能力主要體現(xiàn)在以下幾個方面： 

· 跨模態(tài)多幀融合標注能力：支持RGB、LiDAR、Radar、IMU等多源數(shù)據(jù)的時間同步、空間對齊和一致性校驗，確保每一幀標注在上下文語義上可閉合。 

· 時序一致性與目標ID跟蹤機制：引入多幀插值、軌跡重建與目標追蹤算法，實現(xiàn)關鍵目標在整個時間段內(nèi)的ID連續(xù)性與行為一致性，滿足Transformer類模型的訓練要求。

亮道智能感知算法訓練數(shù)據(jù)閉環(huán)

六、結(jié)語：從“數(shù)據(jù)可用”走向“語義連續(xù)”

端到端智能駕駛模型的落地之路，歸根結(jié)底是一條對“行為理解”不斷精進的路徑，而非僅靠模型結(jié)構(gòu)堆疊所能解決。正如前文所述，當模型從感知、規(guī)劃、控制一體化地去學習駕駛策略時，其對數(shù)據(jù)的要求不再是“量”與“廣度”優(yōu)先，而是更深層次的“連續(xù)性”、“一致性”與“語義完整性”。 

在這一背景下，連續(xù)幀數(shù)據(jù)的價值不止于簡單的時間序列堆疊，更在于其承載了場景演化的語境邏輯。只有當數(shù)據(jù)能夠真實呈現(xiàn)駕駛行為從觀測、判斷到執(zhí)行的全過程，模型才有可能真正建立起對人類策略意圖的理解能力。 

產(chǎn)業(yè)實踐也正朝著這一方向加速前進：從Waymo的軌跡重演，到小鵬、理想對自然行為段的高保真采樣，再到亮道智能的4D語義標注能力，行業(yè)上下游正逐步形成以“語義行為”為核心的訓練數(shù)據(jù)生態(tài)體系。這不僅讓端到端模型更加穩(wěn)健與可信，也為未來構(gòu)建“有責任邊界”的自動駕駛系統(tǒng)提供基礎支撐。 

因此，與其說“端到端”的挑戰(zhàn)在模型端，不如說它是一場對數(shù)據(jù)體系結(jié)構(gòu)的再定義。當我們真正實現(xiàn)從“幀標簽”到“行為真值”的躍遷，端到端智能駕駛的商業(yè)化與規(guī)�；�落地，才可能從構(gòu)想走向現(xiàn)實。 

Tesla 2021年發(fā)布基于BEV+Transformer的感知算法架構(gòu)

Tesla 2022年引入Occupancy占用網(wǎng)絡

FSD神經(jīng)網(wǎng)絡匯總

       原文標題 : 端到端智能駕駛訓練困局：連續(xù)幀真值數(shù)據(jù)缺失下的 “模型幻覺” 破局之道