01 行業痛點與挑戰

自動駕駛的研發高度依賴數據，但行業仿真測試主流路線各有短板：

傳統仿真器（如CARLA） 基于游戲引擎思路，場景可控、物體可任意擺放，但畫質不夠真實，仿真數據與真實世界之間存在明顯的“域偏移"——仿真環境里訓練良好的算法，部署到實車上表現常打折扣。同時，構建高精度三維環境也需要大量人工。

神經重建方案（NeRF/3DGS） 能生成照片級逼真的渲染結果，但場景本身是“固化"的——動態物體只能沿原始軌跡運動，插入新物體或改變其軌跡，重建質量明顯下降，難以支持換道超車、突發避讓等場景的仿真測試。

兩種路線各有適用場景，把兩者的優勢結合起來，是一條更務實的路徑。本文圍繞這一思路，介紹混合渲染在實際場景中的應用方式和價值。

02 兩種技術如何“取長補短"

混合渲染的基本思路是：靜態環境用神經重建，動態物體用傳統圖形技術加載。

工作流程可以簡單理解為——先用真實數據把街道場景重建出來，再往里面自由擺放車輛、行人，調整天氣和視角。靜態區域保留神經渲染的照片級畫質，動態物體通過傳統渲染實現靈活操控。

圖1 場景重建完整流水線

流水線依托車載相機圖像、激光雷達點云、車輛里程計、相機內外參四類原始輸入完成前置數據處理，核心包含四大模塊：

動態物體掩碼生成

方案僅重建場景靜態區域，借助 OneFormer 全景分割、光流跟蹤、激光雷達 - 相機 3D 檢測識別行人、車輛等動態目標；融合圖像空間跟蹤與 3D 包圍盒靜止判定結果，生成動態掩碼，后續訓練中屏蔽動態物體，保證靜態場景重建純凈度。

激光雷達深度與強度圖生成

先剔除動態物體對應的激光點云，通過里程計校正拼接得到靜態聚合點云；在 BEV 視角分塊執行泊松重建生成稠密網格，再基于相機標定參數借助 Open3D 渲染出稠密深度圖與激光雷達強度圖，為神經重建提供精準幾何監督，解決路面等弱紋理區域重建失真問題。

相機位姿精準優化

基于改進 COLMAP 迭代三角化與光束平差優化相機內外參，再通過 Kabsch 算法將優化后位姿對齊回原始世界坐標系，消除車載里程計自帶的位姿噪聲，保障大規模場景重建幾何精度。

BEV 分塊并行處理

借鑒 SUDS 聚類思路對場景做重疊分塊：將相機坐標轉至 BEV 空間，通過 K 近鄰聚類劃分區塊，再對聚類做凸包擴展、膨脹處理保證區塊重疊；重疊設計可消除區塊邊界渲染跳變偽影，支持跨區塊渲染插值，適配不規則行車軌跡，同時實現分塊并行訓練，支撐 100000㎡以上超大場景重建。

NeRF2GS 雙階段重建核心算法采用 “NeRF 預訓練 + 3DGS 實時渲染" 兩階段架構，兼顧 NeRF 優秀的視角外推能力與 3D 高斯潑濺實時渲染優勢，解決單一方案缺陷：

階段 1：定制化 NeRF 模型訓練

基于 Nerfstudio 的 Nerfacto 模型改造，多維度增加監督約束： 引入激光雷達深度損失、天空區域密度 L2 正則，抑制路面漂浮偽影； 新增 MLP 網絡預測激光雷達反射強度，搭配交叉熵損失完成 32 類語義分割預測； 使用雙邊引導 ISP 解耦方案消除車載相機自動曝光、白平衡帶來的色彩不一致，輸出無成像干擾的基準場景表征。

階段 2：多約束增強 3D 高斯潑濺訓練

1、以 NeRF 輸出的 RGB、深度、法向、強度、語義圖作為監督與初始化，在 gsplat 后端、AbsGS 細化策略基礎上增加多重正則損失：

yi法向 + 平坦約束損失：規范高斯分布貼合真實路面、建筑平面，大幅提升車道線、標識等細節的全新視角渲染效果；

圖2 OmniRe基線與NeRF2GS結果對比圖

2、激光雷達強度 + 語義損失：將反射強度、6 位二進制語義編碼作為高斯附加特征，實現多模態信息嵌入；

3、天地分層高斯機制：場景拆分為地面高斯、遠距離球面天空高斯，搭配透明度累積損失強制兩層空間分離，消除遠景幾何歧義；

最終得到兼具真實幾何、多模態屬性、實時渲染能力的靜態場景 3DGS 模型，作為混合渲染管線的靜態環境基底。

這套方案同時補上了兩類技術的短板：用神經渲染縮小傳統仿真的“域偏移"，用傳統圖形技術補足神經重建“場景固化"的局限。

03 混合渲染框架三大核心能力

從實際使用角度來看，這套方案主要解決了三個問題：場景夠不夠大、畫質夠不夠好、生成的數據能不能直接用。

一、場景夠大，畫質可靠

通過分塊并行訓練，支持10萬平方米以上的大規模場景重建（約14個標準足球場）。在車道線、路面標識等對自動駕駛至關重要的區域，渲染質量優于現有常用方案。

二、輸出多模態，覆蓋主流傳感器

同時輸出RGB圖像、深度圖、激光雷達點云、表面法向圖、語義分割掩碼，一套流程覆蓋相機、激光雷達等多種傳感器的仿真需求。

圖3 多模態渲染結果（從左到右依次為：RGB 重建圖，深度圖，激光雷達強度圖，法向圖，模型預測語義分割圖）

三、跑得動，數據直接能用

消費級硬件上，相機渲染達到83幀/秒，64線激光雷達仿真達到59幀/秒，可以支撐實時硬件在環測試。

用這套方案生成的數據訓練3D目標檢測模型，近距離檢測精度甚至高于使用原始真實圖片——主要是因為仿真數據標注更干凈、誤檢更少。同時，仿真圖與原始圖的檢測結果高度一致，說明域偏移控制在較小范圍，生成的數據可以直接用于算法訓練，不需要額外做領域自適應。

04 方案落地核心價值

這套方案的核心價值不在于提出全新的技術，而是把已有的技術做了有效整合，解決實際工程問題：

1、對算法工程師：用更低成本拿到大規模、高保真、帶精準標注的訓練數據；

2、對測試驗證團隊：在仿真環境里復現各類場景，提前發現問題；

3、對項目決策者：減少對昂貴路測數據的依賴，加快迭代節奏。

本質上，這是一條讓仿真數據真正可用的落地路徑。

05 總結

仿真環境與真實路況的適配差異，長期阻礙智駕算法迭代與實車部署。混合渲染的思路提供了一種務實的解決方向——用神經重建保留真實感，用傳統圖形技術保留可控性，兼顧實景還原效果與場景靈活可控兩大核心需求，平衡仿真畫質與編輯自由度。

這套方法并不追求一味的技術創新，而是在現有技術基礎上做有效的整合，解決一個實際存在的工程問題。對于算法工程師、測試驗證團隊和項目決策者來說，它的價值是可以直接感知到的：數據質量足夠好、場景足夠靈活、成本足夠可控。

康謀長期關注混合渲染技術的工程化落地。aiSim仿真平臺已融合3D高斯潑濺、NeRF等AI渲染技術，提供物理級高保真且確定性的仿真環境。結合高保真場景生成、物理級傳感模型庫、SDG/場景泛化等能力，康謀提供從場景構建、合成數據生成到硬件在環測試的全流程方案，支撐智駕與機器人技術的落地。