18884710760
技術文章
摘要：
有了可攜帶LiDAR強度的3DGS，為何仍需OpenMATERIAL標準化材質體系？
本文明確兩者層級差異與核心定位，拆解OpenMATERIAL標準與aiSimArcher實踐，梳理融合路徑，厘清3DGS能力邊界與仿真技術發展方向。
關鍵詞：3DGS、仿真、LIDAR、場景重建、渲染、汽車、OpenMATERIAL
3DGS（3D Gaussian Splatting）的出現重塑了場景重建工作流，通過采集的相機與 LiDAR 數據，可直接重建出視覺質量接近手工建模的高保真場景，無需美術師逐資產打磨材質貼圖。
康謀世界提取工具鏈在此基礎上更進一步：通過 NeRF 教師 + 3DGS 學生的兩階段訓練，每個 Gaussian 不僅攜帶顏色，還承載 LiDAR 強度特征和語義標簽，可同時驅動相機仿真（光柵化后端）和 LiDAR 仿真（光線追蹤后端），支持 ≥100,000 m2 的大規模場景重建。
由此引出核心疑問：在已有能攜帶 LiDAR 強度的 3DGS 之后，是否還需要為每個資產單獨維護 3D 資產或 .xoma 文件？
本文核心結論先行：兩者不在同一層級，并非替代關系。3DGS 解決的是“如何高效表示和渲染場景"，而 OpenMATERIAL 解決的是“如何標準化描述物理材質屬性"。具體分析見下文：
glTF、FBX、USD 在視覺渲染方面已經成熟，但它們描述的只是視覺材質：顏色、法線貼圖、粗糙度貼圖。這些參數對渲染引擎足夠，對傳感器仿真則不夠。
具體后果：
LiDAR 仿真：濕瀝青與干混凝土的 LiDAR 回波強度有顯著差異（表面粗糙度、水膜光學性質不同），傳統格式無法描述這種差異；
毫米波雷達仿真：金屬與塑料的雷達截面積（RCS）差別可達 10–20 dB，但 glTF 材質的 metallic 參數針對光學渲染設計，無法映射為電磁仿真所需的介電常數。
這是傳統格式的結構性缺失，不是工程實現問題。
模型組成
ASAM OpenMATERIAL 3D 1.0.0 標準（2025 年 4 月 3 日發布，52 名參與者，21 家公司，9 個國家）按傳感器類型組織參數：
相機仿真：波長相關復折射率查找表（n'、κ）、BRDF 查找表（.xompt 格式，角度 × 波長二維插值）
夜晚效果下aiSim渲染效果
LiDAR 仿真：BRDF 查找表、表面粗糙度 RMS（surfaceHeightRms，單位米）、相關長度（surfaceCorrelationLength）
毫米波雷達仿真：復相對介電常數 ε?、復相對磁導率 μ?（均為波長 + 溫度 + 濕度相關查找表）
其中，電磁參數是 3DGS 無法提供的。從光學圖像中無法估計電磁屬性，這是物理上的根本限制，不是算法優化問題。
文件層級如下：
.xoma（資產入口，含 UUID、版本、版權） └── .xomm（材料映射，RGB 值 → 材料名稱） └── .xomp（材料屬性，含粗糙度、密度、發射率等） ├── *_optical.xompt（光學屬性：n', κ） ├── *_emp.xompt（電磁屬性：ε?、μ?） └── *_brdf.xompt（BRDF 查找表）
PBR材質
aiSimArcher 是 aiSim 對 OpenMATERIAL 1.0.0 標準的參考實現，采用 MPL-2.0 許可證，其核心價值在于提供了攜帶完整物理描述的標準化資產：
aiSimArcher 模型
幾何參數：147,586 三角形，101 個網格，188 個節點；
材質體系：11 種 PBR 材質（CarPaint、Glass、Rubber 等，含法線貼圖）；
.xoma 元數據：包含車輛動力學參數（最高速 70 km/h、加速度 12 m/s2）、前后軸參數（輪徑 0.759 m、軌距 1.64 m）及包圍盒信息。
該模型的優勢在于，同一個 .xoma 文件可同時驅動相機、LiDAR、雷達三種仿真，無需在不同工具間重新定義材質。
ISO 21448（SOTIF）、UNECE NATM 和 EU AI Act 對仿真可信度有明確要求：虛擬測試場景需要可追溯的物理依據。OpenMATERIAL 的每個 .xoma 文件包含 UUID、數據來源字段和版本控制，支持監管機構要求的證據鏈追溯。
這是神經網絡表示方法結構上無法滿足的——隱式權重無法向審查方提供"該漆面 IOR=1.52，來源于 2024 年實驗室測量"這樣的可驗證聲明。
康謀世界提取工具鏈采用兩階段訓練模式：NeRF 教師模型輸入 RGB、LiDAR 深度圖、LiDAR 強度圖和語義分割，經 L2 損失監督后輸出稠密點云；3DGS 學生模型用該點云初始化，每個 Gaussian 攜帶顏色（3 階球諧函數 SH）、深度/法線、LiDAR 強度（sigmoid 歸一化標量）和語義標簽。
兩階段訓練流程圖
工具鏈配備雙渲染后端：光柵化后端用于相機仿真，光線追蹤后端支持 LiDAR 掃描模式仿真，通過 BEV 分塊訓練消除大場景邊界偽影，可支持 ≥100,000 m2 的場景規模。
分塊訓練
標準 3DGS 使用 3 階球諧函數表示每個 Gaussian 的視角相關顏色：
$$c(\mathbf) = \sum_^ \sum_^ c_ Y_(\mathbf)$$
每個 Gaussian 有 48 個 SH 系數（16 系數/通道 × 3 通道）。3 階 SH 是方向輻射的低通濾波器，各階對應從各向同性基礎顏色（0 階）到較高頻高光（3 階）的外觀描述。
需要注意的一個關鍵是，SH 系數無法被解碼為 IOR、粗糙度、金屬度等物理參數，它將光照與材質混合烘焙（baked），兩者無法分離。這并非工程限制，而是數學層面的根本局限——SH 的優化目標是最小化渲染誤差，而非擴大物理可解釋性。
3DGS與OpenMATERAIL對比
維度 | 3DGS（SH 系數） | OpenMATERIAL |
|---|---|---|
表示本質 | 外觀（appearance） | 物理參數 |
光照處理 | 烘焙進系數，無法分離 | 顯式分離 |
電磁參數 | 無法提供 | ε?、μ? 查找表 |
跨工具共享 | 無標準格式 | 統一 .xoma/.xomm/.xomp |
認證可審計 | 隱式權重 | 顯式物理參數 |
目前康謀工具鏈將 LiDAR 掃描強度編碼為 Gaussian 的一個維度特征，為 LiDAR 仿真提供支持，但該強度特征是靜態、視角無關的標量，無法準確反映真實 LiDAR 傳感器固有的方向依賴性。
該強度特征本質是混合信號的數據驅動近似，其表達式為：
$$\text{LiDAR 強度} = f(\text \times \text \times \text \times \text)$$
它并非解耦后的獨立材質屬性。一種潛在的優化路徑是：將 LiDAR 強度與 RGB 聯合用于逆渲染，顯式估計 albedo 和 roughness，建立物理 LiDAR 著色模型，實現光照與材質的解耦。
LiDAR點云
理解 3DGS 與 OpenMATERIAL 關系的核心，是明確兩者在架構中的分層定位：
五層架構圖
aiSim 當前三項核心能力的分層定位如下：
康謀世界提取工具鏈（NeRF2GS）：負責層1→層2，完成從數據采集到場景重建的過程；
康謀 aiSimArcher：對應層4，是 OpenMATERIAL 標準的完整標準化實現；
康謀 UE+GS 插件：負責層2→層5，可在 3DGS 場景中插入 OpenMATERIAL 定義的合成資產，實現統一渲染，直接跨越層3。
插件集成鏈路
其中，UE+GS 插件是當前實用主義的融合路徑，它不試圖從 3DGS 中提取材質，而是直接向場景注入攜帶標準化材質的合成資產，繞過了層3 的技術Gap，是目前可落地的工程解決方案。
類比而言，“有了 3DGS 還需要 OpenMATERIAL 嗎"，就如同“有了 JPEG 還需要色彩空間標準嗎"，JPEG 是圖像壓縮編碼方式，色彩空間標準定義顏色的物理含義，兩者層級不同、功能不重疊，缺一不可。
目前 3DGS 與 OpenMATERIAL 的融合主要有兩條路徑，具體差異如下表所示：
技術融合路徑對比
路徑 A：LiDAR強度編碼/UE+GS 插件 | 路徑 B：GS→材質提取→OpenMATERIAL | |
|---|---|---|
狀態 | 已實現 | 研究方向 |
原理 | 3DGS 背景 + OpenMATERIAL 合成資產，統一渲染 | 從重建場景自動提取物理材質 |
解決的層 | 渲染層（層2→層5） | 材質層（層3） |
適用場景 | 真實背景中測試合成交通參與者 | 完整物理精確仿真管線 |
路徑 B 對應的三條技術路線目前均處于研究階段：
InvRGB+L 路線（ICCV 2025）：LiDAR 強度 + RGB 聯合逆渲染，顯式估計 albedo/roughness，建立物理 LiDAR 著色模型；是目前材質分解深度接近實用的方向
R3DG 路線（ECCV 2024，Relightable 3D Gaussian）：為每個 Gaussian 分配 Disney BRDF 參數（albedo、metallic、roughness）+ 法線，支持任意光照重打光；真正的 PBR 參數分解，可映射到 .xomp 格式，但計算成本高
GaussianShader + 格式轉換（CVPR 2024，PSNR 提升 +1.57 dB）：分離漫反射顏色、鏡面色調和標量粗糙度，通過格式轉換映射到 .xomp；參數不完整，但工程實現路徑最短
這三條路線均面臨同一個問題：當前沒有從 3DGS 場景到 .xomp 文件的完整、可用工具鏈。
本質而言，3DGS 及同類 Neural Material Field 方法無法完整替代材質與標準，核心原因有三點：
精度：雷達仿真需要 ε?，神經網絡無法從光學圖像估計電磁參數，近紅外波段的 IOR 也無法從可見光訓練數據可靠外推
可解釋性：ISO 26262 高 ASIL 等級要求形式化可驗證性，隱式權重無法提供可審計的材質參數聲明
互操作性：神經材質場是工具私有的隱式表示，無法"導出"為跨工具通用的物理參數表
總結來看，3DGS 的 SH 系數專注于描述場景外觀，OpenMATERIAL 的 .xomp 文件專注于描述材質物理參數，兩者優化目標不同、層級不同，不構成替代關系，反而可形成互補。
而康謀世界提取工具鏈基于混合信號的數據驅動，實現了 LiDAR 強度特征的編碼，同時支持 Radar 在 GS 環境下的渲染；未來，將進一步在 3DGS 環境中實現更為完整的 LiDAR 和 Radar 模擬，推動兩者的深度融合與落地應用。
關注微信