18884710760
技術(shù)文章
導(dǎo)讀
新型傳感器技術(shù)為許多應(yīng)用——特別是對速度和效率要求較高的領(lǐng)域打開了全新的大門。 這項突破性技術(shù)的正式名稱是 “基于事件的視覺傳感器"，簡稱 EVS。本次帶來的是友思特合作伙伴IDS的重磅產(chǎn)品——uEye EVS事件相機(jī)。
一、突破性的傳感器技術(shù)及其背景
要精確記錄和分析快速運(yùn)動并非易事。 雖然高分辨率、高幀率的高速相機(jī)能捕捉豐富細(xì)節(jié)，但它們產(chǎn)生的數(shù)據(jù)量非常龐大，給存儲、傳輸和處理都帶來了壓力。這些數(shù)據(jù)中還夾雜著大量無關(guān)的靜態(tài)信息，需要耗費(fèi)大量精力去過濾。如果采用低幀率模式，數(shù)據(jù)量倒是減少了，卻容易導(dǎo)致畫面模糊或丟失細(xì)節(jié)。
因此，使用傳統(tǒng)相機(jī)（基于圖像的相機(jī)）往往需要在細(xì)節(jié)和數(shù)據(jù)量之間做出取舍。不過，運(yùn)動信息其實(shí)還有另一種記錄方式，一種受人腦機(jī)制啟發(fā)的新型傳感器技術(shù)，可以使得效率更高，數(shù)據(jù)量大幅減少。
正是采用了這種思路。 它不再生成海量的冗余圖像信息，而是聚焦于場景中真正發(fā)生變化的部分。 這樣一來，就能用大幅縮減的數(shù)據(jù)量，獲取高精度的運(yùn)動信息。這為許多應(yīng)用——特別是對速度和效率要求很高的領(lǐng)域打開了全新的大門。 這項突破性技術(shù)的正式名稱是 “基于事件的視覺傳感器"，簡稱 EVS。
基于事件的成像（又稱神經(jīng)形態(tài)傳感器技術(shù)）模擬了人類神經(jīng)系統(tǒng)的信息處理方式。理解其原理的關(guān)鍵在于認(rèn)識到：人類大腦的進(jìn)化優(yōu)勢不僅體現(xiàn)在高效處理來自眼睛的大量連續(xù)光信號，更在于它能敏銳響應(yīng)亮度差異、對比度和運(yùn)動的變化，而忽略恒定不變的刺激。這意味著我們的大腦主要關(guān)注場景中的動態(tài)變化，而非持續(xù)捕捉靜態(tài)環(huán)境的每一個細(xì)節(jié)，從而避免被冗余信息淹沒，實(shí)現(xiàn)快速的信息處理。
為復(fù)現(xiàn)這種能力，Prophesee 與索尼合作開發(fā)了專用像素電路，其核心功能是僅檢測并記錄變化。當(dāng)某個像素的對比度變化超過特定閾值時，便會觸發(fā)一個“變化事件"。每個像素獨(dú)立工作，實(shí)時響應(yīng)變化，不受固定幀率限制。相鄰像素事件間的最小時間間隔——稱為“時間分辨率"——是該傳感器的重要特性。索尼 IMX636 傳感器的時間分辨率高達(dá) 1 微秒，實(shí)現(xiàn)了超高速、近乎“無間隙"的運(yùn)動捕捉。若使用傳統(tǒng)圖像傳感器達(dá)到同等變化捕捉速度，幀率需超過每秒 10,000 幀！
二、無完整畫面，僅捕捉變化
傳統(tǒng)圖像傳感器按固定間隔傳輸整個傳感器表面的完整圖像數(shù)據(jù)，而事件相機(jī)在同一時間段內(nèi)通常只生成極少量的數(shù)據(jù)。這使得應(yīng)用開發(fā)者無需在高幀率與海量冗余數(shù)據(jù)之間妥協(xié)，即可精準(zhǔn)捕捉快速事件。原因在于：事件相機(jī)（EVS）的數(shù)據(jù)量取決于視野內(nèi)的活動強(qiáng)度，并隨場景動態(tài)自動調(diào)整。與固定幀率的圖像傳感器不同，事件相機(jī)像素僅在場景變化時才傳輸信息、產(chǎn)生數(shù)據(jù)流。
三、從運(yùn)動模糊到運(yùn)動清晰
傳統(tǒng)傳感器受技術(shù)限制，在拍攝快速運(yùn)動時易產(chǎn)生運(yùn)動模糊。當(dāng)物體邊緣等對比度邊界在曝光期間跨越多個相鄰像素時，每個像素會采集運(yùn)動物體不同位置的光線。運(yùn)動越快或曝光越長，清晰無失真圖像的獲取就越困難。相比之下，事件相機(jī)像素持續(xù)分析入射光，僅通過比較器記錄光強(qiáng)的增減。一旦變化超過設(shè)定閾值，便生成時間精度約 1 微秒的“開"或“關(guān)"事件。即使是最快的運(yùn)動，也能被事件技術(shù)逐像素精確掃描，形成高分辨率、無運(yùn)動模糊的像素事件序列，清晰描繪運(yùn)動軌跡。
核心機(jī)制： 每個事件像素持續(xù)監(jiān)測入射光，當(dāng)光強(qiáng)變化（上升或下降）超過特定閾值時，即觸發(fā)“變化事件"。
每個EVS像素連續(xù)記錄入射光，并在光強(qiáng)超過一定閾值時產(chǎn)生“變化事件"，無論是向上還是向下。
圖像相機(jī) vs. 事件相機(jī)：數(shù)據(jù)對比
特性 | 基于圖像的相機(jī) | 基于事件的相機(jī) |
數(shù)據(jù)內(nèi)容 | 完整傳感器圖像 | 像素事件 |
附加信息 | 所有像素亮度值（0-255） 彩色信息（RGB） | 事件位置坐標(biāo)（X/Y) 事件極性（開/關(guān)） 精確時間戳（T) |
數(shù)據(jù)量 | 固定幀率 規(guī)格決定 | 異步觸發(fā)，與場景活動相關(guān) |
數(shù)據(jù)特點(diǎn) | 高空間分辨率 高數(shù)據(jù)速度 | 超時間分辨率 數(shù)據(jù)量小 信息效率高 |
事件相機(jī)的原生輸出數(shù)據(jù)（X/Y位置、開/關(guān)極性、時間戳T）——即變化事件流——極其緊湊高效，但不直接生成傳統(tǒng)圖像。這種形式非常適合機(jī)器與算法處理，但對人類不夠直觀。若需可視化結(jié)果，生成的圖像類似于經(jīng)邊緣檢測處理后的 2D 圖像，因為運(yùn)動中的對比度變化在物體邊緣最為顯著。
僅記錄關(guān)鍵變化使數(shù)據(jù)量大幅縮減，顯著降低了存儲需求和處理負(fù)擔(dān)。此外，事件信息本身就蘊(yùn)含運(yùn)動模式與方向特征。事件間的時間間隔可直接用于計算像素或物體的運(yùn)動速度，無需從海量圖像中費(fèi)力分離目標(biāo)與靜態(tài)背景。
數(shù)據(jù)量的精簡使得許多分析過程可近乎實(shí)時進(jìn)行。多相機(jī)系統(tǒng)的實(shí)現(xiàn)也更為便捷，技術(shù)復(fù)雜度顯著降低。主機(jī) PC 的圖像處理能力要求以及線纜、電源等外圍設(shè)備均可設(shè)計得更精簡、更經(jīng)濟(jì)。
五、創(chuàng)新應(yīng)用：事件驅(qū)動的慢動作與流動分析
憑借微秒級精度的時間戳和每個獨(dú)立像素事件的位置，事件數(shù)據(jù)催生了全新的應(yīng)用可能。變化事件本身已包含寶貴信息，并可從中推導(dǎo)出更多關(guān)鍵洞察。受限于固定采樣率和龐大冗余數(shù)據(jù)，傳統(tǒng)相機(jī)難以捕捉或容易丟失這類信息。
高精度慢動作： 將捕獲的像素事件按時間網(wǎng)格累積，可生成具有可變“曝光時間"的慢動作視頻。播放速度可靈活調(diào)整：從超慢動作（每事件一幀）到實(shí)時速度（約每 33 毫秒一幀），直至靜止圖像。匯總所有事件，即可呈現(xiàn)完整的運(yùn)動歷史。
精準(zhǔn)量化分析： 可直接提取速度和方向信息，對物體運(yùn)動進(jìn)行精確數(shù)值分析，省去復(fù)雜的圖像處理步驟。
流動可視化： 在特定時間段內(nèi)累積多個像素事件的位置和時間，并在 3D 空間中呈現(xiàn)，可定性地展示運(yùn)動路徑，有助于理解物體在時空中的運(yùn)動方式。例如，在流體力學(xué)中，此方法能以精度檢測液體和氣體的流動。
基于事件的數(shù)據(jù)積累為流可視化和量化創(chuàng)造了理想的分析數(shù)據(jù)
專家點(diǎn)評： “在需要異常高幀率（如 1000Hz）的應(yīng)用（如流動可視化）中，傳統(tǒng)圖像相機(jī)方案通常復(fù)雜且昂貴。借助事件相機(jī)技術(shù)，我們實(shí)現(xiàn)了相當(dāng)于每秒 10,000 幀甚至更高的性能。關(guān)鍵在于，數(shù)據(jù)傳輸量顯著減少，僅需 USB 等標(biāo)準(zhǔn)接口，這使得創(chuàng)新技術(shù)對教學(xué)和研究機(jī)構(gòu)具備吸引力。"
— 安德烈?布魯恩博士，亞琛 iLA_5150 GmbH 流體力學(xué)開發(fā)主管
六、新數(shù)據(jù)，新方法
要充分利用事件傳感器提供的新型信息流，開發(fā)者需突破傳統(tǒng)的周期性圖像處理框架。雖然可將事件數(shù)據(jù)匯總成傳統(tǒng)圖像幀進(jìn)行處理，但是它未能充分利用事件數(shù)據(jù)的高時間精度和高效性。
高效提取和處理事件數(shù)據(jù)中的模式、運(yùn)動、時間與結(jié)構(gòu)信息，需要專門的功能、工具和算法。這些在現(xiàn)有的（基于圖像的）標(biāo)準(zhǔn)視覺框架中尚不可用。
為此，Prophesee 和索尼開發(fā)了配套處理方法，并通過 Metavision SDK 軟件開發(fā)套件提供了實(shí)用功能、詳盡文檔和豐富示例，幫助用戶快速上手并挖掘這項創(chuàng)新技術(shù)的潛力。
操作 IDS EVS 相機(jī) “uEye XCP-E" 非常簡單。在主機(jī) PC 安裝 IDS HAL 插件后，相機(jī)即可無縫接入 Prophesee 的 Metavision SDK。查看操作指南視頻，立即體驗。
七、實(shí)時高精度：EVS 賦能質(zhì)量保證
神經(jīng)形態(tài)傳感器的能力在質(zhì)量保證與提升領(lǐng)域同樣重要，尤其適用于對檢測準(zhǔn)確性、速度和效率要求較高的場景。例如，在機(jī)器與過程監(jiān)控中，其價值在于能以像素級精度實(shí)時捕捉微小的物體與材料變化。得益于低微秒級的時間分辨率，甚至可清晰可視化高頻振動或聲學(xué)信號。分析系統(tǒng)能及早發(fā)現(xiàn)異常模式（如由磨損或故障引起），預(yù)防潛在的損壞或生產(chǎn)中斷。
由于神經(jīng)形態(tài)傳感器僅感知運(yùn)動或?qū)Ρ榷茸兓鋵庹兆兓拿舾卸冗h(yuǎn)低于傳統(tǒng)系統(tǒng)，在存在反射、陰影等復(fù)雜光線下表現(xiàn)更優(yōu)。在快速缺陷檢測、過程監(jiān)控或惡劣條件下的檢測任務(wù)中，質(zhì)量保證流程必將受益于神經(jīng)形態(tài)傳感器的良好性能。
八、EVS：趨勢還是必然選擇？
事件傳感器不捕捉完整圖像，僅記錄隨時間變化的像素信息。然而，這些變化可用于動態(tài)編譯出多樣化的可視化效果，為應(yīng)用提供遠(yuǎn)超傳統(tǒng)圖像傳感器的運(yùn)動信息。因此，兩者并非競爭關(guān)系！ 事件傳感器并非傳統(tǒng)圖像相機(jī)或 AI 圖像處理的通用替代品，而是一種互補(bǔ)技術(shù)。它在運(yùn)動記錄方面開辟了全新維度。
在眾多應(yīng)用中，單一傳感器或數(shù)據(jù)類型往往不足。通常需要融合不同信息，結(jié)合不同相機(jī)類型，才能滿足客戶需求。因此，對于高速運(yùn)動分析、工業(yè)質(zhì)檢、機(jī)器人技術(shù)和自主系統(tǒng)等領(lǐng)域，事件相機(jī)是一個前景廣闊的關(guān)鍵組件。
關(guān)注微信