【導讀】隨著人工智能技術的普及，系統對環境深度信息的精度、速度和可靠性提出了更高要求。傳統圖像傳感器易產生光暈、拖影和運動模糊等偽影，而激光雷達雖能實現遠距離測距，卻在分辨率和全視場覆蓋上存在局限。因此，為具體應用挑選合適的深度感知技術，成為工程師面臨的核心挑戰。本文將探討安森美（onsemi）推出的Hyperlux ID間接飛行時間（iToF）深度傳感器如何通過創新技術，在中短距離應用場景中實現高精度、高可靠性的深度感知，助力機器“看清”世界。
對機器視覺而言，要實現這種感知級別的識別能力，絕非易事。
當機器執行物體操作或規劃前方路徑時，其處理器需要在極短時間內獲取盡可能多的深度數據點。傳統圖像傳感器會產生大量數字偽影，包括光暈、拖影、過飽和以及運動模糊。這些偽影并非真實的環境信息，如果缺乏深度感知功能及深度數據的有效解析手段，機器的處理器將無法做出準確推斷。我們固然可以寄希望于人工智能或機器學習算法，助力機器區分真實場景與虛假干擾。但這里真正需要的是一款性能強大且穩定可靠的深度傳感器，從而讓機器無需再從不可靠的視覺證據中去推測真實場景。
本白皮書旨在探討如何為具體應用挑選合適的深度傳感器。作為全球領先的半導體器件制造商之一，安森美生產各類傳感器設備，包括基于CMOS的圖像傳感器、超聲波傳感器、短波紅外（SWIR）傳感器以及激光雷達。
正如本白皮書[PDF]中所闡述，激光雷達之所以能實現遠距離深度感知，是因為它采用了直接飛行時間（dToF）技術。當應用場景中最關鍵的數據需求是實時測距時，dToF技術能為激光雷達提供優于其他深度感知方法的采集速率，并具備檢測激光回波路徑中多個物體的能力。通過采用二維單光子雪崩二極管（SPAD）和硅光電倍增管陣列（SiPM）技術，安森美激光雷達組件能夠探測最遠300米范圍內的單光子信號。
然而激光雷達在分辨率方面存在局限。為實現全視場覆蓋，激光雷達需對前方場景進行掃描，就像用畫筆在整個畫布上逐步涂繪一樣。這種方式難以識別遠方物體的特征，尤其在物體邊緣輪廓不夠清晰時，這一問題更為突出。
開發未來機器視覺應用的工程師需要充分了解各類技術的差異，從而為自身的研發工作選擇合適的成像設備。
當機器視覺系統檢測到其感知范圍內存在物體時，它不僅需要判斷物體的距離，還需推斷物體的形狀與結構。這要求系統通過更高密度的數據點采集，獲取前方場景的更多數據，以實現更高的分辨率和保真度。例如：
工業安防系統聚焦大門或特定入口，探測約10米半徑內的移動物體或活動跡象。
視頻會議系統拍攝畫面內的人物，當人物起身在室內走動時，系統會自動調整構圖與對焦。
倉庫和物流中心的庫存管理系統持續核驗貨物庫存數量及其存儲位置。
工廠檢測系統對零部件不間斷檢測，排查潛在瑕疵和缺陷。
物流系統對貨物和包裹進行常態化尺寸測量，以優化運輸方案并提升運輸安全性。
車輛裝載系統持續不斷地將庫存貨架上的貨物轉移到運輸車輛上。
此類應用場景均需要高分辨率深度傳感器來識別前方的物體，并輔助軟件推斷抓取、搬運或操作物體的最優方案。通過物體的外形或結構判斷其屬性，離不開深度感知技術的支持。這項任務的難點在于，圖像仍是二維平面信息。但借助一些技術手段，可從二維數據中推導三維空間信息。安森美最新推出的Hyperlux ID iToF深度傳感器，便集成了這類前沿技術。
安森美技術延伸閱讀
適用于汽車、物流等領域的遠距離測距激光雷達組件。
面向自動駕駛車輛的先進立體3D傳感技術。
用于自動駕駛及駕駛輔助車輛的超聲波傳感器，可輔助車輛規避障礙物（含泊車場景）。
適用于各種工業應用的Hyperlux CMOS圖像傳感器，具備高動態范圍和優異的低光性能。
深度感知的技術難題
距離屬于一維空間概念。激光束的特性恰好體現了一維空間感知方式的全部優勢與局限。對于以激光束作為感知機制的設備而言，要確定傳感器前方的環境構成，就必須通過多次掃描并整合掃描所得的數據來實現。盡管技術發展正不斷加快這一掃描過程，但此類設備仍然存在物理限制。
實現深度感知至少需要一張二維圖像，而若能獲得兩張及以上二維圖像，則可推斷出三維信息。具備深度感知功能的圖像傳感器，其有效感知范圍受限于傳感器自身的分辨率。而激光束則不存在這一局限。我們可以為近地軌道（LEO）衛星搭載激光雷達設備，從上千公里高空對地表地形與海平面進行精準測繪。
正是這一本質區別，界定了激光雷達與圖像傳感器在工業應用中的不同適用領域。如今，日常生活中越來越多的自動化設備，開始采用基于CMOS的圖像傳感器來實現深度感知功能。在過去，基于CMOS的傳感器并不適用于消費級數碼相機，尤其是專業攝影領域。這類傳感器對光學噪聲和電磁干擾十分敏感，而早期數碼相機所采用的電荷耦合器件（CCD），則能很好地解決這兩大問題。
智能手機時代的到來徹底改變了這一局面。業界借助NASA噴氣推進實驗室為航天項目研發的相關技術，優化了CMOS傳感器的能效表現與實際應用價值。如今，安森美基于CMOS的Hyperlux ID AF0130和AF0131傳感器，相比CCD圖像傳感器與激光雷達組件，展現出多方面優勢，具體如下：
能效更高，適用于需要低直流電壓或電池供電的應用場景。
更易集成到機器設計與組件封裝中。
熱特性大幅優化，無需主動散熱系統。相較之下，激光雷達的光電探測器對溫度尤為敏感，尤其在35℃或以上環境中。
深度感知精度極高，依托120萬像素（MP）分辨率和背照式（BSI）技術，結合傳感器內置的圖像處理能力，可顯著提升感知精度。
圖像曝光速度更快，通過優化傳感器的圖像信號處理、存儲及讀取方式，實現更快的曝光效率。
可編程性更強，支持通過情景感知功能對圖像傳感器進行微調，使其更好地適配具體應用需求。
激光雷達和直接飛行時間
如您所知，激光雷達是將雷達原理應用于光波領域的技術。它通過分析物體反射的光波波形，測量激光發射點與被測物體之間的深度和距離。在地質勘探和衛星遙感應用中，激光雷達通常依靠GPS來實現精確定位。該技術的工作原理與聲吶頗為相似：聲吶通過捕捉反射的聲波來測算發射器與物體的距離，而激光雷達則將激光脈沖與雷達原理相結合來完成測距。
在各類激光雷達組件中，固態SiPM的功耗最低，同時還具備極強的抗電磁干擾與抗光學噪聲能力。即便是在60米外、反射率僅約10%的未授權移動物體，也能被它輕易識別；這一特性可為安防系統預留充足的響應時間，及時封鎖入口并發出警報。
上圖展示了太陽輻射在地球大氣層內（深色）與大氣層外（淺色）被探測到的光子相對數量。觀察圖表可以發現，隨著波長增加，在近紅外（NIR）波段的905nm與940nm處，以及短波紅外（SWIR）波段的1550nm處，光子數量均出現了斷崖式下降。太陽光中這些波段的光子占比極低，因此非常適合用于激光雷達。安森美大多數客戶的應用場景均集中在905-940nm波段，該波段同時也是激光雷達高性價比組件的主要覆蓋區間。
當應用場景僅需通過光波判斷遠處是否存在物體時，單點深度感知方案具有顯著實用性與高效性。氣象學家或地質學家可能會關注激光雷達反射波的光譜分析能力，而在日常工業應用中，當系統僅需判斷前方有無物體這種二元狀態時，SiPM無疑是光傳感器件的出色選擇。
安森美技術延伸閱讀
?激光雷達在工業測距領域的應用
?SiPM dToF激光雷達平臺入門指南[PDF]
?視頻：第三代SiPM激光雷達演示系統室內測試
?視頻：高分辨率短波紅外（SWIR）成像技術
Hyperlux ID與間接飛行時間技術
基于CMOS的圖像傳感器在深度感知范圍上存在局限，其無歧義測距范圍在常規條件下受限于單次光調制周期。該上限閾值Dmax的計算公式如下：
其中，常數c代表光速，fm代表調制光頻率。例如，如果傳感器采用60MHz的單頻調制方案，其無歧義測距范圍上限僅為2.5米。
Hyperlux ID專為工廠車間和包裝流水線等場景設計。在這類場景中，機器人系統需要精準測量機械臂與食品等易損物料表面之間的距離。
在上述應用環境中，采用間接飛行時間技術進行深度測量，會更簡便、更具實用性。與激光雷達類似，iToF技術同樣會比較反射光與發射光，但區別在于，iToF通過推導計算來獲取距離信息。Hyperlux ID以940nm紅外激光二極管作為光源，借助全局快門技術，一次性完成所有入射光的采集。相較之下，卷簾快門的工作方式是自上而下逐行曝光傳感器，類似于傳統的機械焦平面快門。這種快門模式雖能滿足消費級數碼相機的使用需求，但即便是iToF技術，也無法完全彌補卷簾快門的性能缺陷。
Hyperlux ID的全局快門技術支持同時完成八次曝光（兩種頻率各對應四個相位），并將所有曝光數據整合存儲為單幀圖像。這樣可以幾乎完全消除運動引起的相位誤差。
當激光等恒定調制光源發出的光線經物體反射后，反射光與發射光之間會產生微小的相位差。傳感器通過相位差的大小來判斷物體的距離，但具體距離數值需要通過數學運算推導得出。具體而言，通過評估反射光在0°、90°、180°和270°四個象限邊緣處的波幅，計算出接收光波與調制光波之間的相位差。該相位差?Φ可通過以下雙參數反正切公式計算得出：
在相位差?Φ、激光調制頻率fm和光速c均為已知值的情況下，計算每個采樣點的距離d就會變得十分簡單，如下所示：
以上便是間接飛行時間技術從包含相位偏移的圖像數據中推導距離數據的方法。該技術之所以適用于深度感知應用，是因為其通過全局快門實現了相位數據的并行采集，而不是通過移動激光器進行串行掃描。不過，使用單個調制器時，iToF技術僅適用于極短距離的測量。安森美通過一項名為智能iToF的創新專利技術，在一定程度上克服了這些限制。
安森美技術延伸閱讀
?高速全局快門圖像傳感器如何降低AI視覺系統的運行負荷
?借助技術進步攻克間接飛行時間技術目前面臨的挑戰
?視頻：為不同應用挑選合適的圖像傳感器
Hyperlux ID結合智能iToF技術如何攻克實際應用挑戰
Hyperlux ID是一款基于iToF技術實現深度信息感知的圖像傳感器，因此屬于深度傳感器。與垂直腔面發射激光器（VCSEL）等主動照明系統相結合，Hyperlux ID能夠同時計算VCSEL激光與自身發射光的反射光的相位偏移，并在該過程中對兩種光源的光強進行調制處理。通過在單次曝光時間內切換兩種不同的頻率，傳感器的無歧義測距上限Dmax得以提升，其計算方式采用了更小的分母參數——具體而言，就是這兩種頻率的最大公約數（GCD）：
在安森美評估套件的測試中，AF0130表現優異：在熒光燈照明的淺色中性色調走廊環境下，可清晰識別30米處反射率為70%的目標物體；在霧霾天氣的陰影環境中，即便光照強度高達20,000勒克斯，仍能清晰識別20米處的同規格目標物體。在上方偽彩色深度圖中，圖像的色彩與反射物體的大致距離相對應。
更精準的深度計算方案
AF0130內置嵌入式深度處理ASIC，可在片上處理所有深度感知運算。對于傾向于使用自研深度處理算法的客戶，安森美提供了AF0131。其實時處理功能可讓深度數據即時投入應用，滿足機器人定位與運動控制、避障、安防預警和人體手勢識別等功能的需求。
為提高深度計算精度，智能iToF技術通過四幀獨立采集的圖像（每幀對應波形的一個90度相位），估算每個像素的反射率。借助這些反射率數據，AF0130能夠將四幀圖像的數據整合為一幀，生成深度圖。
對于深度圖中的每個給定點，像素響應均與該給定點處物體的反射率相關，反射率Rpix可通過以下公式計算：
其中，ρ代表像素反射率，D代表圖像傳感器與該像素之間的距離，而A代表該點受到的環境光強度。物體的反射率反映了物體產生的光信號強度。可視化軟件能夠以顏色來表示相對深度——較近的物體位于光譜中偏向紅色的區域，較遠的物體則位于光譜另一端的藍紫色區域。
強光環境下的高精度深度感知
環境光過強會導致像素接收的深度信號飽和甚至完全失效，這是iToF深度傳感技術的一大痛點。當傳感器前方的場景處于強光照射下時（例如工業裝配車間環境），所有圖像傳感器，尤其是采用iToF技術的CMOS圖像傳感器，其判斷深度與距離的難度都將顯著增加。
要削弱環境光的影響，需采用環境光抑制的圖像處理技術。該技術巧妙運用光學原理與波長調制方法，將光學信號視為聲學信號進行處理，從而克服物體表面光信號過飽和的問題。環境光過強會給距離與反射率的測量帶來諸多挑戰，而Hyperlux ID則通過兩種方式克服了這些挑戰：一是在符合人眼安全標準的前提下優化照明功率；二是調節積分時間，即在設定的測量周期內，靈活調整傳感器的光積分量。
消除運動偽影
采用iToF技術的CMOS圖像傳感器，面臨的另一大挑戰是消除運動偽影。運動偽影指傳感器在試圖捕捉運動物體時，圖像中出現的失真或不真實的元素。在普通CCD數碼相機中，高速運動的物體在畫面中會呈現為模糊影像。由于膠片相機也會產生類似的模糊效果，這種現象常被視為攝影的固有特性，甚至被用作藝術表現手法。
對于高速光電探測器而言，這類本應表現為模糊的影像（例如旋轉的螺旋槳葉片，或傳送帶另一側高速運轉的機械臂），可能呈現為懸浮在空中的怪異虛影。這些虛影并非真實物體，因此需要圖像處理單元將其識別并忽略。
AF0130的偽影補償始于其全局快門技術，該技術可讓傳感器的所有像素同時曝光。
為了測試這種智能iToF技術的有效性，安森美開展了一項測試：使用一個裝有三塊不同厚度木塊的旋轉輪盤（木塊顏色越深則厚度越大）進行成像。在競品傳感器拍攝的畫面中，輪盤上始終呈現出六塊木塊的影像——這是傳感器受環境光等因素影響，與光線發生異常作用而產生的光學錯覺。相比之下，AF0130拍攝的視頻雖也存在輕微的光學錯覺，但其每一幀畫面中僅顯示三塊木塊，只是木塊會出現位置小幅偏移和交替閃爍換位的現象。AF0130拍攝的每一幀畫面都更加貼近真實場景，基于這些畫面生成的深度圖，精度也遠高于競品。
成像系統的典型幀曝光處理流程是，先將曝光數據寫入存儲器，然后分配時間執行讀出階段。讀出階段的任務是，將傳感器采集到的像素值依次數字化并存儲到存儲器中。普通圖像傳感器被設定為曝光后立即開始讀出階段。如果傳感器需要對連續八幀圖像重復此過程，那么曝光間隔將過大，導致深度圖各部分數據無法準確匹配。這個問題會導致圖像中出現大量運動偽影，對于繁忙的城市街道或裝配線傳送帶等實際應用場景而言，這是不可接受的。
AF0130搭載的智能iToF技術通過先連續完成八幀曝光，再統一執行所有幀的讀出操作，克服了這一挑戰。這一設計大大減少了運動模糊現象，顯著提升了手勢識別系統的可靠性，這類系統需要準確區分具有指令意義的手臂動作與模糊虛影。（各幀曝光之間仍存在微小的時間間隔，但這些間隔短到足以忽略不計。）
以下是AF0130典型曝光場景的計算過程：120萬像素傳感器的標準成像幀率約為29.97幀/秒；在MIPI存儲總線單通道吞吐量為1.2Gbps的條件下，其最優曝光時間（首光子到末光子的響應速度）為300μs。存儲幀中每個像素為12位，因此，當兩條MIPI線路同時工作時，吞吐量應該約為2億像素/秒。
一張120萬像素的圖像包含1280×960個像素，因此該圖像的讀出耗時為6.1ms。Hyperlux AF0130可在首次讀出階段開始前，將所有曝光數據存儲在傳感器內。相較之下，競品傳感器會在前四幀之間穿插執行三次讀出操作，因此其首光子到末光子的響應速度為0.3ms×4+6.1ms×3=19.2ms。
相較之下，AF0130首光子到末光子的響應速度為0.3ms×4+0.25ms×3=2ms。憑借這一簡單的流程調整，AF0130在29.97fps幀率下，運動性能達到了競品的9.6倍。
再看另一種應用場景：假設幀率提升至約60fps。為支持深度處理，每個MIPI通道的吞吐量需要達到2Gbps（此處假定該條件具備可行性）。在該吞吐量下，傳感器的像素處理能力可達3.33億像素/秒，單幀圖像的讀出耗時為3.7ms。AF0130首光子到末光子的響應速度為0.1ms×4+0.25ms×3=1.15ms。而競品傳感器的這一數值為0.1ms×4+3.7ms×3=11.5ms。這意味著，安森美Hyperlux ID系列傳感器在60fps的幀率下，運動性能達到了競品的10倍。
利用情景配置實現靈活適配與微調
通過校準Hyperlux ID的全局快門，可以針對特定應用對這款圖像傳感器進行微調。例如，如果傳感器需適配僅兩米外的傳送帶場景，則可以將AF013x校準為聚焦于四米范圍內的反射光信號。這類用于微調傳感器工作特性的參數規格可以作為情景配置存儲在傳感器本地。這樣一來，當應用場景發生變化時，只需切換使用對應的情景配置即可。
AF013x還具備動態調整能力。例如，當反射物體距離過近，導致曝光強度過高、圖像細節丟失時，AF013x可自動縮短曝光時間；或者，如果全局快門原本針對遠距離探測設定，而近處有物體進入畫面，動態情景切換功能可讓傳感器立即重置參數，避免近處物體在畫面中呈現為大片模糊虛影。這一功能在安防監控場景中尤為實用：例如，傳感器通常針對10米外的大門進行參數調校，但仍能清晰捕捉在2米處進入畫面的移動物體（即便是高速移動物體）。
降低系統復雜度與成本
對于采用iToF技術的標準單調制器圖像傳感器而言，深度感知的相關算法通常需要由外置微控制器或FPGA陣列來處理。而Hyperlux ID AF0130將這些功能直接集成到芯片內部，使組件設計不再需要以下外置器件：
?片外微控制器或FPGA陣列（這類器件需要獨立的電源樹和電壓軌）。
?幀存儲單元（通常需要存儲器控制器）。
?用于連接圖像傳感器、微控制器和存儲器的高速接口。
將深度處理功能集成到圖像傳感器內，不僅能降低系統帶寬占用與算力需求，還可簡化搭載該傳感器的組件設計、縮小組件尺寸，并降低組件的生產制造成本與運維成本。
安森美技術延伸閱讀
?適用于AF0130和AF0131的AGB1NOCS-GEVK評估板
?視頻：間接飛行時間技術的進展
Hyperlux ID量化結果
安森美Hyperlux ID AF0130與AF0131深度傳感器所實現的技術突破，可以重塑工業機器視覺組件的設計范式，使這類組件更易于生產制造、維護保養、工程開發，同時具備更高的性價比。
?AF013x搭載的120萬像素BSI全局快門，可使CMOS圖像傳感器實現超高精度的深度感知能力。
?智能iToF技術與片上存儲結合，可減少甚至消除運動偽影，助力需要高精度機器視覺的圖像與物體識別系統類AI軟件提升準確性。
?片上集成算法處理功能，完全消除對外部微控制器的依賴，從而簡化組件設計、縮小組件尺寸，同時降低功耗。
?卓越的環境光抑制能力可提升傳感器的無歧義測距范圍，從而支持更廣泛的機器視覺新應用。
?依托安森美行業標準DevWare X開發環境，可實現開放式軟件開發與可編程控制，并支持自定義情景配置。
技術愿景：邁向真正的機器視覺
在需要兼顧速度與精度、但無需超遠距離感知的場景中，Hyperlux ID解決了機器視覺技術實用化與適配難題。現代機器需要“看清”自己的動作，只需在關鍵微秒內獲取相關的深度與空間數據。曾幾何時，低功耗CMOS技術因易受溫度與噪聲干擾，并不適用于這類應用場景。但如今，隨著工程設計的改進與編程技術的優化，CMOS技術不僅克服了自身的短板，更在性能上超越了CCD等傳統技術。
隨著機器視覺技術逐漸成為各類時空感知設備的標配功能，工業設備也亟需在技術性能、可靠性、供應鏈穩定性與技術支持服務上均能滿足規模化應用需求的圖像傳感器。安森美提供的元器件產品，正致力于推動機器視覺生態朝著更簡潔、更高效的方向發展。
