本文內容

● 工作原理

● 主要功能

● 相機性能

● 失效

● 后續步驟

本頁(yè)介紹如何使用Femto Mega中的深度相機。 深度相機是兩個(gè)相機中的第二個(gè)。 如前面的部分中所述，另一個(gè)相機是 RGB 相機。

工作原理

Femto Mega  深度相機采用調幅連續波 (AMCW) 時(shí)差測距 (ToF) 原理。 該相機將近紅外 (NIR) 頻譜的調制光投射到場(chǎng)景中。 然后，它會(huì )記錄光線(xiàn)從相機傳播到場(chǎng)景，然后從場(chǎng)景返回到相機所花費的時(shí)間的間接測量值。

處理這些測量值可以生成一張深度圖。 深度圖是一組以毫米為單位的Z坐標值，對應到圖像中的每個(gè)像素。

連同深度圖一起，我們還可以獲得所謂的清晰 IR 讀數。 清晰 IR 讀數中的像素值與從場(chǎng)景返回的光線(xiàn)量成正比。 這個(gè)圖像類(lèi)似于常規的 IR 圖像。 下圖顯示了一張示例深度圖（左）的對應的清晰 IR 圖像（右）。

主要功能

深度相機的技術(shù)特征包括：

● 配備高級像素技術(shù)的 1 兆像素 ToF 成像芯片，實(shí)現更高的調制頻率和深度精度。

● 兩個(gè) NIR 激光二極管實(shí)現近距和寬視場(chǎng) (FoV) 深度模式。

● 全球最小的 3.5μm x 3.5μm ToF 像素。

● 自動(dòng)像素增益選擇支持較大的動(dòng)態(tài)范圍，允許捕獲清晰的近距和遠距對象。

● 全局快門(mén)可幫助改善日光下的拍攝性能。

● 多相位深度計算方法能夠實(shí)現可靠的準確度，即使芯片、激光和電源存在差異。

● 較低的系統誤差和隨機誤差。

深度相機將原始的調制 IR 圖像傳輸到電腦主機。 在電腦上，GPU 加速的深度引擎軟件會(huì )將原始信號轉換為深度圖。?深度相機支持多種模式。 窄視場(chǎng) (FoV) 模式非常適合 X、Y 維度范圍較小，但 Z 維度范圍較大的場(chǎng)景。 如果場(chǎng)景中的 X、Y 范圍較大，但 Z 范圍較小，則寬 FoV 模式更合適。

深度相機支持 2x2 裝箱模式，這種模式與非裝箱模式相比，可以擴展 Z 范圍。 裝箱的代價(jià)是降低圖像分辨率。 所有模式都能夠以高達 30 幀/秒 (fps) 的速率運行，但 1 兆象素 (MP) 模式除外，它的最大運行幀速率為 15 fps。 深度相機還提供被動(dòng) IR 模式。 在此模式下，照像機上的照明器不會(huì )激活，只能觀(guān)測到環(huán)境光。

相機性能

相機的性能以系統誤差和隨機誤差來(lái)衡量。

系統誤差

系統誤差定義為消噪后測得的深度與正確（真實(shí)）深度之差。 我們會(huì )根據靜態(tài)場(chǎng)景的許多幀計算時(shí)態(tài)平均值，以消除盡可能多的深度噪聲。 更確切地說(shuō)，系統誤差定義為：

其中，dt 表示時(shí)間 t 處的測量深度，N 是求平均過(guò)程使用的幀數，dgt 是真實(shí)深度。

深度相機的系統誤差規范不包括多路徑干擾 (MPI)。 當某個(gè)傳感器像素集成了多個(gè)對象反射的光時(shí)，就會(huì )發(fā)生 MPI。 使用較高的調制頻率以及稍后將會(huì )介紹的深度失效可以在深度相機中部分緩解 MPI。

隨機誤差

假設我們在沒(méi)有移動(dòng)相機的情況下拍攝了同一對象的 100 張圖像。 在這 100 張圖像中，每張圖像的對象深度略有不同。 這種差異是散粒噪聲造成的。 發(fā)生散粒噪聲的原因是，撞擊傳感器的光子數因某種隨機因素隨時(shí)而變。 我們將靜態(tài)場(chǎng)景中的這種隨機誤差定義為一段時(shí)間內的深度標準偏差，其計算公式為：

其中，N 表示深度測量值數，dt 表示時(shí)間 t 處的深度測量值，d 表示基于所有深度測量值 dt 計算出的平均值。

失效

在某些情況下，深度相機可能無(wú)法提供某些像素的正確值。 在這種情況下，深度像素將會(huì )失效。 無(wú)效的像素由深度值 0 表示。 深度引擎無(wú)法生成正確值的原因包括：

● 超出活動(dòng) IR 照明遮罩范圍

● IR 信號飽和

● IR 信號強度低

● 濾波異常

● 多路徑干擾

照明遮罩

當像素超出活動(dòng) IR 光照的遮罩范圍時(shí)，它們將會(huì )失效。 我們不建議使用此類(lèi)像素的信號來(lái)計算深度。 下圖顯示了超出照明遮罩范圍而導致像素失效的示例。 失效的像素包括寬 FoV 模式的圓圈（左）和窄 FoV 模式的六邊形（右）外部的黑色像素。

信號強度

當像素包含飽和的 IR 信號時(shí)，它們將會(huì )失效。 像素飽和后，相位信息將會(huì )丟失。 下圖顯示了 IR 信號飽和導致像素失效的示例。 請查看指向深度圖像和 IR 圖像中的示例像素的箭頭。

如果 IR 信號強度不夠，以致無(wú)法生成深度，則也可能會(huì )發(fā)生像素失效。

下圖顯示了 IR 信號強度低導致像素失效的示例。 請查看指向深度圖像和 IR 圖像中的示例像素的箭頭。

歧義深度

如果像素從場(chǎng)景中的多個(gè)對象收到了信號，則它們也可能會(huì )失效。 在角落中經(jīng)常會(huì )看到這種像素失效的情況。 由于場(chǎng)景的幾何結構，照相發(fā)出的 IR 光會(huì )從一堵墻反射到另一堵墻。 這種反射光會(huì )導致測得的像素深度出現歧義。 深度算法中的濾波器會(huì )檢測這些有歧義的信號，并使像素失效。

下圖顯示了多路徑檢測導致像素失效的示例。 你還可能會(huì )發(fā)現，在一個(gè)相機視圖(上排)中失效的相同表面區域如何在另一個(gè)相機視圖(下排)中再次出現。 此圖演示在一個(gè)透視圖中失效的表面可能會(huì )在另一個(gè)透視圖中顯示。

后續步驟

坐標系統