Femto Mega作為奧比中光聯(lián)合微軟、英偉達共同推出的新一代iToF相機，整合英偉達算力及微軟深度引擎技術(shù)，整機具備高通用性?xún)?yōu)勢，集成深度算力無(wú)需額外算力，此外還支持POE網(wǎng)絡(luò )接口； 在軟件SDK中不僅提供OrbbecSDK發(fā)揮POE強勁性能，還為兼容微軟AzureKinect生態(tài)軟件應用，提供完全兼容 AzureKinect DK  的API 接口及 Azure Kinect DK  應用遷移文檔；目前FemotMega可實(shí)現規?；€定量產(chǎn)，可滿(mǎn)足物流、機械手臂、制造、零售、醫療保健和運動(dòng)健身應用場(chǎng)景需求。

Femto Mega開(kāi)發(fā)環(huán)境由以下多個(gè) SDK 組成：

●     用于訪(fǎng)問(wèn)設備的Orbbec SDK K4A Wrapper 或者 Orbbec SDK。

●     用于跟蹤 3D 人體的人體跟蹤 SDK。

此外，可將認知視覺(jué)服務(wù)與設備 RGB 相機配合使用，使用Orbbec SDK K4a Wrapper的系統框圖如下：

注： 只使用Orbbec SDK 而不使用 Orbbec SDK K4a Wrapper 不能使用AKDK的骨骼跟蹤算法。

Orbbec SDK 和 Orbbec SDK K4A Wrapper

Orbbec Femto Mega是Microsoft Azure Kinect DK的高級進(jìn)階版本，我們?yōu)榇水a(chǎn)品提供了兩套SDK：Orbbec SDK和 Orbbec SDK K4A Wrapper。

由于Orbbec無(wú)法提供原有Azure Kinect DK開(kāi)發(fā)工具的升級及維護，從長(cháng)期角度來(lái)看，我們推薦您盡快嘗試和使用Orbbec一直在維護和更新的Orbbec SDK。使用Orbbec SDK搭配 Femto Mega，您將得到POE網(wǎng)絡(luò )等豐富且強大的功能。

為幫助已經(jīng)使用K4A開(kāi)發(fā)了應用的用戶(hù)可以更加快速上手Orbbec Femto Mega，并實(shí)現對Microsoft AzureKienct 的無(wú)縫替換。我們在Orbbec SDK上封裝了兼容K4A API的Orbbec SDK K4A Wrapper。使用該Wrapper，用戶(hù)基本可以做到不需要修改自己的應用代碼。

若要詳細了解 Orbbec SDK 和 Orbbec SDK K4A Wrapper，請參閱《使用Orbbec SDK K4A Wrapper》。

Orbbec SDK 功能

Orbbec SDK 是 Orbbec Femto Mega的原生 SDK，能夠使用的全部功能：

●     深度相機訪(fǎng)問(wèn)，分辨率、幀率控制（包括被動(dòng) IR 模式）。

●     RGB 相機的訪(fǎng)問(wèn)，分辨率、幀率及圖像效果控制（例如曝光、白平衡、鏡像）。

●     IMU（陀螺儀和加速度傳感器）訪(fǎng)問(wèn)，不同采樣率及量程控制。

●     深度和 彩色相機硬件同步及 SDK 側的軟件同步（基于數據幀時(shí)間戳進(jìn)行匹配實(shí)現軟同步），相機之間的延遲可配置。

●     外部設備同步控制，設備之間的延遲偏移量可配置。

●     Free Run 模式可實(shí)現深度和彩色相機不同幀率配置。

●     用于處理圖像分辨率、時(shí)間戳等的相機幀元數據訪(fǎng)問(wèn)。

●     設備校準數據訪(fǎng)問(wèn)。

●     彩色圖像格式轉換、點(diǎn)云數據生成等實(shí)用 Filter。

●     與 彩色對齊的深度數據流輸出（即 D2C，輸出的深度坐標系及圖像分辨率與 RGB 一致）

●     完整設置信息獲?。ㄔO備名、固件版本、SN、設備溫度等）

●     數據錄制功能支持數據壓縮。

●     C / C++ 原生 API 及 Python、ROS1、ROS2、Android 等不同語(yǔ)言或系統 wrapper

此外，Orbbec SDK 還支持目前奧比幾乎所有主流相機。

Orbbec SDK K4A Wrapper功能

Orbbec SDK 和 Orbbec SDK K4A Wrapper 提供以下功能，這些功能一經(jīng)安裝即可在 Femto Mega上運行：

●     深度相機訪(fǎng)問(wèn)和模式控制（被動(dòng) IR 模式，以及寬視場(chǎng)和窄視場(chǎng)深度模式）。

●     RGB 相機的訪(fǎng)問(wèn)和控制（例如曝光和白平衡）。

●     運動(dòng)傳感器（陀螺儀和加速度傳感器）訪(fǎng)問(wèn)。

●     同步的深度 RGB 相機流，相機之間的延遲可配置。

●     外部設備同步控制，設備之間的延遲偏移量可配置。

●     用于處理圖像分辨率、時(shí)間戳等的相機幀元數據訪(fǎng)問(wèn)。

●     設備校準數據訪(fǎng)問(wèn)。

Femto Mega  SDK 工具

Orbbec SDK K4A Wrapper 中提供了以下工具：

●     查看器工具，可用于監視設備數據流和配置不同的模式。

●     使用 Matroska 容器格式的傳感器錄制工具和播放讀取器 API。

人體骨骼跟蹤 SDK

人體骨骼跟蹤算法SDK使用的是微軟的人體骨骼跟蹤算法，即：Azure Kinect Body Tracking SDK。

在 Femto Mega  硬件上使用人體骨骼跟蹤算法，請參考：

《將Femto Mega接入AKDK應用軟件》

Azure Kinect 人體跟蹤功能

Femto Mega支持接入Azure Kinect Body Tracking SDK，可獲得與使用AKDK完全一致的人體跟蹤功能和效果：

●     提供人體圖像分割。

●     包含視野FOV范圍的部分人體或全部人體的骨架。

●     提供每個(gè)人體的唯一標識。

●     可實(shí)時(shí)跟蹤人體。

Azure Kinect 人體跟蹤工具

將Femto Mega接入Azure Kinect Body Tracking SDK后，可支持使用此SDK中的viewer tool，實(shí)現下述功能。

●     人體跟蹤器提供一個(gè)查看器工具用于查看如何跟蹤 3D 人體。

Femto Mega硬件規格

Femto Mega 是奧比中光與微軟聯(lián)合打造的一款高性能iToF 3D相機。相機采用了與Azure Kinect DK相同的深度模塊，延續了同樣的深度模式與性能， 有關(guān)詳細信息，請參閱 《硬件規格》。

FemtoMega系統要求

FemtoMega內置深度引擎，可以實(shí)現Windows，Linux，ArmLinux，Mac，IOS和Android各種平臺支持；

后續步驟

現在你已經(jīng)對Femto Mega有了初步的認識，接下來(lái)請深入了解其各項功能并進(jìn)行相應的設置！

快速入門(mén)：《設置 Femto Mega》