注：本報告由奧比中光×光錐智能聯(lián)合發(fā)布。

1、具身智能時(shí)代重新理解機器人

1.1 知行合一：“離身”智能逐步向“具身”智能進(jìn)化

具身智能（Embodied AI）是指具備感知和理解環(huán)境的能力，能夠與物理世界進(jìn)行交互，并具備行動(dòng)能力以完成任務(wù)的智能體。相對而言，"離身"（Disembodiment）是指認知與身體分離，比如ChatGPT可以認為是一種離身智能，僅能對語(yǔ)言文本進(jìn)行理解與對話(huà)，無(wú)法對真實(shí)物理世界產(chǎn)生影響。然而，離身智能必定會(huì )向具身智能發(fā)展，" 知行合一" 是必然趨勢。

1.2催生了人工智能發(fā)展新浪潮：具身智能機器人將成為人工智能終極形態(tài)

ChatGPT的出現使得人工智能擁有了"大腦"，而高度發(fā)達的"大腦"對于身體功能提出了更高要求。因此，在2023年的ITF World半導體大會(huì )上，英偉達CEO黃仁勛明確表示，具身智能將是人工智能發(fā)展的下一個(gè)浪潮。

智能機器人是具身智能最直接的落地應用，當成為具身智能體的時(shí)候，機器人將迎來(lái)飛速發(fā)展。特斯拉 2023 年 3 月的投資者日，馬斯克認為未來(lái)人類(lèi)和人形機器人的比例將不止是 1： 1，未來(lái)人形機器人可能超過(guò)人類(lèi)數量，達到100億-200億規模。

可以說(shuō)，機器人將逐步演變?yōu)榫呱碇悄軝C器人，成為機器人發(fā)展的終極目標、也將成為人工智能的終極形態(tài)。

Tesla 人形機器人 Tesla Bot「Optimus」原型機正式登場(chǎng)

2、機器人的發(fā)展及未來(lái)趨勢

2.1機器人將完成由“不動(dòng)”、到“固定動(dòng)”、再到“自由動(dòng)”的技術(shù)變革，從而進(jìn)入具身智能機器人時(shí)代

機器人的發(fā)展大致經(jīng)歷三個(gè)階段：從初級機器人的"基本不動(dòng)+重復執行"，逐漸發(fā)展到具備"行走+獨立執行"的中級機器人，最終發(fā)展為具備"自主行走+自主執行"的具身智能機器人。

在初級階段，機器人主要表現為基本靜止狀態(tài)，僅能執行重復性任務(wù)，通常局限于固定的工作場(chǎng)景，缺乏自主性和靈活性。隨著(zhù)技術(shù)的進(jìn)步，機器人逐漸具備了行走的能力，并能夠獨立地執行多樣化的任務(wù)。最終，隨著(zhù)具身智能的興起，機器人也發(fā)展到具身智能機器人階段，機器人不僅具備自主行走能力，還能夠自主學(xué)習、推理以及執行各種任務(wù)。

2.2具身智能機器人需求達百億級規模，將深入人類(lèi)生活、工作，極大解放生產(chǎn)力

具身智能機器人由于其類(lèi)人化，將逐步替代人類(lèi)完成由低級到高級的工作任務(wù)，讓人類(lèi)從重復、繁瑣的工作中解放出來(lái)，將對數億工人以及對應的數萬(wàn)億市場(chǎng)產(chǎn)生深遠的影響。如下圖所示，技術(shù)實(shí)現難度低、勞動(dòng)力密集的職業(yè)及場(chǎng)景會(huì )首先被機器人取代，比如無(wú)人駕駛、建筑工人、農業(yè)勞動(dòng)、家政勞動(dòng)等；隨后隨著(zhù)機器人技術(shù)進(jìn)步，技術(shù)實(shí)現難度較高、勞動(dòng)力稀疏的部分職業(yè)及場(chǎng)景也將迎來(lái)機器人時(shí)代，比如保險代理人、教師等。

圖表來(lái)自報告：《人工智能機器人開(kāi)啟第四次科技革命》（由勢乘資本和光錐智能聯(lián)合發(fā)布）

此外，在具體應用場(chǎng)景中，數十種傳統機器人也將向具身智能機器人升級迭代，例如工業(yè)搬運、拆垛機器人，物流分揀、包裝、協(xié)作機器人，農業(yè)采摘、分選機器人，醫療康復機器人，養老助殘機器人，家用服務(wù)機器人，公共服務(wù)機器人，教育機器人以及人形機器人等。

具身智能機器人可以更高效、準確地完成任務(wù)，以節約時(shí)間和資源，所引領(lǐng)的機器人技術(shù)革命將帶來(lái)巨大的技術(shù)紅利，極大地解放生產(chǎn)力，同時(shí)也會(huì )創(chuàng )造新的經(jīng)濟增長(cháng)點(diǎn)，推動(dòng)社會(huì )發(fā)展與進(jìn)步。

2.3具身智能機器人將沿“大腦先行、感知突破、身體完善”的方向迭代發(fā)展，當下迎來(lái)機器人視覺(jué)歷史發(fā)展機遇

類(lèi)似ChatGPT的通用大模型賦予具身智能機器人像人類(lèi)一樣的思考、推理與表達能力，但僅有"大腦"是遠遠不夠的，還需要像人類(lèi)一樣具備三大核心能力：用于思考和推理的“大腦”、用于感知世界的“感覺(jué)”、用于與世界交互的“身體和手腳”。具身智能機器人的發(fā)展也一定是由"大腦"帶動(dòng)，逐步向“眼睛”等視覺(jué)感知體、“手腳”等運動(dòng)執行體不斷升級迭代的過(guò)程，即沿著(zhù)“大腦先行、感知突破、身體完善”的方向迭代發(fā)展。

大腦方面，GPT、數據、算力等技術(shù)的發(fā)展給大腦提供了極佳的土壤，已高度智能化。谷歌和微軟的AI團隊走在前列，2023年3月，谷歌和柏林工業(yè)大學(xué)的團隊重磅推出了史上最大的視覺(jué)-語(yǔ)言模型——PaLM-E（Pathways Language Model with Embodied），參數量高達5620億（GPT-3的參數量為1750億）。該模型不僅可以理解圖像，還能理解、生成語(yǔ)言，可以執行各種復雜的機器人指令而無(wú)需重新訓練。谷歌研究人員計劃探索PaLM-E在現實(shí)世界場(chǎng)景中的更多應用，例如家庭自動(dòng)化或工業(yè)機器人。微軟團隊也在探索如何將OpenAI研發(fā)的ChatGPT擴展到機器人領(lǐng)域。

目前，已經(jīng)有更為輕量化的大模型能夠獨立運行在邊緣端（如機器人、手機）上，為其提供"大腦"功能。這些大模型在某些專(zhuān)業(yè)領(lǐng)域通過(guò)專(zhuān)門(mén)訓練，可以接近人類(lèi)的智能水平，擁有百億級甚至更低的參數，使得它們可以在邊緣設備和終端上運行，不依賴(lài)云端計算能力，從而讓終端設備也能具備智能決策的能力。比如目前已經(jīng)可以在手機上運行的大模型有：MobileBERT（Bidirectional Encoder Representations from Transformers），TinyBERT，MobileNet等。

緊隨其后的，將是人工智能“眼睛”的爆發(fā)式發(fā)展。

3、機器人視覺(jué)的發(fā)展及未來(lái)趨勢

3.1通用大模型往多模態(tài)大模型方向演進(jìn)，機器視覺(jué)向機器人視覺(jué)進(jìn)化

ChatGPT通用大模型僅支持自然語(yǔ)言處理，然而機器人大腦所要處理的信息是多模態(tài)的，例如文本、視覺(jué)圖像、語(yǔ)音等等，因此大模型也正逐步往多模態(tài)大模型方向演進(jìn)。多模態(tài)大模型能夠將不同模態(tài)的信息融合在一起，實(shí)現跨模態(tài)的理解、生成和推理，與人類(lèi)大腦的功能最為接近。近期，Meta推出了多模態(tài)大模型ImageBind，能夠處理文本、音頻、3D視覺(jué)、溫度、IMU信息；華為也將在2023年7月推出 “盤(pán)古Chat” 多模態(tài)大模型。

隨著(zhù)多模態(tài)大模型的發(fā)展，當“大腦”具備對視覺(jué)信息處理、推理等能力，對“眼睛”的需求便呼之欲出，一方面視覺(jué)信息是多模態(tài)信息的必要組成部分，二是與人類(lèi)類(lèi)比來(lái)看，視覺(jué)信息在所有感知信息中占比超過(guò)70%，也將是人工智能感知世界最重要的信息源。傳統機器視覺(jué)普遍是2D的模塊化視覺(jué)設備，應用在相對固定的環(huán)境，而具身智能機器人所需要的機器人視覺(jué)則是類(lèi)人眼的小型化、3D的嵌入式器件，且面向的是復雜變化的環(huán)境，因此在產(chǎn)品形態(tài)以及技術(shù)實(shí)現上都與傳統機器視覺(jué)存在巨大差異，機器視覺(jué)將向機器人視覺(jué)不斷進(jìn)化。

3.2產(chǎn)品形態(tài)上，機器人視覺(jué)相比傳統機器視覺(jué)更加 3D化、高度集成化、場(chǎng)景復雜化

(1)      2D視覺(jué)向3D視覺(jué)進(jìn)化，3D視覺(jué)具備毫米級甚至更高精度的視覺(jué)能力，可以對真實(shí)物體場(chǎng)景進(jìn)行高精度掃描與還原。傳統2D視覺(jué)只能應用在“可控規范”的環(huán)境中，比如工業(yè)產(chǎn)線(xiàn)，而具身智能機器人所面對的是不可控規范的場(chǎng)景，2D視覺(jué)無(wú)法滿(mǎn)足。

(2)      模塊化向高度集成嵌入式進(jìn)化，傳統機器人例如部分工業(yè)機器人所配備的視覺(jué)設備大都是模塊化的設備，普遍包括光源、鏡頭、相機、圖像采集卡、機器視覺(jué)算法、應用軟件等模塊，其中光源跟相機分開(kāi)，相機跟鏡頭分開(kāi)，相機跟圖像采集卡分開(kāi)，各個(gè)部件體積龐大，導致整體體積大、成本高，無(wú)法應用于需要廣泛普及的具身智能機器人中。

(3)      單一場(chǎng)景到復雜場(chǎng)景（變化場(chǎng)景）進(jìn)化，具身智能機器人所面向的是未知的復雜場(chǎng)景或變化場(chǎng)景，這就導致單一視覺(jué)傳感器無(wú)法滿(mǎn)足需求，另外為了應付變化場(chǎng)景，要求具備極高魯棒性的智能視覺(jué)算法。

因此，具身智能機器人所需要的“眼睛”，一定是3D的、高度集成的、適應復雜變化場(chǎng)景的智能化“眼睛”。

3.3技術(shù)實(shí)現上，機器人視覺(jué)相比傳統機器視覺(jué)更注重多專(zhuān)業(yè)融合、底層元器件定制與集成、以及高度依賴(lài)智能視覺(jué)算法

(1)      多專(zhuān)業(yè)、跨學(xué)科、高精尖。3D視覺(jué)相對2D視覺(jué)雖然多了一個(gè)維度的信息，但要付出的是技術(shù)代價(jià)是，全新的系統架構設計、被精密編碼的光學(xué)發(fā)射器、顛覆性的芯片像素架構設計、高穩定性的光電結構設計、高精密的制造產(chǎn)線(xiàn)，需要從系統、芯片、光學(xué)、結構、算法多專(zhuān)業(yè)進(jìn)行逐一突破后進(jìn)行高度融合。

(2)      定制化、集成化。設計出符合具身智能機器人的視覺(jué)系統，需要對所有核心元器件進(jìn)行特殊定制，包括機器人視覺(jué)專(zhuān)用芯片，要求企業(yè)具備底層創(chuàng )新能力，并進(jìn)行高度集成，才能在性能、成本、體積上實(shí)現最優(yōu)，以滿(mǎn)足具身智能機器人需要。

(3)      高度依賴(lài)智能視覺(jué)算法。面對復雜變化場(chǎng)景，比如高溫環(huán)境下需要適應溫度變化、在光照變化場(chǎng)景下需要穩定輸出數據、多視覺(jué)傳感器之間需要高度同步與配準、在遭遇打擊跌落時(shí)可以及時(shí)恢復視覺(jué)能力，這里面將運用多種智能視覺(jué)算法，比如HDR、AF、復雜材質(zhì)成像、溫度補償算法、光照自適應算法、同步配準算法、抗變形算法等等，這些智能視覺(jué)算法都是傳統機器人視覺(jué)所不涉及的。

因此，隨著(zhù)機器人向具身智能機器人發(fā)展，機器人視覺(jué)也朝著(zhù)3D、高度集成、適應復雜變化場(chǎng)景的方向進(jìn)化，對相關(guān)研發(fā)機構也提出了全新的能力訴求，多專(zhuān)業(yè)融合、底層創(chuàng )新能力、智能視覺(jué)算法將成為企業(yè)的核心技術(shù)競爭力。

4、奧比中光的機器人視覺(jué)技術(shù)布局、產(chǎn)品與應用

奧比中光經(jīng)過(guò)10多年的發(fā)展，致力于讓所有終端看懂世界，高度契合當下具身智能機器人視覺(jué)發(fā)展需要，面向具身智能機器人，已布局了全方位的機器人視覺(jué)技術(shù)與產(chǎn)品方案。

4.1全球率先完成具身智能機器人視覺(jué)的核心技術(shù)布局

針對具身智能機器人視覺(jué)，奧比中光著(zhù)眼于中長(cháng)期技術(shù)發(fā)展與需求進(jìn)行了全方位的技術(shù)路線(xiàn)布局以及技術(shù)能力布局，其中技術(shù)路線(xiàn)覆蓋單目結構光、雙目視覺(jué)、TOF、LIDAR，技術(shù)能力覆蓋機器人視覺(jué)芯片、智能視覺(jué)算法、模組及方案以及規?；慨a(chǎn)等能力。

4.2     已推出面向具身智能機器人所需要的多種系統布局產(chǎn)品

基于機器人本身算力差別，布局了兩種系統方案，一種是針對機器人本身具備較高計算能力的，僅提供低成本的嵌入式視覺(jué)傳感器，傳感器本身不帶智能視覺(jué)算法；二是自帶邊緣算力的智能視覺(jué)傳感器，傳感器可自行執行算法及軟件，可以應用在本體不具備額外算力的機器人上。

4.3全球范圍內成功落地多種機器人視覺(jué)應用

奧比中光在過(guò)去的十年里，一直致力于給機器人提供智能化眼睛，推動(dòng)機器人視覺(jué)發(fā)展，相應視覺(jué)產(chǎn)品已經(jīng)在商用清潔、配送、迎賓、教育、倉儲物流等多個(gè)領(lǐng)域成功落地，服務(wù)于各種類(lèi)型的機器人，包括輪式機器人、機械臂、多足機器人以及人形機器人。

1)        在商用清潔領(lǐng)域，搭載奧比中光DaBai雙目結構光相機的高仙清潔機器人可以自動(dòng)識別、清理垃圾，并在復雜的戶(hù)外環(huán)境中自動(dòng)避障，極大地提升了清潔效率。

2)        在送餐領(lǐng)域，搭載奧比中光DaBai Pro雙目結構光相機的普渡送餐機器人可實(shí)現在餐廳復雜環(huán)境下遇障即停，隨轉即走，做到3D全向避障。

3)        在工業(yè)領(lǐng)域，搭載奧比中光DaBai DCW雙目結構光相機和MS500單線(xiàn)激光雷達的AMR可實(shí)現在智慧工廠(chǎng)環(huán)境下的貨物自動(dòng)轉運，極大提高生產(chǎn)效率。

4)        CES2023，由奧比中光和微軟、英偉達聯(lián)合研發(fā)制造的深度相機Femto Mega首次亮相，該相機融合微軟第一代深度相機Azure Kinect的全部性能，并集成英偉達Jetson Nano深度算力平臺，成為物流、機器人、制造、工業(yè)、零售、醫療保健和健身解決方案等領(lǐng)域3D視覺(jué)開(kāi)發(fā)的理想選擇。

5)        COMPUTEX 2023(臺北國際電腦展)正式舉辦。NVIDIA創(chuàng )始人兼CEO黃仁勛在 COMPUTEX 2023大會(huì )主題演講中介紹了NVIDIA全球產(chǎn)業(yè)數字化生態(tài)布局,作為其合作伙伴,奧比中光正式宣布將Femto Mega和其它3D相機集成到NVIDIA Omniverse生態(tài)開(kāi)發(fā)平臺中。NVIDIA Omniverse是一個(gè)開(kāi)放的開(kāi)發(fā)平臺,用于構建和運行元宇宙應用。在奧比中光3D相機集成到Omniverse后,使用NVIDIA Isaac Sim(一種機器人模擬工具包)的客戶(hù)就能夠快速設計其3D視覺(jué)系統,提高AI系統設計和測試的真實(shí)性和精確性。

結語(yǔ)

毋庸置疑，具身智能機器人將開(kāi)啟全新機器人革命、引領(lǐng)新一代人工智能浪潮，通用大模型向多模態(tài)大模型發(fā)展，機器視覺(jué)向機器人視覺(jué)進(jìn)化，站在新一輪科技革命歷史機遇上，奧比中光將通過(guò)核心技術(shù)打造機器人視覺(jué)產(chǎn)品，通過(guò)產(chǎn)品的推廣應用助力具身智能機器人視覺(jué)技術(shù)進(jìn)步與行業(yè)發(fā)展。