关于Femto Mega


Femto Mega 45°视图右斜.png

Femto Mega作为奥比中光联合微软、英伟达共同推出的新一代iToF相机,整合英伟达算力及微软深度引擎技术,整机具备高通用性优势,集成深度算力无需额外算力,此外还支持POE网络接口; 在软件SDK中不仅提供OrbbecSDK发挥POE强劲性能,还为兼容微软AzureKinect生态软件应用,提供完全兼容 AzureKinect DK  的API 接口及 Azure Kinect DK  应用迁移文档;目前FemotMega可实现规模化稳定量产,可满足物流、机械手臂、制造、零售、医疗保健和运动健身应用场景需求。

 

Femto Mega开发环境由以下多个 SDK 组成:

●     用于访问设备的Orbbec SDK K4A Wrapper 或者 Orbbec SDK。

●     用于跟踪 3D 人体的人体跟踪 SDK。

此外,可将认知视觉服务与设备 RGB 相机配合使用,使用Orbbec SDK K4a Wrapper的系统框图如下:

image.png

注: 只使用Orbbec SDK 而不使用 Orbbec SDK K4a Wrapper 不能使用AKDK的骨骼跟踪算法。

 

 

Orbbec SDK 和 Orbbec SDK K4A Wrapper

Orbbec Femto Mega是Microsoft Azure Kinect DK的高级进阶版本,我们为此产品提供了两套SDK:Orbbec SDK和 Orbbec SDK K4A Wrapper。

由于Orbbec无法提供原有Azure Kinect DK开发工具的升级及维护,从长期角度来看,我们推荐您尽快尝试和使用Orbbec一直在维护和更新的Orbbec SDK。使用Orbbec SDK搭配 Femto Mega,您将得到POE网络等丰富且强大的功能。

为帮助已经使用K4A开发了应用的用户可以更加快速上手Orbbec Femto Mega,并实现对Microsoft AzureKienct 的无缝替换。我们在Orbbec SDK上封装了兼容K4A API的Orbbec SDK K4A Wrapper。使用该Wrapper,用户基本可以做到不需要修改自己的应用代码。

若要详细了解 Orbbec SDK 和 Orbbec SDK K4A Wrapper,请参阅《使用Orbbec SDK K4A Wrapper》

 

Orbbec SDK 功能

Orbbec SDK 是 Orbbec Femto Mega的原生 SDK,能够使用的全部功能:

●     深度相机访问,分辨率、帧率控制(包括被动 IR 模式)。

●     RGB 相机的访问,分辨率、帧率及图像效果控制(例如曝光、白平衡、镜像)。

●     IMU(陀螺仪和加速度传感器)访问,不同采样率及量程控制。

●     深度和 彩色相机硬件同步及 SDK 侧的软件同步(基于数据帧时间戳进行匹配实现软同步),相机之间的延迟可配置。

●     外部设备同步控制,设备之间的延迟偏移量可配置。

●     Free Run 模式可实现深度和彩色相机不同帧率配置。

●     用于处理图像分辨率、时间戳等的相机帧元数据访问。

●     设备校准数据访问。

●     彩色图像格式转换、点云数据生成等实用 Filter。

●     与 彩色对齐的深度数据流输出(即 D2C,输出的深度坐标系及图像分辨率与 RGB 一致)

●     完整设置信息获取(设备名、固件版本、SN、设备温度等)

●     数据录制功能支持数据压缩。

●     C / C++ 原生 API 及 Python、ROS1、ROS2、Android 等不同语言或系统 wrapper

此外,Orbbec SDK 还支持目前奥比几乎所有主流相机。

 

Orbbec SDK K4A Wrapper功能

Orbbec SDK 和 Orbbec SDK K4A Wrapper 提供以下功能,这些功能一经安装即可在 Femto Mega上运行:

●     深度相机访问和模式控制(被动 IR 模式,以及宽视场和窄视场深度模式)。

●     RGB 相机的访问和控制(例如曝光和白平衡)。

●     运动传感器(陀螺仪和加速度传感器)访问。

●     同步的深度 RGB 相机流,相机之间的延迟可配置。

●     外部设备同步控制,设备之间的延迟偏移量可配置。

●     用于处理图像分辨率、时间戳等的相机帧元数据访问。

●     设备校准数据访问。

 

Femto Mega  SDK 工具

Orbbec SDK K4A Wrapper 中提供了以下工具:

●     查看器工具,可用于监视设备数据流和配置不同的模式。

●     使用 Matroska 容器格式的传感器录制工具和播放读取器 API。


人体骨骼跟踪 SDK

人体骨骼跟踪算法SDK使用的是微软的人体骨骼跟踪算法,即:Azure Kinect Body Tracking SDK。

在 Femto Mega  硬件上使用人体骨骼跟踪算法,请参考:

《将Femto Mega接入AKDK应用软件》

 

Azure Kinect 人体跟踪功能

Femto Mega支持接入Azure Kinect Body Tracking SDK,可获得与使用AKDK完全一致的人体跟踪功能和效果:

●     提供人体图像分割。

●     包含视野FOV范围的部分人体或全部人体的骨架。

●     提供每个人体的唯一标识。

●     可实时跟踪人体。

 

Azure Kinect 人体跟踪工具

将Femto Mega接入Azure Kinect Body Tracking SDK后,可支持使用此SDK中的viewer tool,实现下述功能。

●     人体跟踪器提供一个查看器工具用于查看如何跟踪 3D 人体。

 

Femto Mega硬件规格

Femto Mega 是奥比中光与微软联合打造的一款高性能iToF 3D相机。相机采用了与Azure Kinect DK相同的深度模块,延续了同样的深度模式与性能, 有关详细信息,请参阅 《硬件规格》

 

FemtoMega系统要求

FemtoMega内置深度引擎,可以实现Windows,Linux,ArmLinux,Mac,IOS和Android各种平台支持;

 

后续步骤

现在你已经对Femto Mega有了初步的认识,接下来请深入了解其各项功能并进行相应的设置!

快速入门:《设置 Femto Mega》