当前位置:首页 > 燃界驿讯 > 正文

爱芯元智SoC具身智能EGO数采硬件解决方案

走进机器人时代,具身智能大模型训练,如何获得和产生高质量数据集?具身VLA(视觉‑语言‑动作)、世界模型训练的核心瓶颈不在于模型参数,而在于高质量、多模态、对齐的交互数据集。传统真机遥操作成本极高:人形机器人单小时采集成本千元级别,单日有效采集不足2小时,难以规模化;而公开网络视频缺少动作、力觉、时序对齐,直接训练效果很差,EGO(Egocentric第一人称视角)数采是当前低成本大规模获取真实世界交互数据的主流路线。

针对EGO数采对多路视觉接入、多传感器同步及端侧数据处理的需求,爱芯元智提供具身智能EGO数采硬件解决方案,以AI SoC为核心,为高质量、多模态具身数据采集提供硬件支持。

高质量具身数据集的评判标准

高质量≠时长多,必须同时满足下面条件,否则会污染VLA策略训练:

多模态时序严格对齐:RGB‑D图像、手部/关节轨迹、力觉/触觉、语言指令、物体掩码时间戳同步;帧、动作、文本三者不能错位。

交互性(不是纯旁观视频):记录人与环境、物体的物理接触、抓取、工具使用,而非单纯场景录像。

任务完整性:完整Episode,包含初始化→执行→完成/失败全流程,有失败样本、恢复动作,不能只有完美示教。

分布多样性:物体、光照、背景、初始姿态、操作者、干扰、视角充分覆盖长尾场景。

可迁移对齐:人类EGO数据需要做动作重定向、视觉域迁移,消除人手与机器人灵巧手的本体差异。

低噪声:剔除模糊帧、抖动、无效停顿、误操作、奇异点轨迹。

爱芯SoC具身智能EGO数采硬件解决方案

EGO数采硬件一般需要支持GS Sensor的RGB摄像头,IMU数据,深度相机数据(畸变矫正后的图片),更加需要的是深度图数据。

不同数据要求同步触发,不同数据携带时间戳信息,用于后处理知道不同数据之间的匹配关系。以5目的EGO数采设备为例,前2个深度相机摄像头,中间一个RGB摄像头,左右边缘各一个RGB摄像头。不同摄像头之间要求Sensor的触发曝光同步,IMU数据同步,每个数据同时需要携带时间戳信息。

35b2078a-df18-11f1-8a4b-92fbcf53809c.jpg

时间戳对齐

爱芯元智多目EGO数采方案,高质量数采的方案选择

爱芯元智提供AX8850N、 AX8850A两个平台,可根据传感器路数、算力需求和整机成本灵活组合,支持多路MIPI Sensor接入、多路ISP处理及H.264/H.265硬件编码以及端侧NPU算力,为复杂机器人采集系统提供充足的硬件基础。

多目接入

AX8850A可以接入8路MIPI全局快门相机,ISP支持8K30FPS(32MP30FPS),满足EGO数采不同客户场景的分辨率需求。如AR0234分辨率1920x1200高分辨率或者1200x800分辨率。采集帧率不小于30Hz。支持OV/SC/SONY等常用Sensor,如OV OG02C10。传输数据包自带帧ID、硬件时间戳、Sensor通道编号等信息来区分不同路的图像数据。

不同数据帧间同步

数据的内同步与外同步,消除帧间同步误差。

内同步:无外部触发时,支持多目相机内同步功能;

外同步:提供统一外部触发GPIO接口,一旦收到外发同步IO,再输出Sensor vsync信号控制Sensor曝光输出。一些场合需要不同数采设备之间的数据同步。支持网络PTP数据同步。

对于机器人数采数据,不同步的数据都是无效数据。画面、姿态、动作等只要出现时间错位,就影响轨迹重建、行为理解和模型训练效果。

IMU数据:支持BMI088等IMU 200Hz的数据采集, 支持BMI088/ICM42688/

ST6DSV/SCS3302TR高精度IMU,IMU采样时间戳与8路图像帧时间戳统一到同一硬件时钟域,微秒级对齐。支持IMU采样频率200Hz,数据与图像帧同步打包。

36ceb082-df18-11f1-8a4b-92fbcf53809c.png

支持鱼眼等镜头的畸变矫正

支持NPU双目深度视差数据计算

SoC低功耗

SoC是先进工艺,相关场景的SoC低功耗特性优秀。相同电池容量小,整机续航更久。

总结

EGO的发展趋势是重量小,功耗低,续航久,体验好,这就要求SoC具备低功耗特性。AX8850N、 AX8850A均是先进工艺,适合EGO。

UMI并未过时,EGO也绝非终局,两者融合才是具身智能落地的务实选择。AX8910适合手腕处UMI,AX8850A适合头戴EGO,UMI GMSL远距离传输到EGO设备,与EGO数据一起同步存储。

左手UMI,右手UMI,2个图像数据,使用GMSL接到AX8850A,头戴EGO Sensor 5目接入到AX8850A,把数采数据存放到AX8850A,也就是UMI+EGO 7目的需求。行业一些产品只支持到6路,无法满足UMI+EGO场景。下图来自光鉴科技。从摄像头Camera帧/IMU数据的同步触发,产生的序号和时间戳等其他相关传感器数据。爱芯元智SoC平台能够完成采集、图像畸变矫正、图像双目深度信息计算(RVL压缩)等时间戳信息和数据封装,形成可不同源数据同步、可匹配的高质量具身智能数据包。