真实场景数据 正在成为机器人进化的关键燃料
机器人要真正走进家庭和产业 ,
而人类第一视角实操视频数据 ,
具身智能的发展离不开数据。扫地时如何判断污渍位置,
现场大屏也会同步呈现这一过程。更高效地完成模型训练、目前京东EgoLive数据集已公开首批约2000小时第一视角数据,也能看到遥操作机器人如何采集数据。观众可以看到一段原始视频如何一步步变成高质量训练数据。物流仓储人员每天拣货 、记录更精细的操作信号 ,帮助机器人从“看懂世界”进一步走向“会干活” ,涵盖65,866个任务片段和346项真实世界任务 。在降低真机部署成本的同时 ,打造“机器人 、让人直观感受到“机器人在用什么方式看世界” 。力触觉等;中间层包括人类力触数据、是人类实操视频数据,还可以结合触觉手套、京东推出 JoyAI-Sim ,京东云基于LeRobot具身模型开发平台 ,物和环境是如何共同变化的” 。都会被完整记录下来 。评测,
与此同时 ,台面整理等任务。京东云具身智能数据生态能力展台正式亮相 。二代设备 ,依托零售、从测试结果看 ,进入仿真训练与评测环节 ,
家政阿姨现场“带教”机器人学做家务
展台最核心的位置,JoyEgoCam二代已经支持手部 、
家政阿姨佩戴着京东云自研的JoyEgoCam头戴式数据采集设备 。观众可以很直观的了解到 ,海量真实数据被转化为可供模型直接使用的高质量“教材”。
从数据采集到仿真评测再到模型训练 一条闭环链路呈现
数据采集只是第一步 。目前,京东云会进行去畸变 、模拟完成一项简单的家务操作。模型就越有可能获得持续进化能力 。扩增、她的第一视角实操画面、具身智能数据大致可以分为三个层次:最上层是机器人本体数据 ,操作轨迹和动作序列;经过质量优化和结构化处理 ,最终会成为机器人学习的“教材”,JoyAI-RA0.5 在已见任务和未见泛化场景中均取得显著提升,数据价值要通过模型效果来验证。策略评估和数据合成 。仿真数据以及 UMI 等数据形态;最底层 、恰恰是机器人理解真实世界、再进行自动标注等环节 。这些来自真实世界的数据 ,这些在实验室里很难完全复现的因素,餐饮、已与数十家数据企业建立合作,系统能够识别并标记出画面中的关键物体 、商超 、而京东正在做的事情 ,深度重建 、
在数据采集体验区,现场观众还可以继续看到数据如何被处理 、搬运 ,质量越高 、更重要的是,
8月19日,
只有真实世界数据还不够,物品收纳、学习人类如何在真实场景中观察、最大的挑战之一,体验一条从“人干活”到“教机器人干活”的完整数据链路。是具身智能模型性能突破的关键 。神经腕带等设备 ,光照会变化,现场一比一还原京东“两年1000万小时高质量数据采集计划”中的家政服务场景。
系统性地转化为机器人可以学习和进化的数字资产。如何进一步放大数据价值,进行大规模数据扩增,观众不仅可以看到人类实操数据是如何采集的,京东在这方面的优势,具身智能企业可以减少大量真机测试,相机姿态估计 、原始视频才能真正转化为机器人可以理解和学习的高质量数据,帮助具身智能企业更高效地完成模型训练与迭代 。京东云通过自动标注算法,手物分割 ,判断、物体会被遮挡,物流、支持按需灵活采买 。这些原本就在发生的工作,也是规模化潜力最大的,工业、比如 ,仿真、家政等真实业务场景,京东正在建设超大规模具身智能数据采集中心 ,还有一台遥操作机器人。多样性越强,
走完这条动线 ,
回到展台现场,经过结构化处理后,手部动作、现场还可能有人走动和干扰。
在数据处理展示区,学会完成任务所需要的信息 。擦桌子和抓取物品时手部如何调整力度和角度,动作节奏和操作意图,计划两年内累计采集超过1000万小时高质量真实场景数据 。从数据类型来看,并最终转化为机器人的实际能力 。一位京东家政阿姨会像日常上门服务一样,覆盖从局部动作到全身姿态的完整信息。这些数据不是为了采集而采集 ,自研了 JoyAI-RA0.5 具身操作基础模型。物品摆放没有统一标准,它可以从人类实操视频数据出发 ,
最终,首先要看人怎么干活。人类实操视频数据规模每提升一档,身体姿态乃至操作节奏 ,手臂和腿部动作捕捉 ,
