酒店业工作中的机器人训练数据:实验室需要什么,以及规范的试点是什么样子。
人形机器人模型和操作(manipulation)模型,从人们完成真实任务的第一人称视频中学习。客房保洁、厨房和洗衣工作,是反复进行、按步骤处理物品的过程,这正是这类模型所需要的。本指南说明一个达到实验室标准的采集项目必须做好哪些事。内容基于 Hospara 正在为 2026 年第四季度筹备的试点。
简要回答。这是客房保洁、厨房、洗衣、泳池和花园任务的第一人称视角(egocentric)视频。它按照与机器人实验室商定的规格采集。知情同意链覆盖物业、每位参与员工以及任何意外拍摄的内容。实验室用它训练操作模型和人形机器人模型。Hospara 正在巴厘岛筹备 2026 年第四季度的试点。
什么是第一人称视角视频
从工作人员视角录制的视频,通常使用头戴式手机或摄像机。它记录任务过程中的双手、工具和物品。实验室用它对模型进行预训练和微调,让模型学会把感知映射为动作。
除非另加传感器,否则它只是视频。它本身不包含机器人动作、关节状态或深度信息。
为什么是酒店业任务
铺床、浴室整理复原、拖地、洗碗、折叠衣物布草、清理泳池水面和花园工作,每周重复数百次。它们遵循书面操作流程,涉及柔软和可变形的物品、液体、工具以及不断变化的光线。
这样的组合在现有数据集中很少见,现有数据集偏重少数几个国家的厨房场景。
规格包含哪些内容
- 任务类别和重复次数
- 摄像设备与佩戴方式、角度、分辨率和帧率
- 工作节奏
- 左利手和右利手的参与者
- 失败与恢复的案例
- 光照条件和环境的多样性
- 买方质量检查将采用的验收标准
没有规格的采集,产出的素材谁也用不上。
知情同意链
- 每位物业业主单独、明确的授权
- 每位参与员工以其母语签署的参与协议
- 只在空置房源内录制
- 防止拍到住客、文件和屏幕的规定
- 导出前进行模糊处理
- 每个片段的同意记录
- 隔离并删除任何意外拍摄内容的书面流程
根据印度尼西亚《个人数据保护法》(PDP Law,UU 27/2022),在任何数据出境之前,合法依据和跨境传输的保障措施都会与法律顾问一起审核。
交付
片段按任务切分,附时间戳和 JSON 清单(manifest)。片段已做模糊处理,每个片段都附有同意记录。
如有需要,我们可按 RLDS 或 LeRobot 目录结构打包片段,只包含视频和清单。手部或物品标注可通过合作伙伴提供,同样按需提供。
Hospara 的做法
2026 年第四季度,在参与的巴厘岛物业开展试点。首先在一到两套获得授权的房源中进行付费校准阶段,之后按每项规格商定采集量。
目前尚未录制或交付任何内容。面向机器人实验室的详细信息。
常见问题
第一人称视角视频包含机器人动作或深度信息吗?
不包含。除非另行约定增加传感器,否则只有视频和任务清单。按 RLDS 或 LeRobot 结构打包,不会增加动作、状态或深度信息。
员工的知情同意如何处理?
每位参与员工以自己的语言签署参与协议。每个通过验收的小时都会单独付酬,在工资之外。他们可以随时停止今后的录制,不影响其雇佣关系。培训和录制时间计入工作时间。
实验室可以寄来自己的采集设备吗?
可以。默认使用头戴式手机。也可以使用 GoPro、智能眼镜或实验室自己的设备,并采用实验室的校准流程。