新数据集助力训练家用机器人执行人类指令
亚马逊科学团队公开发布的TEACh数据集包含来自模拟环境的3000多组对话及关联视觉数据，旨在推动能完成复杂家务任务的AI助手研发。
数据集概览
- 数据规模：4365个采集会话中，成功回放3047个
- 环境构成：基于AI2-THOR模拟器的30种厨房及多数客厅/卧室/浴室变体
- 交互特性：包含45,000余条对话，平均每会话8.4条用户指令和5.25条机器人响应
- 操作能力：支持拾取/放置、开关橱柜、操作电器、液体倾倒等20余种物体交互动作
技术实现
- 任务定义语言：通过属性验证机制判定任务完成状态（如检测"存在装满咖啡的干净杯子"）
- 众包采集：双工作者分别扮演用户和机器人角色，通过网页界面在模拟环境中协作
- 动态交互：支持非结构化对话，包含过早/过晚指令、纠错指导等真实交互场景
三大基准测试
-
EDH（基于对话历史的执行）：
- 输入：对话历史+机器人动作序列
- 输出：预测后续动作并验证环境状态改变
- 应用：Alexa Prize SimBot挑战赛基准
-
TfD（基于对话的轨迹预测）：
- 输入：完整对话记录
- 输出：重建机器人全部动作序列
-
TATC（双代理任务完成）：
- 需构建用户模型（生成指令）和机器人模型（执行动作）的协同系统
验证架构
- 可见分割（validation-seen/test-seen）：评估训练房间内的泛化能力
- 未见分割（validation-unseen/test-unseen）：测试新场景适应能力
- 兼容ALFRED数据集迁移学习
该数据集已开源并配套发布arXiv技术论文，为具身智能体研究提供新基准。研究团队特别感谢30余位Alexa AI组成员的贡献。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码
