Interest-driven 是研究品味的起点
徐丹飞反复说自己不想做没有意义的事。这个性格后来变成研究优势:能忍受没有框架的不确定性,也愿意为一个感兴趣的问题自己搭系统。
这期访谈的核心不是某个模型技巧,而是一条机器人学习路线:如果大语言模型靠互联网语言数据迎来跃迁,机器人能不能靠人类在物理世界留下的动作、视角、触觉与交互,迎来自己的 GPT-3 moment?
先把整期最重要的机器人学习判断压成几句可以复述的话。
1. 徐丹飞的主线是 interest-driven 的全栈机器人路线。 从初高中折腾单片机小车,到给机器人公司打冷电话,再到在 Stanford 自己搭 VR 手部捕捉和双臂机器人,他反复选择高不确定性但能让东西动起来的问题。
2. 行为克隆被低估,不是因为它太简单,而是因为它太系统。 遥操作手感、腕部相机、控制器响应、延迟、数据分布和 evaluation 都会改变结果;BC 的难点不在一句 supervised learning,而在从硬件到模型的闭环。
3. Human data 的关键比喻是:人只是 another robot。 如果在人身上挂足够多 sensor,就能把人类日常操作转成可供机器人学习的 action label、policy input 和物理世界变化轨迹。
4. 机器人 GPT-3 moment 需要数据、硬件和全栈系统同时过线。 EgoMimic、UMI、SLAM、触觉、长上下文模型和上半身类人硬件并不是分散话题,而是在共同回答:机器人如何 behavior clone a human。
左侧点选章节,中间看主线拆解,右侧切换术语工具箱。
每张卡对应访谈里的一个判断,可直接跳回音频。
徐丹飞反复说自己不想做没有意义的事。这个性格后来变成研究优势:能忍受没有框架的不确定性,也愿意为一个感兴趣的问题自己搭系统。
在 DeepMind 看到行为克隆有效后,他意识到学界低估了这条路线。真正难的是遥操作界面、相机、控制器、数据分布和评估闭环一起工作。
Human data 不是拿视频补一点机器人数据,而是试图把人类操作变成可学习的 action label。这个判断把第一人称视频、VIO、手部姿态和类人硬件连成一条线。
YouTube 第三人称数据规模大,但分布对齐很难。第一人称采集更像机器人视角,虽然要搭设备,却能提供更可用的高保真信号。
如果要把人的手部动作变成 action label,就必须知道相机、头、手和世界的坐标关系。AR/VR 公司多年打磨的 VIO/SLAM 变成数据路线的护城河。
人拿着像机械爪的工具直接操作世界,状态估计更好、与机器人末端执行器 gap 更小,同时还保留人直接与环境交互的优势。
访谈里估计 human-level behavior cloning 可能需要一亿小时级数据。问题是模态、格式、质量过滤和供应链都还在边跑边铺轨。
机器人学习里算法、数据、硬件、同步、控制器和评估都互相影响。徐丹飞要求学生 care about the whole thing,因为分工黑箱会让研究判断失真。
时间不够时,先听这些判断密度最高的位置。
技术词、系统名和易错 ASR 词汇的速查表。
把机器人控制做成监督学习:观察图像和状态作为 X,遥操作控制命令作为 Y,训练 policy 直接输出动作。
徐丹飞组的第一人称人类数据项目,用类似 Project Aria 的设备采集视觉、定位和手部信息,再转给类人机器人学习。
Universal Manipulation Interface。人手拿着类似机械爪的末端工具操作真实世界,兼顾状态估计和人类操作效率。
视觉惯性里程计与同步定位建图。Human data 路线需要它把头、相机、手和世界放进同一坐标系。
触觉是力的 imperfect measurement。访谈里把触觉排在视频之后,但也指出腕部相机可能吞掉一部分触觉需求。
把任务分解为高层步骤与低层运动搜索。徐丹飞认为 compositionality 是好问题,但不一定要以人为结构写进方法。
Meta 的研究眼镜,能提供第一人称 RGB、定位和手部状态估计。EgoMimic 早期依赖类似能力打通采集链路。
经典乌鸦工具链实验。尾声用它说明机器人距离零样本组合工具规划仍很远。
每段约 10 分钟:一段完整概述 + 本段全部讨论点 + 一句原话摘引。支持关键词过滤,点击时间戳可跳回音频复听。