EP 55. 对话UCSD副教授苏昊：从学术到创业，深度解读具身智能的实现路径

这次依旧是硬核话题，我们跟学术大牛深度聊聊2024年上半年美国创投圈最火的的话题之一，具身智能。

没错，智能机器人之火终于从国内来到美国了。在去年下半年的时候，美国创投界还是在关注大模型和应用、infra等等，虽然Deepmind RT-2 等工作彼时已经崭露头角，更喜欢软件的美国VC似乎还在犹豫机器人这个太硬的赛道。但是从今年上半年开始，事情似乎有了变化。

Hello World, who is OnBoard!?

除了Figure AI 这样的人形机器人公司获得了英伟达、微软等一系列战投的加持，硅谷的老牌基金们也疯狂涌入了所谓的机器人大模型公司，比如学术大牛创立的 Physical intelligence, Skild, 还有 Cruise 前CEO 创立的Bot company, 等等。

这次的嘉宾也是大名鼎鼎，UCSD 计算机科学副教授，苏昊老师，关注具身智能和3D视觉领域的同学应该都不陌生。他参与的一系列AI数据集和软件工作，从ImageNet到ShapeNet、PointNet、SAPIEN，以及最近的ManiSkill等等，都是三维视觉、机器人操作等领域穿越几个时代的标志性作品。苏昊老师现在还是智能机器人创业公司Hillbot 的联合创始人，我们深度探讨了：

• 过去一年，我们从学术界、工业界讨论的种种话题，又有了哪些新的进展？
• 大模型的发展如何影响具身智能的不同技术路径？
• 大模型带来的泛化能力，跟硬件、控制系统等，又会怎样相互作用？
• 机器人模型里的数据问题，有哪些解决方案？

具身智能这个看似很纷繁的话题，苏昊老师总是能抽丝剥茧，相信你们也能从我们两个多小时的交流中，受益匪浅。Enjoy!

对了！今年年初，Onboard 就发布过一期关于具身智能的讨论，嘉宾包括了 Deepmind Robotics，高仙机器人和UCSD 的不同视角的重磅嘉宾。那一期讨论也非常精彩，建议大家回去复习哈！

嘉宾介绍

苏昊 (Twitter @HaoSuLabUCSD)，UC San Diego Associate Professor，Hillbot智能机器人初创公司创始人、CTO。Stanford PhD, UCSD 具身智能实验室主任，数据科学研究所创始成员，以及视觉计算中心和情境机器人研究所成员。他的研究工作集中在开发算法来模拟、理解并与物理世界互动。

OnBoard! 主持：Monica, 美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

03:04 苏昊的学术历程，为什么最近觉得有关证明的研究进展对机器人领域很有启发？

10:05 从智能演化的角度，理解“具身智能”这个“老概念”

15:01 为什么从语言而不是视觉上最先看到了接近人类的智能？

21:31 实现具身智能有哪些主流的路线？如何理解不同路径不同切入点背后的逻辑？

32:10 可以通过大模型的能力实现运动控制吗？有泛化性的控制数据要怎么采集？

38:26 演示学习 (learning from demonstration) 有哪些不同路径？ALOHA这类遥操作有什么利弊？

47:00 规划和执行需要一起做训练吗？做一个端到端的系统核心难点在哪里？

51:15 划重点：好的算法的本质就是降低对数据的需求

52:23 针对机器人的大模型会跟LLM架构有什么异同？

59:31 人形机器人可以解决数据和能力泛化的问题吗？

66:16 模拟器能解决训练数据的问题吗？近年来模拟器相关技术有什么关键进展