OnBoard‪!‬ Monica Xie

这次依旧是硬核话题，我们跟学术大牛深度聊聊2024年上半年美国创投圈最火的的话题之一，具身智能。
没错，智能机器人之火终于从国内来到美国了。在去年下半年的时候，美国创投界还是在关注大模型和应用、infra等等，虽然Deepmind RT-2 等工作彼时已经崭露头角，更喜欢软件的美国VC似乎还在犹豫机器人这个太硬的赛道。但是从今年上半年开始，事情似乎有了变化。
Hello World, who is OnBoard!?
除了Figure AI 这样的人形机器人公司获得了英伟达、微软等一系列战投的加持，硅谷的老牌基金们也疯狂涌入了所谓的机器人大模型公司，比如学术大牛创立的 Physical intelligence, Skild, 还有 Cruise 前CEO 创立的Bot company, 等等。
这次的嘉宾也是大名鼎鼎，UCSD 计算机科学副教授，苏昊老师，关注具身智能和3D视觉领域的同学应该都不陌生。他参与的一系列AI数据集和软件工作，从ImageNet到ShapeNet、PointNet、SAPIEN，以及最近的ManiSkill等等，都是三维视觉、机器人操作等领域穿越几个时代的标志性作品。苏昊老师现在还是智能机器人创业公司Hillbot 的联合创始人，我们深度探讨了：
过去一年，我们从学术界、工业界讨论的种种话题，又有了哪些新的进展？ 大模型的发展如何影响具身智能的不同技术路径？ 大模型带来的泛化能力，跟硬件、控制系统等，又会怎样相互作用？ 机器人模型里的数据问题，有哪些解决方案？具身智能这个看似很纷繁的话题，苏昊老师总是能抽丝剥茧，相信你们也能从我们两个多小时的交流中，受益匪浅。Enjoy!
对了！今年年初，Onboard 就发布过一期关于具身智能的讨论，嘉宾包括了 Deepmind Robotics，高仙机器人和UCSD 的不同视角的重磅嘉宾。那一期讨论也非常精彩，建议大家回去复习哈！
嘉宾介绍
苏昊 (Twitter @HaoSuLabUCSD)，UC San Diego Associate Professor，Hillbot智能机器人初创公司创始人、CTO。Stanford PhD, UCSD 具身智能实验室主任，数据科学研究所创始成员，以及视觉计算中心和情境机器人研究所成员。他的研究工作集中在开发算法来模拟、理解并与物理世界互动。
OnBoard! 主持：Monica, 美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
我们都聊了什么
03:04 苏昊的学术历程，为什么最近觉得有关证明的研究进展对机器人领域很有启发？
10:05 从智能演化的角度，理解“具身智能”这个“老概念”
15:01 为什么从语言而不是视觉上最先看到了接近人类的智能？
21:31 实现具身智能有哪些主流的路线？如何理解不同路径不同切入点背后的逻辑？
32:10 可以通过大模型的能力实现运动控制吗？有泛化性的控制数据要怎么采集？
38:26 演示学习 (learning from demonstration) 有哪些不同路径？ALOHA这类遥操作有什么利弊？
47:00 规划和执行需要一起做训练吗？做一个端到端的系统核心难点在哪里？
51:15 划重点：好的算法的本质就是降低对数据的需求
52:23 针对机器人的大模型会跟LLM架构有什么异同？
59:31 人形机器人可以解决数据和能力泛化的问题吗？
66:16 模拟器能解决训练数据的问题吗？近年来模拟器相关技术有什么关键进展？
78:31 AI生成3D，Sora 等新技术进展对实现 sim2real 路径有什么影响？
95:26 苏昊老师现在的创业项目 Hillbot
100:32 快问快答：推荐的书，影响最大的人，具身智能被高估和低估的话题，如何解压！
重点词汇和公司
Boston Dynamics PI (Physical Intelligence) OpenAI DALL-E 3 SAPIEN: A SimulAted Part-based Interactive ENvironment ManiSkill: a powerful unified framewo

聊到生成式AI的发展，开源绝对是最关键的话题之一。这次的嘉宾，可以说涵盖了大模型开源领域最值得关注的公司：从顶流社区Huggingface, 到全球开源社区都关注的阿里通义千问 Qwen 大模型，堪称行业标准的 LLM 推理框架 vLLM, 还有最近最火的软件开发 agent 项目 OpenDevin. 真的是黄金阵容！
这一期节目也发布得很应景：就在今天凌晨，阿里发布了最新的通义千问 Qwen 系列模型！Qwen2-72B 的表现甚至全面超过 SOTA 的 Llama 3，大家赶紧去关注！
首先跟大家汇报一下，上周日我们在北京举办的 OnBoard! 第一次线下听友会真是超预期！开放报名4天就250多人报名，周日从上午9点到下午3点，从机器人到AI，创业投资和软件出海，100人的场地，直到最后都几乎座无虚席！真的是非常感谢大家的支持~我们正在努力整理精华文字稿，也请期待我们更多活动！
Hello World, who is OnBoard!?

回到这一期播客，我们将深入探讨大模型的开源生态。
在生成式AI飞速发展的一年多时间里，开源无疑是一个不可忽视的话题。开源模型的迅猛发展，从 Meta 的 Llama 3 到 Mistral 的最新模型，它们对闭源大模型如 GPT4 的追赶，不仅令人惊艳，更加速了 AI 场景下产品的实际应用。而围绕大模型的生态系统，从推理加速到开发工具，再到智能代理，技术栈的丰富程度，虽然已经孕育出了像 Langchain 这样的领军企业，但这一切似乎只是冰山一角。
特别值得一提的是，随着阿里千问系列、Deepseek、以及 Yi 等中国团队主导的模型在国际舞台上崭露头角，我们不禁思考，除了模仿和追赶，中国在大模型领域的发展是否还有更多值得我们关注和自豪的成就。
今天，Monica 有幸邀请到了几位极具代表性的重磅嘉宾，来自 Huggingface 的开源老兵，有通义千问 Qwen 的开源负责人（他也是 Agent 领域最受关注的项目 OpenDevin 核心成员），还有最具国际影响力的开源项目 vLLM 主导人。真是涵盖了大模型开源生态的各个领域的最一线视角！
嘉宾们都太宝藏了，我们的话题延伸到大模型的各个方面，录了近4个小时！我们前半部分聊了很多infra的创新，以及最近很火的、以OpenDevin 为代表的软件开发agent 背后的技术和生态等话题。下半部分，我们回到大模型开源的主题，畅谈了：
底层基础大模型的开源闭源生态，未来可能有怎样的演进？ 开源模型商业化跟过去我们在大数据时代看到的databricks 之类开源商业模式有哪些异同？ 如何做一个有国际影响力的开源项目？还有数据、评测等等大模型领域的核心话题，真的非常全面，又不失一线从业者的深度。
索性就不分成两部分了，大家可以对着 show notes 里面的时间戳，直接跳转到你感兴趣的话题（虽然我觉得每个话题都很好！）
介绍了这么多，还要声明一下，节目里面重点聊到的开源社区 Huggingface，还有几个开源的项目，包括阿里千问、OpenDevin, Deepseek, 零一万物的 Yi，vLLM 等，都没有收取任何广告，完全是嘉宾走心分享，全程无广！当然，如果你们或者其他AI公司考虑赞助一下我们用爱发电的播客，我们当然也是欢迎的！
三小时硬核马拉松开始，enjoy!

嘉宾介绍
Tiezhen Wang, Huggingface 工程师，他可以说是中国与世界开源 AI 生态的桥梁，更是从 Google TensorFlow 时代到 Huggingface 早期员工，对中国和世界的开源 AI 生态都有极深的洞察。 Junyang Lin, 通义千问开源负责人，作为 Qwen 在全球开源社区的主要代言人，他不仅见证了开源的发展历程，还是目前备受瞩目的 Agent 开源项目 OpenDevin 的核心团队成员。 李卓翰，UC Berke

今年上半年 AI 领域最大的热点，除了 OpenAI 的 Sora 之外，当然就是——AI程序员！与 Github Copilot 的代码补全不同，AI Agent 公司 Cognition Labs 和其产品 Devin，宣称世界上第一位“AI 软件工程师”，拥有全栈技能，通过一个指令就能完成整个开发过程。可以端到端构建和部署程序。成立不到半年，估值就高达 20 亿美金！相应的，从Princeton SWE-agent, 到开源项目OpenDevin 这些直接竞争者，到Replit, Augment 等独角兽玩家，都纷纷进入这个领域。这是新的泡沫，还是不远的未来？
Hello World, who is OnBoard!?
这一期我们邀请的三位来自硅谷的嘉宾，在这个领域都太有发言权了！有著名的软件开发云平台独角兽 Replit 的 AI 产品核心成员，有 Agent 领域数个奠基之作的顶尖研究员，还有 ex-Google Deepmind, 现任明星 AI 编程辅助独角兽公司 Augment 的早期核心研究员。
借着小酒，我们长达两个多小时的对话，畅聊了你最关心的话题：
AI 会取代工程师吗？
AI取代了一部分软件开发需求之后，会如何重塑软件开发？
Devin 是否能代表 AI Agent 应用开发的方向？
Agent 产品未来还会迎来怎样的提升？基础大模型的边界在哪里？
最后，生成式 AI 对个人职业和社会会产生怎样的深远影响？
这或许是市面上你能听到的对于这个话题最深入的讨论（之一？！）——还有，结尾有来自 Princeton 高材生的彩蛋！
Enjoy！
嘉宾介绍：
李珎：Replit AI 团队负责 AI Coding agent，ex- startup 创始人, ex- Googler。Replit 成立于 2016 年，是一个基于浏览器的 IDE，允许用户在多种编程语言中编写、运行和分享代码。2023 年$97.4M 的 B 轮，投资人包括 A16Z，Khosla Ventures、Coatue 等，估值 $1.16B 姚顺雨：普林斯顿大学博士，清华大学获学士。他在Agent 领域发表了一系列非常有影响力的论文：从有奠基意义的 ReAct，Tree of Thoughts, 到成为行业标准的基于 GitHub 的代码能力评估数据集 SWE-Bench，到首个开源AI 程序开发 agent 项目 SWE-agent，是绝对的天才研究员！ 赵宇哲：Augment 任 AI 研究员，曾在Google Brain（现Google Deepmind）任 Staff Research Engineer，主要研究方向是语言模型预训练，指令训练，神经检索和检索增强语言模型。Augment 成立于 2022 年，是一家为提供企业级全栈式 AI 编程助手的初创公司，由硅谷著名老牌风投 Sutter Hill Ventures 孵化（Snowflake也诞生于此），并在最新一轮获得由Index Ventures、Lightspeed Venture Partners 和 Google 前 CEO Eric Schmidt 等领投的 2.5 亿美金融资，估值接近 10 亿美金。OnBoard! 主持
Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 高宁：前美元 VC 投资人，Global SaaS 社区及服务组织 Linkloud 联创，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧我们都聊了什么
03:30 三位嘉宾背景、如何进入AI领域以及最近常用的AI产品。
20:26 Replit是如何设计AI产品的，背后逻辑是什么？
28:58 Replit需要训练Coding专属模型的原因是什么？
34:04 训练代码或数学等专属模型的目的是什么？
37:50 现在Coding模型跟基础大模型的能力相比有什么差异？
40:51 Coding模型的训练方法对基础大模型的训练还有什么启发？
45:26 为什么Replit当初选择构建自己的IDE，以及对后来AI功能设计的影响在哪里？
51:01 为什么Augment选择以插件的形态服务专业程序员，以及难点在哪里？
55:27 为什么RAG能更好理解企业级Codebase的需求？
58:13 使用RAG的过程中最有挑战的地方在哪里，以及如何保证准确率？
63:38 Augment如何将服务企业的产品标准

非常久违的两位主播的研究对谈来了！在 ChatGPT 诞生近一年半的时间里，生成式 AI 领域几乎每天都在发生激动人心的变化。从大模型到应用，从软件到机器人，从文字到图片、视频、声音，从全新的商业模式到对现有业务的赋能。比起很久之前那一期对谈，不只是 AI，两位主播也都分别开始了新的征程，过去一年有了很多机会在中美一线市场频繁穿梭，终于有机会分享一些我们沉淀下来的观察与思考。
Hello world, who is OnBoard!?
Monica 去年加入了另一家美元 VC，更聚焦地关注海外的早期投资机会。GN从美元机构离开，创立了 SaaS/AI 社区 Linkloud（公众号同名），帮助越来越多中国软件和科技公司走向全球。
AI 无疑是这个时代里边最大的变量之一，近两个小时，过去一年在中美频繁奔波的我们，探讨了你关心的各种问题：
AI应用落地真的不及预期吗？ 从应用到infra有哪些有意思的落地案例？ 如何看待国内AI的进展和弯道超车的机会？ 中美差异背后的原因是什么？ AI公司出海有什么最佳实践与建议？ 我们对AI短期和长期的期待，以及podcast/newsletter推荐！一些拙见，抛砖引玉，希望对大家有一些些启发~！Enjoy!
我们都聊了什么
03:11 两位主播的自我介绍，以及最近半年日常使用的AI产品。
15:54 一年以来，哪些AI产品或落地超预期或不及预期？
20:24 为什么还在成长期的SaaS公司最容易将AI落地？
23:11 AI在全球其他地区的渗透有什么不一样的地方？
26:00 为什么在美国大模型和Infra层的进展会超预期？
30:16 对苹果Siri的预期，以及可能面临的限制在那里？
35:31 Soundhound是如何结合Voice AI来落地点餐场景，并完成商业化的？
40:42 EvolutionIQ是如何在保险领域结合AI并促进业务增长的？
49:08 Monica错过的一家初创公司是如何将AI融入销售人员工作流的？
55:47 为什么AI代码生成领域在今年会百花齐放？
65:38 国内AI的进展与美国有什么不同，为什么在C端会出现更多产品？
76:07 中美资本市场的差异在哪里，以及创业者该如何在市场下行时树立长期愿景？
81:58 为什么中美差异最大的是AI在B端的发展，以及机器人是否是个变量？
92:55 为什么“单点极致”可能是中国AI公司出海最重要的方式？
97:33 为什么出海第一步要走出国门，感受并融入开放的生态？
100:55 作为投资人，如何看待面对大模型公司下创业公司的壁垒和竞争力？
106:41 两位主播对今年AI的“大胆”预测和期待有哪些？
119:02 最后，奉上我们这一年新种草的播客和Newsletter，希望对听众有帮助！
我们提到的公司或产品
Devin (by Cognition Lab): cognitionlab.com SWE-agent: swe-agent.com DBRX by Databricks: github.com Jamba: A Hybrid Transformer-Mamba Language Model Hume AI: www.hume.ai Monica.im: https://monica.im/ Gemini Advanced: https://gemini.google.com/advanced Perplexity: www.perplexity.ai Kimi Chat: https://kimi.moonshot.cn/ Six助手（目前还在灰度测试，微信不接受新用户啦） Workstream: www.workstream.us Klarna: www.klarna.com Speak: https://www.speak.com/ Lepton.ai: www.lepton.ai Soundhound: www.soundhound.com EvolutionIQ: evolutioniq.com Siro: siro.ai Magic.dev: magic.dev Codium: https://www.codium.ai/ Cursor: https://cursor.sh/ Augment: www.augmentcode.com Sweep: www.sweep.io Typeface: www.typeface.ai Sierra AI: https://sierra.ai/ Physical intelligence: https://physicalintelligence.company/ Skild: www.skild.ai Covariant: covariant.ai Figure: www.figure.ai Cobot: https://www.co.bot/ Deepmind RT-X: deepmind.google播客及Newsletter推荐
Latent Space | swyx & Alessio | Substack Bg2 Pod Interconnected | Where Tech, Investing, Geopolitics Come ... Elad Gil Fi

上周 GDC 2024 大会在旧金山举办，可谓是游戏行业一年一度的顶级专业盛会，想必很多游戏开发者、AI 游戏方向的创业者及投资人都亲历现场。从 AIGC 到大模型，这次 GenAI 的浪潮可谓对游戏，这个看似传统的行业带来各个维度和环节的冲击，而去年斯坦福小镇、AI agents 和国内《完蛋！我被大模型包围了》、《哄哄模拟器》等 AI 原生小游戏的一夜火爆，更让我们对 AI 游戏有了更多期待！
Hello World, who is onboard?
在第五十期节目里，我们特地邀请到三位来自游戏领域不同细分方向的嘉宾，有来自硅谷 AI NPC 引擎开发平台Inworld AI的产品负责人，Inworld AI 曾在去年半年内获得超过6,000万美元融资，还有来自微软 Xbox 部门 Gaming AI 的工程师，第三位更是兼顾游戏方向资深从业与投资背景。
我们从 AI 对游戏已经带来的变化聊起，包括 AIGC、NPC 角色扮演到 Agents 的可能性，到该如何设计打造一款 AI 原生游戏以及所面临的限制，如何看待第三方开发工具在产业里的定位和挑战，最后三位嘉宾也给出了对初创公司的建议和期望，希望对无论是游戏玩家还是创业者的你们有所启发，Enjoy！
嘉宾介绍：
Nathan Yu：Inworld AI 产品总监，前微软 MR 部门高级产品经理。 邱成岭：微软 Xbox Gaming AI 工程师，个人对 Agent framework 和 On-Device model 也有工程及开发经验。 孙宇光：创业者，投资人，专注AI和 XR gaming 等方向。OnBoard!主持
Monica：美元 VC 投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 高宁：前美元 VC 投资人，Global SaaS 社区及服务组织 Linkloud 联创，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧我们都聊了什么01:52 三位嘉宾自我介绍，以及2023年最喜欢的一款游戏。
06:37 从传统AI到生成式AI，对游戏产业产生了哪些重要影响？
08:39 这一次生成式AI带来的变革主要是哪两个方面？
13:50 Inworld AI团队是什么背景，以及如何从元宇宙转变为AI NPC引擎平台的？
15:58 Inworld AI核心产品是什么，以及用户最关心哪些性能？
18:40 NPC引擎支持实时互动设计还是像Copilot一样辅助开发者？
19:56 加入AI元素的NPC在游戏里扮演什么角色，以及对用户的价值究竟在哪里？
22:47 哪类游戏最适合加入AI NPC等元素？
26:18 为什么Nathan认为当下AI游戏应让用户知晓含有AI NPC元素？
30:40 除了幻觉，AI NPC还面临哪些限制或挑战？
34:37 如何定义AI原生游戏，至今有哪些有趣的实验或Demo？
37:21 为什么至今还没有类斯坦福小镇的游戏诞生，里面有什么挑战？
43:07 为什么Agents在游戏的应用不是新鲜事，以及现在有哪些落地？
50:25 为什么市场上没有太多成功的第三方游戏开发工具，挑战在哪里？
52:58 Inworld AI是如何让游戏工作室愿意使用第三方工具而不DIY？
57:44 生成式AI还将在哪些地方为游戏开发者提高工作效率？
60:37 微软Xbox与Inworld AI的战略合作在哪些方面？
64:48 为什么第三方工具的难在跟现有工作流的结合，Inworld AI又该如何解决？
67:36 Inworld AI早期是如何获客，并与知名工作室达成合作的？
70:35 为什么对游戏产业的深刻认知对初创公司或第三方工具来说很关键？
73:08 未来一两年，生成式AI对游戏产业还可能带来怎样的变革？
77:07 海内外AI原生游戏发展会有什么不同，为什么AI小游戏将可能爆发？
我们提到的游戏或相关研究： Uncover the Smoking gun  Yandere AI Girlfriend Simulator Baldur's Gate 3 Generative Agents: Interactive Simulacra of Human Behavior The Elder Scrolls How to DM | Dungeons & Dragons Cygnus Enterprises

本期继续探讨如何在海外市场打造AI应用。上一期节目我们从不同角度探讨了技术如何推动 AI 应用落地，以及嘉宾在各自领域做应用和产品的所见所闻。如果你还没有听过上一期，欢迎先补课！
Hello World, who is OnBoard!?
本期我们邀请到了横跨中美的几位嘉宾，在各自的领域也非常有代表性。包括Monica.im 这个用户过百万的 AI 工具的创始人，也有 Typeface 这样由 Adobe 前 CPO 创建的、针对企业级用户的美国本土 AI 创业公司的早期员工，还有经历过移动互联网时代的大厂 to C 方向探索者。他们不同视角和经验的碰撞，非常精彩，这次的内容分成两期给大家放送。
第二部分，我们将着重探讨 AI 产品从0到1的增长，产品长期竞争力和未来展望。都是来自一线的实践和思考干货，大家 Enjoy!
嘉宾介绍
肖弘：Monica.im 创始人 & CEO。之前在国内 To B SaaS 领域创业。 张涛：古典产品经理，工具、内容、SaaS都做过，目前探索 AI 应用场景中。 赵鑫宇：Typeface 早期员工，负责产品后端研发以及大模型调优，此前在 Meta 和 Tiktok 等参与 growth engineering 和机器学习工作。 OnBoard! 主持：Monica：美元 VC 投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学我们都聊了什么
02:31 Monica.im海外增长是如何0到1的？为什么建立一个学习型组织很关键？
13:13 五年后，Red希望Monica.im会是一个什么样的定位？
19:07 从企业服务落地角度，为什么Agents和对专业知识的抽象会有很大价值？
23:43 现在AI互动还有哪些“改良”空间以及张涛团队正在尝试哪些小实验？
29:30 什么样的AI产品出海对国内来说有优势？
32:06 如何构建应用产品的壁垒？为什么团队至少需要有很“懂”模型的成员？
43:50 如何看待与也做Killer app的大模型公司的竞合关系？海内外大模型公司差异在哪里？
60:33 Google Gemini真正的差距为什么在开发者生态上？
63:55 最后，大家未来一年工作的重心在哪里，以及还有什么期待？
我们提到的公司：
Character.ai Google Gemini Cohere Anthropic Inflection AI Twilio Stripe Mistral AI重点词汇：
SEO：Search Engine Optimization Stable Diffusion ControlNet Code interpreter Scaling law欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！
M小姐研习录 (ID: MissMStudy)
欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。
OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！