E211｜站在内容创作者与机器人的交界处：聊聊3D数字人的进化

9月的最后一天，Sora2发布，它可以把一句话变成一段10秒的短视频；好莱坞完全由AI创作的演员Tilly Norwood，诞生6个多月就获得了6.5万粉丝，她发自拍、代言品牌，却从未真实存在。数字人，正在成为新的内容生产者。
但从“生成一段视频”，到与一个3D数字人实时稳定互动，中间隔着很多技术壁垒。本期嘉宾柴金祥教授，他在2000年就已经进入卡内基梅隆大学研究机器人，但因为机器人应用与落地极为困难，他们团队反而成为世界上最早用AI做3D动画的团队；18年来，他几乎在做同样的研究。
从机器人到好莱坞的AI动画，到我们今天讨论的3D数字人模型是不是又可以反过来驱动机器人，这听起来像是一种轮回，却也是一种新的开始。

【主播】
泓君，硅谷101创始人，播客主理人
【嘉宾】
柴金祥，魔珐科技创始人兼CEO，TAMU计算机科学和工程系终身教授、博导

【你将听到】
数字人，下一代内容生产者
02:45 从Sora2的发布，看“文生视频”的进步与局限
05:58 Text-to-Video与Text-to-3D的核心区别：像素和参数
08:55 成本革命的基石：文生3D多模态大模型（星云平台）
13:33 传统虚拟数字人是如何动起来的？
16:34 好莱坞有数据无算法，AI公司有算法无数据

多模态大模型重塑人机交互
19:46 柴教授的从业经历：从机器人控制到数字人动画
20:46 Jessica Hodgins：数字人物理动画的先驱
22:24 很多做Robotics很厉害的人，其实都是做动画的
26:49 “交互-游戏-好莱坞”，渐进式的技术落地路线图
29:45 虚拟数字人的两条岔路：预制的完美v.s实时的鲜活
32:07 AI渲染+分层模型，终结“显卡依赖”

3D数字人的商业化前景
37:02 B端的统一形象与C端的个人分身
40:36 规模化落地需翻越“三座大山”：质量、延时、成本
42:21 自研语音，风格化“人设”为数字人注入灵魂

加速具身智能突破泛化
45:07 对机器人产业判断：白领场景将早于蓝领场景落地
46:13 用海量3D动作数据教机器人动作规划，但缺乏力的反馈
47:18 从“运动学”到“动力学”，小脑进化仍需强化学习突破
49:23 从“爬楼梯”这件小事，看数据如何促进泛化
58:33 跳脱细节调配，机器人研究进入“黑盒模式”

【延伸阅读和相关术语】
文生3D多模态大模型：一种人工智能模型，输入一段文字描述，就能直接生成一个立体的、会动、会说话的3D数字人，“多模态”指输出包含了语音、表情、肢体动作等多种信息模式。
VLA模型：下一代机器人的“大脑”模型，它能让机器人理解看到的画面（Vision），理解人类的语言指令（Language），并直接规划出要执行的动作（Action）。
运动学和动力学（Kinematics and Dynamics）：机器人运动的两个基础学科。运动学解决 “做什么动作” 的问题，不考虑力；动力学解决 “用多大力气做” 的问题。让机器人完成精细操作，需要两者结合。

【监制】
泓君
【后期】
AMEI
【运营】
朱婕
【BGM】
Azoic - Max Anson
Treasure Hunt - Helmut Schenker
Lost in Time - Aiyo

【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net

Special Guest: 柴金祥.