科技沉思‪录‬ YusenDai

在OpenAI的YouTube官方账号里，一个小红人追着小蓝人玩捉迷藏游戏的视频有最高的点击率。

在强化学习算法下，小红和小蓝这些AI小人在虚拟世界里面不停玩游戏，一开始的小蓝只会躲，在日夜重复玩了上万轮之后，它们开始发现策略、学会协作、甚至反制。
第一期节目，我们邀请到了清华大学交叉信息研究院助理教授吴翼，他也是捉迷藏游戏的团队成员之一。在2022年回国任教前，他曾在OpenAI工作了一年半的时间。在他现在的办公室里，有意思的AI实验还在发生，有的训练AI玩游戏，有的指挥机器狗追小球，而这些共同的目的是想做一个能与人交互的通用AI。
在本期播客，你将听到：学术界与工业界之间、中美公司之间研究AI的区别在哪里？为什么将游戏作为AI的研究对象？机器人的GPT-3时刻是什么？ChatGPT对机器人有什么帮助？如何考虑AI的安全与对齐？
【主持人】戴雨森 真格基金管理合伙人
【嘉宾】吴翼 清华大学交叉信息研究院助理教授
【时间轴】
01:56 打游戏，指挥机器狗追小球，吴翼的团队正在做什么
03:39 ChatGPT不能把事情全做完，它只是起点
10:44 OpenAI的研究方式不同于传统的学术界和工业界
11:50 如何看待OpenAI从非盈利组织转为盈利性公司？
14:42 字节会做出中国领先的大模型吗？
17:36 AI喜欢研究游戏，因为游戏是足够复杂的模拟世界
30:28 机器人的GPT-3时刻：机械手拧魔方
38:25 AI可以写小说、玩游戏，但做不到给你递一杯咖啡
50:24 给大模型加一些不确定性，防止它自信地胡说八道
55:08 未来人们的工作可能都在为AI创造数据
58:37 吴翼最近在筹备的创业团队
【相关资料】
吴翼清华主页
Multi-Agent Hide and Seek
这个小AI后来学会了一些奇技淫巧，我们看到以后就第二次地崩溃了 | 吴翼 一席第811位讲者
【联系我们】
公众号：真格基金（ID: zhenfund）
收听渠道：小宇宙｜Apple Podcast｜喜马拉雅
邮箱：yusen_dai@zhenfund.com
如对节目有任何的建议与期待，也欢迎大家在留言中互动～

最近6个月，以ChatGPT为代表的生成式AI技术出现了「寒武纪大爆发」。每天我们都能看到生成式AI涌现出新能力、新场景、新应用。作为一直研究和从事科技创新的创业者和投资人，我既感到非常兴奋，又和很多同行一样产生深深的担忧。
当一种新技术被创造出来的时候，其实被同时创造的还有相应的责任，但这种责任往往需要很长时间才会被人类所发现。历史教训告诉我们，在新技术造成大问题之前，人类世界往往是来不及去全面考虑新技术背后的责任的。
这期播客录制于2023年4月，我邀请了很活跃的青年AI学者符尧交流关于AI安全和对齐（Alignment）的一系列话题。在本期播客里，你将听到我们讨论什么是 AI alignment？目前主流的研究和进展是什么？大语言模型的能力不断增强，AI 的能力边界在哪里？面对动态变化的价值观，怎么 align AI？针对AI safety的研究有什么大框架？AI 是否具有意识？大模型方面中美的差距在哪里？
【主持人】戴雨森 真格基金管理合伙人
【嘉宾】符尧 青年AI研究员
【2:30】2022年一整年，我追踪了GPT所有演化的版本
【3:49】Alignment就是，希望AI符合人类的预期，符合人类的价值观
【5:42】Open AI 在alignment上下了很多功夫
【9:49】公开信真的能防“坏人”吗？
【16:49】在很多维度上AI会比人类强很多，但也存在一些维度AI还无法拥有人类的能力
【21:46】人类与人工智能的关系就好比教练与运动员
【26:26】如何让AI向善：给AI文明
【36:10】AI就像孩子能够迅速长大，alignment就像家长的管教，困难的同时又需要细水长流
【40:22】AI是否具有意识？AI是否能够具备意识？
【43:36】面对AI可能带来隐式的伤害我们应该怎么办？
【47:58】很看好国内的选手做中国的Open AI和ChatGPT
【50:48】做大模型的研究，并不需要很强的算力
【57:02】现在对于AI的预期会不会过于乐观？
【1:00:30】让更多非专业的人接触AI，是一件很好的事
【相关资料】
Our approach to alignment research
Recursively Summarizing Books with Human Feedback
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Specializing Smaller Language Models towards Multi-Step Reasoning
Improving alignment of dialogue agents via targeted human judgements
Constitutional AI: Harmlessness from AI Feedback
Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned
A Mathematical Framework for Transformer Circuits
【联系我们】
公众号：真格基金（ID: zhenfund）
收听渠道：小宇宙｜Apple Podcast｜喜马拉雅
邮箱：yusen_dai@zhenfund.com
如对节目有任何的建议与期待，也欢迎大家在留言中互动～