35 分钟
S8E02 | AI 时代的仙童八叛逆？聊聊 Transformer 论文八子的 AI 创业公司都在做什么 What's Next｜科技早知道
-
- 科技
本期节目我们将盘点「Transformer 论文八子」从谷歌离职后都创立了什么公司，在哪些 AI 领域持续研究和创新，和大家一起尝试从这几家公司里窥见生成式 AI 时代的未来格局。
在过去的英伟达 GTC 大会上，创始人黄仁勋和「Transformer 八子」的对谈无疑是最受关注的论坛之一。就职于谷歌的八位研究员于 2017 年共同发表了论文《Attention is all you need》，提出自然语言处理的新架构 Transformer 模型，开启了人工智能的新时代。然而论文发表后，八位作者除了一位加入了 OpenAI 之外，都陆续离开了谷歌，创立了自己的 AI 公司。
他们的「出走」经历像极了 1950 年代「仙童八叛逆」离开肖克利半导体实验室（Shockley Semiconductor Laboratory），先后创立仙童半导体（Fairchild Semiconductor）、芯片公司英特尔、National Semiconductor，也有硅谷最早的风险投资公司凯鹏华盈。他们改变了半导体行业，让硅谷成为了硅谷。
这期节目也是爆肝写脚本的一次 solo 单口尝试，希望大家喜欢。
本期人物
丁教 Diane，「声动活泼」联合创始人、「科技早知道」主播
主要话题
[01:55]「Transformer 八子」和历史上开创硅谷的「仙童八叛逆」真的很像
[05:51] Transformer 模型是注意力机制优化与前馈神经网络相结合的产物
[07:27] 谷歌宽松的人才氛围促成「Transformer 八子」合作发表论文《Attention is all you need》
[09:53] 2017 年 Illia Polosukhin 创立 NEAR Protocol，实现区块链领域加密货币的创新
[12:18] 2019 年 Aiden Gomez 创立 Cohere，专注为企业部署定制化本地 AI 服务
[14:38] Cohere 推出检索增强生成技术，服务包括 Notion 在内的多家企业
[17:25] 2021 年 Jakob Uszkoreit 创立 Inceptive，将 AI 与疫苗、药物研究相结合
[21:00] 2021 年 Noam Shazeer 创立 Character AI，主打虚拟角色 AI 陪伴式聊天
[21:51] Character AI 在 A16Z 发布的全球最受欢迎消费级 AI 产品榜单居第三，用户黏性及活跃度极高
[23:18] Character AI 上最受欢迎的虚拟角色是谁？
[26:46] 2023 年 Ashish Vaswani 和 Niki Parmar 创立 Essential AI，利用产品提升数据分析师的工作效率
[30:01] 2023 年 Llion Jones 在东京创立 Sakana AI，这是一家底层大模型公司
[31:06] Sakana AI 发布最新研究成果「模型合并」（Evolutionary Model Merge），为 AI 自动化设计开辟可能性
关联阅读
「仙童八叛逆」与仙童半导体的崛起
「Transformer 八子」
Illia Polosukhin，NEAR Protocol 联合创始人
Aidan Gomez，Cohere 联合创始人兼首席执行官
Jakob Uszkoreit，Inceptive 联合创始人兼首席执行官
Noam Shazeer，Character AI 首席执行官兼联合创始人
Niki Parmar，Essential AI 联合创始人
Ashish Vaswani，Essential AI 联合创始人兼 CEO
Llion Jones，Sakana AI 联合创始人兼首席技术官
Lukasz Kaiser，OpenAI 技术人员
「Transformer 八子」合作发表于 2017 年的论文 《Attention Is All You Need》
Diane 用 Suno 生成的歌曲
幕后制作
监制：丁教、Siti
后期：迪卡普里鑫、可特
运营：瑞涵
设计：饭团
商务合作
声动活泼商务合作咨询
支持我们，加入新一年的播客创新
2021 年我们发起了「声动胡同会员计划」，这是一个纯支持项目，支持「声动活泼」在播客内容上不断探索和创新。回顾 2023 年，得益于这些支持，「声动活泼」的每档节目都不断突破，不仅荣登苹果中国的年度热门节目榜单，还在 CPA 和喜马拉雅等平台都榜上有名。2024 年，我们也会继续创新，一档全新的投资类节目即将和大家见面，同时也会用更加创新的方式制作新一季「声音特稿」节目。
欢迎点击链接查看我们 2023 年收获和 2024 年内容计划。如果你认同或喜
本期节目我们将盘点「Transformer 论文八子」从谷歌离职后都创立了什么公司，在哪些 AI 领域持续研究和创新，和大家一起尝试从这几家公司里窥见生成式 AI 时代的未来格局。
在过去的英伟达 GTC 大会上，创始人黄仁勋和「Transformer 八子」的对谈无疑是最受关注的论坛之一。就职于谷歌的八位研究员于 2017 年共同发表了论文《Attention is all you need》，提出自然语言处理的新架构 Transformer 模型，开启了人工智能的新时代。然而论文发表后，八位作者除了一位加入了 OpenAI 之外，都陆续离开了谷歌，创立了自己的 AI 公司。
他们的「出走」经历像极了 1950 年代「仙童八叛逆」离开肖克利半导体实验室（Shockley Semiconductor Laboratory），先后创立仙童半导体（Fairchild Semiconductor）、芯片公司英特尔、National Semiconductor，也有硅谷最早的风险投资公司凯鹏华盈。他们改变了半导体行业，让硅谷成为了硅谷。
这期节目也是爆肝写脚本的一次 solo 单口尝试，希望大家喜欢。
本期人物
丁教 Diane，「声动活泼」联合创始人、「科技早知道」主播
主要话题
[01:55]「Transformer 八子」和历史上开创硅谷的「仙童八叛逆」真的很像
[05:51] Transformer 模型是注意力机制优化与前馈神经网络相结合的产物
[07:27] 谷歌宽松的人才氛围促成「Transformer 八子」合作发表论文《Attention is all you need》
[09:53] 2017 年 Illia Polosukhin 创立 NEAR Protocol，实现区块链领域加密货币的创新
[12:18] 2019 年 Aiden Gomez 创立 Cohere，专注为企业部署定制化本地 AI 服务
[14:38] Cohere 推出检索增强生成技术，服务包括 Notion 在内的多家企业
[17:25] 2021 年 Jakob Uszkoreit 创立 Inceptive，将 AI 与疫苗、药物研究相结合
[21:00] 2021 年 Noam Shazeer 创立 Character AI，主打虚拟角色 AI 陪伴式聊天
[21:51] Character AI 在 A16Z 发布的全球最受欢迎消费级 AI 产品榜单居第三，用户黏性及活跃度极高
[23:18] Character AI 上最受欢迎的虚拟角色是谁？
[26:46] 2023 年 Ashish Vaswani 和 Niki Parmar 创立 Essential AI，利用产品提升数据分析师的工作效率
[30:01] 2023 年 Llion Jones 在东京创立 Sakana AI，这是一家底层大模型公司
[31:06] Sakana AI 发布最新研究成果「模型合并」（Evolutionary Model Merge），为 AI 自动化设计开辟可能性
关联阅读
「仙童八叛逆」与仙童半导体的崛起
「Transformer 八子」
Illia Polosukhin，NEAR Protocol 联合创始人
Aidan Gomez，Cohere 联合创始人兼首席执行官
Jakob Uszkoreit，Inceptive 联合创始人兼首席执行官
Noam Shazeer，Character AI 首席执行官兼联合创始人
Niki Parmar，Essential AI 联合创始人
Ashish Vaswani，Essential AI 联合创始人兼 CEO
Llion Jones，Sakana AI 联合创始人兼首席技术官
Lukasz Kaiser，OpenAI 技术人员
「Transformer 八子」合作发表于 2017 年的论文 《Attention Is All You Need》
Diane 用 Suno 生成的歌曲
幕后制作
监制：丁教、Siti
后期：迪卡普里鑫、可特
运营：瑞涵
设计：饭团
商务合作
声动活泼商务合作咨询
支持我们，加入新一年的播客创新
2021 年我们发起了「声动胡同会员计划」，这是一个纯支持项目，支持「声动活泼」在播客内容上不断探索和创新。回顾 2023 年，得益于这些支持，「声动活泼」的每档节目都不断突破，不仅荣登苹果中国的年度热门节目榜单，还在 CPA 和喜马拉雅等平台都榜上有名。2024 年，我们也会继续创新，一档全新的投资类节目即将和大家见面，同时也会用更加创新的方式制作新一季「声音特稿」节目。
欢迎点击链接查看我们 2023 年收获和 2024 年内容计划。如果你认同或喜
35 分钟