硅谷101|中国‪版‬ 泓君Jane

你知道每使用一次ChatGPT，OpenAI需要交多少电费吗？前阵子模型微调平台OpenPipe创始人Kyle Corbitt爆料称，如果在美国一个州内使用超过10万个H100芯片，就会使电网瘫痪。部分国家也已经在限制AI数据中心对电力系统的占用。
在新技术诞生和应用的历史潮流中，我们经常发现，技术本身并非是最大的障碍，往往伴随而来的是对现有基础设施建设的挑战，比如家家户户会用到的电力系统。
所以AI巨头们的竞赛，不仅仅要囤芯片，还需要屯变压器，还要抢电。未来3-5年内，AI带来的电力短缺到底有多少？如果大基建跟不上，巨头们的解决方案还有哪些？我们今天就来掀开数据中心的电表看一看。
【主播】泓君Jane，硅谷101创始人，播客主理人
【嘉宾】徐熠兴（Ethan），微软能源战略部资深项目经理项江，瀚海聚能CEO
【你将听到】「AI用电荒」01:52 AI耗电现状：美国的AI数据中心当前耗电量堪比纽约市03:05 未来电力需求预测，电力单位的概念解释06:00 OpenAI导致微软电网崩溃？AI用电的特殊性和波动性，对传统电网设计的冲击11:25 美国电力行业面临的挑战：未来三五年，AI会和居民抢电吗？16:10 AI意外加重了能源转型的负担：电力将成为AI发展的新瓶颈17:43 硅谷公司们怎么布局数据中心？短期靠抢电，长期选址时考虑与电力公司的合作22:19 中国当前的电力供应结构：几种发电方式、基础设施建设能力相对好
「能源现状与解决办法」25:45 中国先进核能的“三步走”规划：热堆、快堆、核聚变堆27:00 科技巨头们的新难题：既要考虑气候变化又要发展AI，真贵29:43 AI消耗的能源有可能减少吗？AI训练数据耗尽 or GPU的效率提高35:36 核能作为未来能源解决方案的潜力：几种清洁能源的成本对比39:28 核裂变vs核聚变，选谁？42:57 什么时候能用上核聚变发的电？科学问题差不多了，还是巨大的成本问题48:16 Helion Energy与微软的对赌协议50:04 核聚变公司的几大流派
「未来对策」53:00 各国数据中心的选址问题：数据资产、东数西算55:42 电网负担的解决方案：能源转型、分布式储能59:00 AI和能源行业相辅相成：AI赋能核聚变
【名词解释】电力单位换算电量单位：千瓦时（kWh）、度电力单位：千瓦（KW）、兆瓦（MW）、吉瓦（GW）1 GW（吉瓦） = 1000 MW（兆瓦）= 1000000 KW （千瓦）= 1000000000 W（瓦特）
「星际之门」计划：微软与 OpenAI开发的全新人工智能超级计算机，计划投入 1000 亿美元，配备数百万专用AI芯片，以提供前所未有的计算能力，预计于2028年完成。
东数西算工程：“数”指的是数据，“算”指的是算力。“东数西算”是通过构建数据中心、云计算、大数据一体化的新型算力网络体系，将东部算力需求有序引导到西部，优化数据中心建设布局，促进东西部协同联动，于2022年2月正式启动。
「托克马克」：托克马克(Tokamak）是一种环形容器，它通过约束电磁波驱动，创造氘、氚实现聚变的环境和超高温，并实现人类对核聚变反应的控制。托卡马克的名字来源于环形（toroidal）、真空室（kamera）、磁（magnet）和线圈（kotushka）这几个俄语单词的结合，目前是实现可控核聚变的主流方式。中国科学家设计并建成的EAST（Experimental Advanced Superconducting Tokamak，全超导托卡马克核聚变实验装置）是这一领域的一个突出成就。
「氘氘（D-D）反应」&「氘氚（D-T）反应」：是指氢的两种同位素氘（Deuterium，化学符号D）和氚（Tritium，化学符号T）之间发生的核聚变反应。氘氘反应是指两个氘原子核聚合在一起，生成一个氦原子核和一

在今年的世界读书日，《硅谷101》编辑部与大家分享了四本书：从诺贝尔奖得主的人生旅程《Breaking Through: My Life in Science》到创作者的内心挣扎《The War of Art》，从《深度学习革命》的科学家群像故事到一个小镇女教师《奥丽芙·基特里奇》的生活写照。弗吉尼亚·吴尔夫说：”腋下夹着书的读者不需要奖赏，上帝也没有什么可以给他们，因为他们一生爱书。”我们希望和大家一起聆听这些关于热爱、信仰和坚持的故事，获得阅读的慰藉和力量。

【主播】泓君Jane，硅谷101创始人，播客主理人【嘉宾】陈茜，硅谷101联合创始人，视频主理人Jacob，硅谷101视频后期杜秀，硅谷101播客监制
【你将听到】
《Breaking Through: My Life in Science》作者：Katalin Karikó 推荐人：陈茜推荐语：这本书并非仅仅讲述了一个人如何成名的打鸡血故事，而是展现了Katalin如何因热爱自己的事业而坚持，并在科研事业和家庭生活中保持爱与尊重。03:23 作为小镇屠夫的女儿，经受了四十年的职业打压，三次被解雇，“mRNA疯女人“始终没有放弃06:52 被欺负、打压、不受重视，但家庭给了她足够的养分和支持10:10不为任何实验室或者老板，只为自己的信仰和热爱工作，那个东西叫科学14:40遇到有毒的老板，即使需要离家200公里也不能停下工作20:09 2005年就发表了mRNA修饰技术的论文，十多年无人问津《深度学习革命》（Genius Makers）作者： 凯德·梅茨（Cade Metz）推荐人：泓君推荐语：整本书围绕整个深度学习的几大关键人物，一群少数派学者在长期不被主流学术圈认可的情况下，坚信深度神经网络会改变世界，最终推动了整个人工智能技术突破性进展。23:18 被中译名耽误的深度学习发展史25:44 百度曾经差一点得到Geoffrey Hinton和他的团队27:42 创新源头是什么？最开始的三到五个人为什么坚信深度学习能改变世界？30:54 看似“偏执”的科学家的共同之处：靠信念扛住打压和质疑《The War of Art》作者： Steven Pressfield 推荐人：Jacob推荐语：Steven Pressfield 是著名的编剧和小说家。本书帮助了许多在创作行业挣扎的人找到了他们想要的答案，对抗阻力和拖延，成为一个专业的创作者。39:56 Burn out（职场倦怠）是很多创作者都会遇见的常态42:15 为什么总有一股“劝退的力量”阻挠你的创作43:52 创意不会随机产生，“专业”首先要直面每天重复的工作49:21 创作终究不是一次百米冲刺，而是一场马拉松51:01 “Doing itself is what matters.” 我们在打的是一场创作的战争，而不是一场流量的战争《奥丽芙·基特里奇》（Olive Kitteridge）作者：伊丽莎白·斯特劳特 推荐人：杜秀推荐语：本书曾获2009年普利策小说奖。13个独立的故事串联起一个普通美国小镇女教师的生活——当她站在不完美的人生路口，仍然需要与生活和解并继续前行。53:02 这是一个普通的中老年妇女的日常，不是大开大合的史诗，人物描写细腻精确56:00 不需要一气读完这13个故事，可以每天读一点，在你心里留下一点点波澜57:14 被HBO改编成了同名限定剧，豆瓣评分9.458:02 是老师，是妻子，是母亲，奥丽芙的不完美人生让人无限共鸣彩蛋时间：01:04:15《硅谷101》独家对话2023年诺贝尔生理学或医学奖得主Katalin Karikó
【监制】杜秀【后期】AMEI【Shownotes】杜秀
【BGM】Serenade of Dusty Trails - River FoxcroftSolitary Surrender - Rebecca MardalWe Were Golden - Anna Landstrom
【在这里找到我们】公众号：硅谷101收听渠道：苹果｜小宇宙｜喜马拉雅｜蜻蜓FM｜网易云音乐｜QQ音乐｜荔枝播客海外用户：Apple Podcast｜Spotify｜Tu

AIGC的风终究是吹到了音乐圈——今年3月，“音乐届的ChatGPT” Suno V3粉墨登场，用户只需要在Suno上输入一句话的提示词，即可在数秒内生成两首两分钟的完整歌曲，从作词、作曲、演奏到人声演唱一气呵成，大大降低了普通人创作音乐的门槛。
已经习惯了各类“AI歌手翻唱”的听众和用户迅速拥抱了Suno，从《宫保鸡丁咏叹调》到《让我们荡起双桨》重金属，从英语、日语、俄语到普通话甚至是粤语，网友们自发上传的作品包罗万象，网易云音乐、QQ音乐等平台也迅速上线了SunoAI音乐专区，甚至还推出了定期更新的官方推荐歌单。
本期《硅谷101》邀请到了来自音乐和AI音乐生成领域的两位嘉宾，分享他们对以Suno为代表的文生音乐模型的看法，以及AI如何影响音乐产业的未来。
【主播】泓君Jane，硅谷101创始人，播客主理人【嘉宾】冯建鹏，美国哈特福德大学哈特音乐学院打击乐讲师，百老汇全职演奏家，知名音乐博主“叨叨冯”（Youtube@daodaofeng）Roger Chen，Meta Music Tech Lead
【你将听到】02:26 为什么大家感觉是Suno是最火的呢？因为他敢最先把自己的文生音乐模型公之于众02:43 【测评一】“找不到工作的悲伤摇滚乐”，结果并不悲伤07:30 能听但没有态度，AI只能写出不愤怒的摇滚乐11:02 AI写的歌可以达到业界平均水平，但无法出挑成为头部作品14:40 速度是音乐创作最重要的指标之一，为什么AI写不出80 BPM的音乐？18:26 AI写歌与人类作曲不是一个逻辑，只能从左到右按顺序写，没有全局观22:07 训练素材足够全面和丰富，AI可能写出Taylor Swift水平的歌曲?25:55 同样的音乐，水平高低演唱者演奏出来也不一样26:03 【测评二】英雄主题的交响乐，听感能得7分，作为乙方它不及格33:40 Suno不能按提示词生成指定的乐器，它只追求听上去大概相似37:48 AI生成音乐是无法抗拒的洪流，但暂时做不到像音乐家一样写歌43:13 【测评三】挑战规则严谨的赋格，Suno会表现得更好吗？47:05 赋格研究在AI音乐有20年历史，不过在巴赫的原曲面前还很稚嫩52:32 音乐技术与心理学：Mp3技术是如何被发明出来的？53:57 音乐的本质是“有组织的声音”，这是文生音乐大模型的底层逻辑58:58 最怕无聊？艺术需要跳出人类总结63:12 创作者的脑洞打开：在音乐里加入随机数机制
【提示词参考】开场曲： 《The future is now》 by Suno, an opening music for a podcast called Silicon Valley 101, discussing innovative technology, AI and business stories, jazz, easy, catchy.【测评一】05: 56 《Struggling in the shadows》by Suno, sad Story of not finding a job, Classic Rock, 80 BPM, Guitar, Base, Drum, Keyboard.【测评二】27:46/29:42 《Hero themed symphony》by Suno, instrumental, strings, woodwinds, brass, timpani【测评二】30:27 《Hero themed symphony》by Suno, instrumental, strings, woodwinds, brass, timpani, Classical, 19th century.【测评三】46:21 赋格曲 by Suno,Toccata and Fugue in D Minor. Dark and dramatic, featuring solo organ creating a serious and powerful mood.结束曲：《Silicon Pulse》 by Udio, closing note for the episode of AIGC music, hip pop, extended intro and outro.
【补充信息】BPM: beats per minute，度量速度的音乐单位，每分钟多少拍（BPM）表示一个指定的音符，例如四分音符，在一分钟内出现的次数，BPM的数值越大代表速度越快。
Fairly Trained：由来自前Stability AI、Humanistic AI等科技公司高管、知名好莱坞律所和音乐界人士发起的非盈利组织，对涵盖图像、音乐和歌曲生成的人工智能模型进行认证，证明他们已申请使用受版权保护的训练数据的许可。
赋格：为拉丁文“fuga”的译音，

历经 4 年，美国再次对 TikTok 发难，要求 TikTok 从字节跳动剥离出售，否则就在美国禁用TikTok。一家价值 1500亿美元的公司， 1.7 亿美国用户， 6 个月的时间留给 TikTok 是一条非常艰难的路。
我们的节目录制于2024年3月31日，仅录制完后的一周，Tiktok事件还在持续发酵，复活节归来之后，美国参议院开始将Tiktok事件提上议程。不管是Tiktok的支持者还是反对者，双方都加大了宣传力度。
这一期我们邀请到了著名经济学家、清华大学中国经济思想与实践研究院院长李稻葵，聚焦TikTok事件发展的下一步法律流程与艰难博弈。
【VSP投资训练营报名】如果大家对VSP投资训练营感兴趣，可以发邮件到vsp@sav.vc咨询详情。本项目每个季度开营一次，报名链接长期有效。
【主播】泓君Jane，硅谷101创始人，播客主理人【嘉宾】李稻葵，清华大学中国经济思想与实践研究院院长，著名经济学家
【你将听到】00:03 VSP投资训练营01:48 正片03:40 TikTok事件的来龙去脉：四年后以一种更周密的方式进行06:45 参议院投票通过流程：委员会讨论、全体议员辩论和投票，每个环节都可能会被延长09:47 参议院组成分析：制衡之道，“大佬们”更加谨慎13:01 美国参议院多数党领袖Chuck Schumer的三重压力：犹太团体、竞选资金来源与选民的压力16:34 Tiktok的应对策略：国会游说、周受资听证会、德克萨斯计划20:12 美国对Tiktok发难的真实目的：争夺舆论控制权？22:03 “国家安全”的帽子背后：问题简单化，越简单约有传播力27:32 反向安全问题与算法29:02 卖与不卖？先把全部法律流程走完31:19 潜在买家分析：微软、苹果、英伟达、沃尔玛、甲骨文、姆努钦36:42 最高法的考量：为何牵扯1.7亿用户但受理概率不大？40:02 Tiktok的打法：拖，时间是Tiktok的朋友41:11 Facebook曾在大选中引发重大争议，但Tiktok尚未出现负面事件42:19 间接参考案例：英国石油公司漏油、大众汽车尾气门与肢解阿尔斯通43:36 方法论：不能上头、透明真诚、民众沟通
【相关信息拓展】TikTok德克萨斯计划将美国用户的数据存储在德克萨斯州的美国甲骨文公司以确保安全。该计划的总体目标是通过加强平台的数据保护系统以及权限管控措施，来帮助 TikTok 与用户和利益相关者之间建立信任关系。与此同时，该计划还会帮助 TikTok 与美国政府就保护用户数据和国家安全机密达成一致。
《美国陷阱》2013年4月，法国阿尔斯通集团锅炉部全球负责人弗雷德里克·皮耶鲁齐被美国联邦调查局抓捕。美国司法部指控皮耶鲁齐涉嫌商业贿赂，并对阿尔斯通处以超7亿美元罚款。这项指控不仅仅是针对皮耶鲁齐个人的行为，也是美国针对法国企业的系列行动之一。2018年9月，皮耶鲁齐重获自由，随后出版《美国陷阱》一书，以亲身经历披露美国利用《反海外腐败法》打击国际竞争对手的内幕，凸显了法国人所理解的美国司法的长臂原则，选择性执法，以及司法背后可能代表的商业利益裹挟。
【后期】AMEI【BGM】Cold and Blue - Roy Edwin WilliamsThe Deal - Ruiqi ZhaoReviving - Megan Wofford
【在这里找到我们】公众号：硅谷101收听渠道：苹果｜小宇宙｜喜马拉雅｜蜻蜓FM｜网易云音乐｜QQ音乐｜荔枝播客海外用户：Apple Podcast｜Spotify｜TuneIn｜Youtube｜Amazon Music联系我们：podcast@sv101.net

2017年，谷歌一篇划时代的论文《Attention is all you need》掀开这一轮人工智能的开幕式，这篇论文就是大名鼎鼎的Transformer。7年过去了，我们看到在这篇论文的基础上加入算力、算法开启了AI时代的第三次科技浪潮。
今天我们的嘉宾是来自Meta Fair的研究员田渊栋博士，他最近也发表了两片论文都在都与端侧小模型相关，一片论文是《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型，主打在移动设备上运行 LLM；另一片论文是《GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection》，由于离应用更近在解决更实际的问题，他的论文被业界很多人问到，而过去五年，他所有的研究都在回答一个问题：神经网络是如何工作的？
今天我们就一起来解读田渊栋最近的两篇论文，也一起聊聊最近大火的Sora、Transformer与AGI。
【老罗直播预告】
北京时间3月31号晚上七点，罗永浩会在直播间卖云产品。之前老罗也带火过很多概念，这次我们来看一看，老罗能不能引领一场企业级IT认知的运动，把云计算这个概念推向大众。他这次的选品涵盖阿里云众多的热门产品，价格也给出了史无前例的优惠，大家感兴趣去淘宝app搜索「罗永浩」，让我们一起围观连续创业者罗永浩卖云产品，以及他如何解决创业者的核心痛点的
【主播】
泓君，硅谷101创始人，播客主理人
【嘉宾】
田渊栋，Meta人工智能研究院（FAIR）研究员及高级经理
田渊栋博士，Meta AI人工智能研究院(FAIR)研究员及高级经理，2018年围棋开源项目（ELF OpenGo）研究及工程负责人和第一作者。曾获2021年国际机器学习大会（ICML）杰出论文奖提名（Outstanding Paper Honorable Mentions)及2013年国际计算机视觉大会（ICCV）马尔奖提名（Marr Prize Honorable Mentions）。研究方向为深度强化学习，表示学习和优化，历任机器学习国际会议ICML，NeurIPS，AAAI, AIStats领域主席。2013-2014年在Google无人驾驶团队任软件工程师。
【你将听到】
00:05 3月31号晚七点罗永浩直播间卖云
01:34 正片
【“斜杠”研究者】
02:55 从自动驾驶、围棋开源项目到神经网络研究
05:52 写科幻小说：不靠谱的想法放进小说，靠谱的想法用来做科研
07:24 理解神经网络如何工作or 研究大模型，2019年为何拒绝Ilya Sutskever加入OpenAI的邀请
08:44 最新两篇论文的诞生：曾被两次拒稿，三四年后才看到结果 
【GaLore和MobileLLM】
11:04 GaLore的主要特点：实现在英伟达RTX 4090上进行模型的从头训练
12:56 算法上改进让4090重获新生，省内存的同时获得高性能
16:56 MobileLLM：降低神经网络参数仍然保持好的效果
【实现AGI的路径】
17:40 Scaling Law带来的增长会越来越小，我们并没有完全理解为什么Transfomer的效果更好
19:17 完全无人驾驶难点：人工干预的频率越低，有效训练数据就越少
23:41 Transfomer很难做游戏式的推理：通过理解神经网络的工作原理来改进现有算法
【深度理解Transformer】
24:52 谷歌内部发现算力价格比通信便宜，所以想到要设计一个模型让算力获得更大优势
26:21 Transformer vs CNN：没有预设立场，并行效果更好
26:44 Transformer的缺点：需要大量算力、速度较慢、延迟高
28:01 强化学习的根本性问题：Exploration（探索）和Exploitation（开采）
【Sora、合成数据与Anthropic】
30:03 Sora的最让人惊艳的地方是所生成的内容一致性非常好，在技术上有根本的创新
33:07 世界模型并不“高大上”，对未来有看法和预测都可以成为称为“世界模型”
40:46 用合成数据训练大模型是趋势，其与真实数据之间

为什么空间计算带来了十倍于移动互联网的机会？今天我们邀请到了XR领域的天使投资人徐梧来讲一讲他的观点，徐梧曾经投资了VR游戏《Contractors》、《Battle talent》等。在过去的一个半月的时间里，徐梧每天都会花3-5个小时在VisionPro这款设备上。今天我们会聊一聊他的使用体验与他对XR的深度思考。
本期节目参与Tech Podfest和 Let's visionOS 开发者大会合作的 「XR系列专题」。如果硅谷101的听众对Let‘s Vision OS的大会感兴趣，欢迎给我们留言，我们将送出一张免费门票。
【主播】泓君，硅谷101创始人，播客主理人【嘉宾】徐梧，XR天使投资人，真格基金投资合伙人，猫眼电影创始人
【你将听到】00:40 观点：空间计算时代，将是移动互联网十倍的机会?02:05 Vision Pro两次不同体验：从Vision实验室到家庭使用，更好的显示体验05:39 从垂直设备到通用设备：每天3-5个小时，但是并不知道在Vision Pro上做了什么07:40 为更大的屏幕付出溢价：大量平面应用空间升级之后的新体验12:30 VisionOS的空间操作系统，人机交互的三维革命性创新14:30 更加注重效率还是拟真？苹果对空间的三层定义16:59 Puzzling Places拼图游戏，为何在Quest放弃使用但在 Vision Pro上拼完了？18:14 同是VR会议软件的本质区别： Horizon workrooms vs Persona21:19 民间智慧如何让Vision Pro减重：移除面罩、使用3D打印配件、人体工程学24:51 手势交互：当使用手势交互之后很难再退回手柄28:06 核心吐槽：贵、重、没有内容28:47 空间应用部门正在快速增长，Vision Pro应用一个月从600快速增长到1200个36:05 恐龙Demo里的开发机会：能够与现实交互的全新的设计范式38:05 Vision Pro变成大众设备的六大临界点：三维交互、显示、操作系统、MR、重量、算力44:17 一个大胆的预测：三年后Vision Pro应用大爆发，创业的傻瓜窗口期消失50:32 谷歌Meta抱团，苹果与其他硅谷大厂的相爱相杀53:50 创始人的坚持与远见：内心深处有坚持，看明白了就去做55:55 投资方法论：投资优秀的产品经理，放下ego关注变量59:58 行业内认知最厉害的人：Meta、苹果、John Carmark、Michael Abrash以及前十大排行榜开发者
【后期】AMEI【BGM】Polarity - Sum WaveChasing Horizons - Victor Lundberg
【在这里找到我们】公众号：硅谷101收听渠道：苹果｜小宇宙｜喜马拉雅｜蜻蜓FM｜网易云音乐｜QQ音乐｜荔枝播客海外用户：Apple Podcast｜Spotify｜TuneIn｜Youtube｜Amazon Music联系我们：podcast@sv101.net