搞搞真意思

010.小白听得懂的AI:DeepSeek要参与到全球创新的浪潮里去/1

【聊天的人】菲比酱,kk

【三言两语】

本期我们借着deepseek发家史、大模型发布时间线,聊了很多AI领域的技术知识、打破一些无用的狂欢和固执的偏见。

重要的是,我们也是从0开始探索人工智能的外行人,因此本期节目通俗易懂,希望成为一期小白也能听得懂的AI播客节目。欢迎大家留言交流呀。

【时间轴】

05:00 创始人梁文峰的“量化基因”

  • 量化基金 = 气象台的超级计算机(扫描数据、高频交易、分散风险)。
  • 价值投资 = 老农种果树(长期持有、专注基本面)。
  • 量化与价值并非对立:巴菲特用算法筛选标的,顶级量化基金创始人退休后学长期投资。
  • 幻方量化的转折:2021年千亿规模后因AI模型“过度冒险”导致回撤,促使其转向AI底层技术研发。

16:00  23年5月,柳暗花明创立幻方量化AI公司

  • 16:00 萤火一号、萤火二号初露尖尖角、高校气质的公司风格、跻身万枚GPU俱乐部、热衷公益事业
  • 21:27 创立深度求索deepseek,致力于探索AGI(通用人工智能)
  • 34:25 24年5月deepseek V2 模型发布,模型架构创新,极大降低成本:
           36:26 1. MOE(专家混合) = 开会只叫必要的人(省算力)
           39:51 2. MLA(多头潜在注意力) = 听一句话时,同时分析字面意思、语气、潜台词。
  • 46:34 24年12月deepseek V3 模型发布,评测超过同时期开源模型,开源风范出显露:技术文档详细、负载均衡进一步(像“拼车软件”动态分配任务,避免算力空转)降低成本、公司自下而上风格支撑创新
  • 59:43 deepseek R1zero 模型发布:RL纯强化学习、过程和结果奖励函数、Aha moment(顿悟时刻)的出现、后退一步采用GRPO(一种强化学习的框架)
  • 1:08:52 25年1月20号deepseek R1 模型发布:性能比肩OpenAI o1正式版,公开技术文档,蒸馏6个小模型并开源、蒸馏争议
           1:17:16 微软的焦虑:大模型的更新速度,让千亿美元投入迅速贬值。

1:22:54 突破认知,不是使用一个集大成的模型,而是多个模型反复使用

1:28:57 deepseek R1模型的舆论场:戴着镣铐起舞

1:33:45 下期议题

  • 硅谷七巨头(苹果、谷歌、Meta等)的“AI生存战”。
  • DeepSeek的AGI之路、理想主义者的理想:参与到全球创新的浪潮里去
  • 开源公司的赚钱方式
  • 我们在用的AI工具

术语的接地气解释:

07:00 量化投资、价值投资

22:10 AGI(通用人工智能)、AGI和目前的AI的区别

36:26 MOE架构(专家混合) = 开会只叫必要的人(省算力)。

39:51 MLA(多头潜在注意力) = 听一句话时,同时分析字面意思、语气、潜台词。

56:28 GPU小时是个什么单位

1:00:26 奖励函数

1:10:30 什么是蒸馏法:用ChatGPT的“答案”反向训练小模型(类似“学霸笔记”

1:27:49 拒绝采样