Seventy3

任雨山

5,0 (1)
TECHNOLOGIES

73播客，名字取材于Sheldon最喜欢的数字，内容由NotebookLM生成，每天跟随AI读AI业界论文。

-22 H

【第505期】TTT-E2E：长文本建模的端到端测试时训练模型

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：End-to-End Test-Time Training for Long Context Summary 我们将长上下文语言建模表述为一个持续学习（continual learning）问题，而非一个架构设计问题。在这一表述下，我们仅使用一种标准架构——带有滑动窗口注意力的 Transformer。然而，模型在测试阶段会通过对给定上下文进行下一词预测而持续学习，将其读取到的上下文压缩并写入模型权重中。此外，我们在训练阶段通过元学习（meta-learning）来改进模型在测试时进行学习的初始化。总体而言，我们的方法是一种测试时训练（Test-Time Training，TTT）形式，并且在测试阶段（通过下一词预测）和训练阶段（通过元学习）均实现了端到端（End-to-End，E2E），这与以往的 TTT 方法形成对比。我们开展了大量实验，重点分析其尺度扩展特性（scaling properties）。具体而言，对于使用 164B tokens 训练的 30 亿参数模型，我们的方法（TTT-E2E）在上下文长度上的扩展行为与全注意力 Transformer一致，而诸如 Mamba 2 和 Gated DeltaNet 等方法则不具备这一特性。同时，与 RNN 类似，TTT-E2E 的推理时延与上下文长度无关，在 128K 上下文长度下，其速度比全注意力机制快 2.7 倍。我们的代码已公开发布。原文链接：https://arxiv.org/abs/2512.23675

16 min
-1 J

【第504期】Engram：大语言模型条件存储与扩展查表机制

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models Summary 尽管混合专家模型（Mixture-of-Experts，MoE）通过条件计算来扩展模型容量，Transformer 本身却缺乏用于知识查找的原生机制，只能通过计算来低效地“模拟”检索。为了解决这一问题，我们引入了条件记忆（conditional memory），作为一种互补的稀疏性维度，并通过 Engram 模块将其具体化。Engram 对经典的 N-gram 嵌入进行了现代化改造，实现了 O(1) 时间复杂度的查找。通过形式化稀疏性分配（Sparsity Allocation）问题，我们发现了一条 U 形缩放定律，用于优化**神经计算（MoE）与静态记忆（Engram）之间的权衡。在该定律的指导下，我们将 Engram 扩展至 270 亿参数，在严格参数量相同（iso-parameter）且计算量（FLOPs）相同（iso-FLOPs）**的 MoE 基线之上取得了更优性能。尤为值得注意的是，尽管记忆模块本被预期主要提升知识检索能力（如 MMLU +3.4；CMMLU +4.0），我们却在通用推理方面观察到更大的增益（如 BBH +5.0；ARC-Challenge +3.7），并且在代码与数学领域同样显著（HumanEval +3.0；MATH +2.4）。机制层面的分析表明，Engram 将静态重构的负担从主干网络的早期层中移除，实质上加深了网络，从而有利于复杂推理。此外，通过将局部依赖交由查表完成，它释放了注意力机制的容量，用于建模全局上下文，从而显著提升了长上下文检索能力（例如 Multi-Query NIAH：从 84.2 提升至 97.0）。最后，Engram 还实现了面向系统架构的高效性：其确定性的寻址方式支持在运行时从主机内存进行预取，几乎不引入额外开销。我们认为，条件记忆将成为下一代稀疏模型中不可或缺的建模原语。原文链接：https://arxiv.org/abs/2601.07372

20 min
-2 J

【第503期】突破最短路径Dijkstra 算法的算法研究

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Breaking the Sorting Barrier for Directed Single-Source Shortest Paths Summary 我们提出了一种确定性算法，在**比较–加法模型（comparison-addition model）下，用于求解带有实数非负边权的有向图单源最短路径（SSSP）**问题，其时间复杂度为O⁣(mlog⁡2/3n)。这是首个在稀疏图上打破 Dijkstra 算法 O(m+nlog⁡n) 时间复杂度界限的结果，表明 Dijkstra 算法并非 SSSP 问题的最优算法。原文链接：https://arxiv.org/abs/2504.17033

15 min
-3 J

【第502期】Polymarket无风险套利

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Unravelling the Probabilistic Forest: Arbitrage in Prediction Markets Summary Polymarket 是一个预测市场平台，用户可以通过交易与特定结果挂钩的份额来对未来事件进行投机，这些结果被称为条件（conditions）。每个市场都对应一组一个或多个这样的条件。为了确保市场能够正确结算，条件集合必须是完备的——即整体上涵盖所有可能结果——并且是互斥的——即最终只能有一个条件被判定为真。因此，所有相关结果的价格之和应当等于 1 美元，代表任一结果发生的总概率为 1。尽管有这样的设计，Polymarket 仍然存在相关资产被错误定价的情况，使得某一确定结果可以以低于（或高于）1 美元的价格被买入（或卖出），从而保证获利。这种现象被称为套利（arbitrage），可能使具备一定复杂策略能力的参与者利用这些不一致性牟利。在本文中，我们基于 Polymarket 的数据开展了一项经验性套利分析，以回答三个核心问题：(Q1) 什么条件会导致套利机会的产生？(Q2) Polymarket 上是否实际发生了套利行为？(Q3) 是否有人利用了这些套利机会？在分析相关市场之间的套利时，一个主要挑战在于需要在大量市场和条件之间进行可扩展的比较；朴素的方法需要进行 O(2n+m) 级别的比较，计算成本极高。为此，我们采用了一种由启发式方法驱动的降维策略，基于时间相关性、主题相似性以及组合关系来缩小比较范围，并通过专家意见进一步验证。我们的研究揭示了 Polymarket 上两种不同形式的套利行为：市场再平衡套利（Market Rebalancing Arbitrage），其发生于单一市场或单一条件之内；以及组合套利（Combinatorial Arbitrage），其跨越多个市场。我们利用链上历史订单簿数据，分析了这些套利机会在何时存在，以及在何时被用户实际执行。研究结果显示，被成功利用并实现的套利利润总额约为 4000 万美元。原文链接：https://arxiv.org/abs/2508.03474

17 min
-4 J

【第501期】基于可验证奖励强化学习的未来事件预测

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Outcome-based Reinforcement Learning to Predict the Future Summary 带有可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）已被证明是一种有效方法，可提升大语言模型在编程和数学等领域中的推理能力。在本文中，我们将 RLVR 方法应用于现实世界未来事件的预测这一任务——由于结果高度噪声化且存在显著延迟，这对强化学习而言尤具挑战性。我们使用了一个新构建的数据集，其中包含来自预测市场的最新问题以及与之相关的新闻标题。实验表明，一个相对紧凑的（140 亿参数）推理模型，经过训练后，其预测准确率可以达到甚至超过 o1 等前沿模型，同时在概率校准方面有显著提升。该模型的性能在实践中也具有现实意义：在一项 Polymarket 的交易仿真中，我们估计该模型在测试集所有问题上的下注将带来超过 10% 的投资回报率（ROI）。此外，我们还详细介绍并比较了模型训练中采用的多种方法，包括：利用合成预测问题扩充训练数据、用于保障学习稳定性的防护机制（guardrails），以及在推理阶段采用的中位数预测采样策略。原文链接：https://arxiv.org/abs/2505.17989

16 min
-5 J

【第500期】平衡工作证明：多重哈希关联挖矿理论

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Proof of Balanced Work: The Theory of Mining Hash Products Summary 我们提出了一种新的方法，用于将不同的 PoW（工作量证明）挖矿算法以乘法方式组合成一种新的、类似 PoW 的挖矿算法，使得各个单独算法的算力提升都会对组合后的最终算力产生影响。这意味着，要实现高效挖矿，所有被组合的算法都必须以一种均衡且高效的方式同时进行挖掘。因此，我们提出的方法可以作为一种新工具，用于针对特定硬件需求精心设计新的挖矿算法，并提升对 ASIC 的抗性。例如，将 CPU 算法与 GPU 算法进行组合，就会要求矿工必须同时使用 CPU 和 GPU 硬件，才能实现高效挖矿。原文链接：https://raw.githubusercontent.com/CoinFuMasterShifu/ProofOfBalancedWork/main/PoBW.pdf

15 min
-6 J

【第499期】ZAMA：可编程自举助力深层神经网络全同态推理

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Programmable Bootstrapping Enables Eﬃcient Homomorphic Inference of Deep Neural Networks Summary 在许多情况下，机器学习与隐私常被认为是相互矛盾的，尤其当所涉及的数据具有敏感性时，隐私问题显得尤为突出。本文研究的是深度神经网络的隐私保护推理问题。我们报告了基于一个新型库的初步实验结果，该库实现了 TFHE 全同态加密方案的一种变体。其核心关键技术是可编程自举（programmable bootstrapping），该技术能够在可控噪声水平下，对密文上的任意函数进行同态求值。我们的实验结果首次表明，深度神经网络已经进入全同态加密可实际支持的范围。尤为重要的是，与以往相关工作不同，我们的框架并不需要对模型进行重新训练。原文链接：https://whitepaper.zama.org

17 min
9 FÉVR.

【第498期】CryptoNote v2.0 - Monero 白皮书

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：CryptoNote v2.0 -- monero whitepaper Summary “比特币”（Bitcoin）[1] 是点对点（P2P）电子现金概念的一项成功实现。专业人士和普通公众都逐渐认可了以公开交易和工作量证明（Proof-of-Work）相结合的信任模型。如今，电子现金的用户群正在稳步增长；用户被其低手续费和所提供的匿名性所吸引，而商家则看重其可预测且去中心化的发行机制。比特币已经有效地证明，电子现金既可以像纸币一样简单，又可以像信用卡一样便捷。然而，比特币也存在若干缺陷。例如，其分布式架构缺乏灵活性，在几乎所有网络用户都更新客户端之前，难以引入新功能。一些无法迅速修复的关键缺陷，阻碍了比特币的广泛传播。在这种缺乏灵活性的模型下，与其不断修补原有项目，不如推出一个全新的项目来得更为高效。本文中，我们分析并提出了针对比特币主要缺陷的解决方案。我们相信，一个充分考虑这些解决方案的系统，将促进不同电子现金系统之间的良性竞争。同时，我们还提出了我们自己的电子现金系统——“CryptoNote”，这一名称旨在强调电子现金领域的下一次重大突破。原文链接：https://github.com/monero-project/research-lab/blob/master/whitepaper/whitepaper.pdf

19 min

Tout afficher (510)

73播客，名字取材于Sheldon最喜欢的数字，内容由NotebookLM生成，每天跟随AI读AI业界论文。

Création

任雨山
Années d’activité

2024 - 2026
Épisodes

510
Classification

Tous publics
Copyright

© 任雨山@小宇宙App
Site web de l’émission

Seventy3