Seventy3

任雨山

73播客,名字取材于Sheldon最喜欢的数字,内容由NotebookLM生成,每天跟随AI读AI业界论文。

  1. 【第505期】TTT-E2E:长文本建模的端到端测试时训练模型

    -22 H

    【第505期】TTT-E2E:长文本建模的端到端测试时训练模型

    Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。 今天的主题是:End-to-End Test-Time Training for Long Context Summary 我们将长上下文语言建模表述为一个持续学习(continual learning)问题,而非一个架构设计问题。在这一表述下,我们仅使用一种标准架构——带有滑动窗口注意力的 Transformer。然而,模型在测试阶段会通过对给定上下文进行下一词预测而持续学习,将其读取到的上下文压缩并写入模型权重中。 此外,我们在训练阶段通过元学习(meta-learning)来改进模型在测试时进行学习的初始化。总体而言,我们的方法是一种测试时训练(Test-Time Training,TTT)形式,并且在测试阶段(通过下一词预测)和训练阶段(通过元学习)均实现了端到端(End-to-End,E2E),这与以往的 TTT 方法形成对比。 我们开展了大量实验,重点分析其尺度扩展特性(scaling properties)。具体而言,对于使用 164B tokens 训练的 30 亿参数模型,我们的方法(TTT-E2E)在上下文长度上的扩展行为与全注意力 Transformer一致,而诸如 Mamba 2 和 Gated DeltaNet 等方法则不具备这一特性。 同时,与 RNN 类似,TTT-E2E 的推理时延与上下文长度无关,在 128K 上下文长度下,其速度比全注意力机制快 2.7 倍。我们的代码已公开发布。 原文链接:https://arxiv.org/abs/2512.23675

    16 min
  2. -1 J

    【第504期】Engram:大语言模型条件存储与扩展查表机制

    Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。 今天的主题是:Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models Summary 尽管混合专家模型(Mixture-of-Experts,MoE)通过条件计算来扩展模型容量,Transformer 本身却缺乏用于知识查找的原生机制,只能通过计算来低效地“模拟”检索。为了解决这一问题,我们引入了条件记忆(conditional memory),作为一种互补的稀疏性维度,并通过 Engram 模块将其具体化。Engram 对经典的 N-gram 嵌入进行了现代化改造,实现了 O(1) 时间复杂度的查找。 通过形式化稀疏性分配(Sparsity Allocation)问题,我们发现了一条 U 形缩放定律,用于优化**神经计算(MoE)与静态记忆(Engram)之间的权衡。在该定律的指导下,我们将 Engram 扩展至 270 亿参数,在严格参数量相同(iso-parameter)且计算量(FLOPs)相同(iso-FLOPs)**的 MoE 基线之上取得了更优性能。 尤为值得注意的是,尽管记忆模块本被预期主要提升知识检索能力(如 MMLU +3.4;CMMLU +4.0),我们却在通用推理方面观察到更大的增益(如 BBH +5.0;ARC-Challenge +3.7),并且在代码与数学领域同样显著(HumanEval +3.0;MATH +2.4)。 机制层面的分析表明,Engram 将静态重构的负担从主干网络的早期层中移除,实质上加深了网络,从而有利于复杂推理。此外,通过将局部依赖交由查表完成,它释放了注意力机制的容量,用于建模全局上下文,从而显著提升了长上下文检索能力(例如 Multi-Query NIAH:从 84.2 提升至 97.0)。 最后,Engram 还实现了面向系统架构的高效性:其确定性的寻址方式支持在运行时从主机内存进行预取,几乎不引入额外开销。我们认为,条件记忆将成为下一代稀疏模型中不可或缺的建模原语。 原文链接:https://arxiv.org/abs/2601.07372

    20 min
  3. 【第502期】Polymarket无风险套利

    -3 J

    【第502期】Polymarket无风险套利

    Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。 今天的主题是:Unravelling the Probabilistic Forest: Arbitrage in Prediction Markets Summary Polymarket 是一个预测市场平台,用户可以通过交易与特定结果挂钩的份额来对未来事件进行投机,这些结果被称为条件(conditions)。每个市场都对应一组一个或多个这样的条件。为了确保市场能够正确结算,条件集合必须是完备的——即整体上涵盖所有可能结果——并且是互斥的——即最终只能有一个条件被判定为真。因此,所有相关结果的价格之和应当等于 1 美元,代表任一结果发生的总概率为 1。 尽管有这样的设计,Polymarket 仍然存在相关资产被错误定价的情况,使得某一确定结果可以以低于(或高于)1 美元的价格被买入(或卖出),从而保证获利。这种现象被称为套利(arbitrage),可能使具备一定复杂策略能力的参与者利用这些不一致性牟利。 在本文中,我们基于 Polymarket 的数据开展了一项经验性套利分析,以回答三个核心问题:(Q1) 什么条件会导致套利机会的产生?(Q2) Polymarket 上是否实际发生了套利行为?(Q3) 是否有人利用了这些套利机会?在分析相关市场之间的套利时,一个主要挑战在于需要在大量市场和条件之间进行可扩展的比较;朴素的方法需要进行 O(2n+m) 级别的比较,计算成本极高。为此,我们采用了一种由启发式方法驱动的降维策略,基于时间相关性、主题相似性以及组合关系来缩小比较范围,并通过专家意见进一步验证。 我们的研究揭示了 Polymarket 上两种不同形式的套利行为:市场再平衡套利(Market Rebalancing Arbitrage),其发生于单一市场或单一条件之内;以及组合套利(Combinatorial Arbitrage),其跨越多个市场。我们利用链上历史订单簿数据,分析了这些套利机会在何时存在,以及在何时被用户实际执行。研究结果显示,被成功利用并实现的套利利润总额约为 4000 万美元。 原文链接:https://arxiv.org/abs/2508.03474

    17 min
  4. -4 J

    【第501期】基于可验证奖励强化学习的未来事件预测

    Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。 今天的主题是:Outcome-based Reinforcement Learning to Predict the Future Summary 带有可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards,RLVR)已被证明是一种有效方法,可提升大语言模型在编程和数学等领域中的推理能力。在本文中,我们将 RLVR 方法应用于现实世界未来事件的预测这一任务——由于结果高度噪声化且存在显著延迟,这对强化学习而言尤具挑战性。 我们使用了一个新构建的数据集,其中包含来自预测市场的最新问题以及与之相关的新闻标题。实验表明,一个相对紧凑的(140 亿参数)推理模型,经过训练后,其预测准确率可以达到甚至超过 o1 等前沿模型,同时在概率校准方面有显著提升。 该模型的性能在实践中也具有现实意义:在一项 Polymarket 的交易仿真中,我们估计该模型在测试集所有问题上的下注将带来超过 10% 的投资回报率(ROI)。此外,我们还详细介绍并比较了模型训练中采用的多种方法,包括:利用合成预测问题扩充训练数据、用于保障学习稳定性的防护机制(guardrails),以及在推理阶段采用的中位数预测采样策略。 原文链接:https://arxiv.org/abs/2505.17989

    16 min
  5. 【第498期】CryptoNote v2.0 - Monero 白皮书

    9 FÉVR.

    【第498期】CryptoNote v2.0 - Monero 白皮书

    Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。 今天的主题是:CryptoNote v2.0 -- monero whitepaper Summary “比特币”(Bitcoin)[1] 是点对点(P2P)电子现金概念的一项成功实现。专业人士和普通公众都逐渐认可了以公开交易和工作量证明(Proof-of-Work)相结合的信任模型。如今,电子现金的用户群正在稳步增长;用户被其低手续费和所提供的匿名性所吸引,而商家则看重其可预测且去中心化的发行机制。比特币已经有效地证明,电子现金既可以像纸币一样简单,又可以像信用卡一样便捷。 然而,比特币也存在若干缺陷。例如,其分布式架构缺乏灵活性,在几乎所有网络用户都更新客户端之前,难以引入新功能。一些无法迅速修复的关键缺陷,阻碍了比特币的广泛传播。在这种缺乏灵活性的模型下,与其不断修补原有项目,不如推出一个全新的项目来得更为高效。 本文中,我们分析并提出了针对比特币主要缺陷的解决方案。我们相信,一个充分考虑这些解决方案的系统,将促进不同电子现金系统之间的良性竞争。同时,我们还提出了我们自己的电子现金系统——“CryptoNote”,这一名称旨在强调电子现金领域的下一次重大突破。 原文链接:https://github.com/monero-project/research-lab/blob/master/whitepaper/whitepaper.pdf

    19 min

À propos

73播客,名字取材于Sheldon最喜欢的数字,内容由NotebookLM生成,每天跟随AI读AI业界论文。