Seventy3

任雨山

73播客,Sheldon最喜欢的数字,内容均为Google NotebookLM原生生成,每天由AI领读最新的前沿论文。欢迎投稿合作。

  1. 9h ago

    【第778期】SoL-Pi:递归扩展代理研究循环以实现高效的 harness

    今天的这篇的主题是: SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 随着编程智能体从有监督的代码补全转向无人值守、全天候的自主探索,其工作范围也从孤立的预测扩展为包含推理、工具使用和反馈的长轨迹。因此,Token 效率成为扩展递归自我改进(Recursive Self-Improvement,RSI)的重要因素。 我们在智能体运行框架(harness)层采用一种受 RSI 启发的方法,通过在数量不断增加、类型日益多样的环境中扩展自动化研究循环,开展 harness 的执行轨迹实验(rollouts)。在这一规模下,该过程能够产生可复用的改进,并将其迁移到开发环境之外,从而推动自动化 harness 发现逐步达到生产级效果。 经过筛选,最终有四种机制得以保留,共同构成 SoL-Pi,分别涵盖动作执行、上下文压缩、观测处理和委托式阅读。 在包含 51 项任务的 EdgeBench 评测中,SoL-Pi 在 GPT-5.6 Sol 和 Opus 5 上均实现了与 Pi 相当的性能,同时将记录的 Token 流量减少了 44.7%–49.0%,并将 API 成本降低了约三分之一。 换言之,与原生 Codex 和 Claude Code harness 相比,SoL-Pi 预计每小时可节省 8.75–13.50 美元;与 Pi 相比,预计每小时可节省 4.36–5.71 美元。 原文链接:https://arxiv.org/abs/2609.20519 前往小宇宙评论区与主播互动

  2. 1d ago

    【第777期】字节模型蒸馏与扩展规律研究

    今天的这篇的主题是: Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 通过从采用相同分词方案的大模型中进行知识蒸馏,可以提升小模型的能力。然而,随着计算量和数据量的增加,经过蒸馏的字节模型与词元模型是否表现出相似的扩展趋势? 为了实现这一比较,我们提出了两种将词元 logits 高效转换为字节 logits(Byte Logits)的方法:1)近似方法 Marginalize-It;2)精确方法 End-Of-Token。 随后,我们开展了首个大规模研究,同时考察两个维度的变化对仅解码器(decoder-only)稠密 Transformer 模型过度训练(overtraining)的影响:分词方案(Tokens、Bytes、Bytes w/ eot)和训练目标(知识蒸馏与交叉熵)。我们对层参数量匹配、规模约为 10 亿参数的模型进行了系统性实验,训练数据量最高达到 1 万亿字节。 在涵盖三大类别——多项选择问答、语言生成和机器翻译——的八项基准测试中,我们发现,在低 FLOPs(浮点运算量)区间,Token-1B 模型的表现优于字节模型(End-Of-Token-1B 和 Bytes-1B),但其性能最终会进入平台期。相比之下,字节模型虽然起点较低,但随着计算量增加,其性能会超越 Token-1B 模型,并达到更高的下游任务性能上限。 通过对平均 Top-1 错误率与验证集每字节比特数(BPB)之间的扩展定律进行外推,我们预测,从渐近表现来看,经过蒸馏的 End-Of-Token-1B 模型相比经过蒸馏的 Token-1B 模型,性能最多可提升 4%。 字节模型的数据效率也高得多,仅使用六分之一的训练数据,就能达到蒸馏版 Token-1B 模型的性能水平。 此外,由于字节模型使用的是仅包含 256 个字节的小词表,而不是规模约为 10 万的词元词表,因此在导出 logits 时无需进行 top-k 截断,同时还能将 logits 的存储成本降低至约五分之一。 最后,我们建立的下游任务性能扩展定律预测,经过蒸馏的 End-Of-Token-1B 模型在渐近情况下,其下游任务平均性能将分别超过 Llama 3.2-1B、Gemma-3-1B-pt 和 Gemma 2B 模型,提升幅度最高分别达到 6.5%、8.1% 和 2.1%。 原文链接:https://arxiv.org/abs/2609.12303 前往小宇宙评论区与主播互动

  3. 2d ago

    【第776期】Dream-RSI:基于演化世界的递归自我改进框架

    今天的这篇的主题是: Dream-RSI: Recursive Self-Improvement through Evolving Worlds Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 递归自我改进(Recursive self-improvement)正成为自主 AI 智能体不可或缺的核心能力,这类智能体的进步依赖于在复杂领域中发掘高价值的解决方案。高效的探索驱动着这一过程,然而管理和改进探索策略依然是一个主要的瓶颈。 当前的系统面临着一个根本性的困境:随着搜索空间的扩大,固定策略无法自适应;而在线策略优化则必须在长视野(long-horizon) rollout 带来的延迟且昂贵的反馈下,去遍历庞大的元搜索空间(meta-search spaces)。 为此,我们引入了 Dream-RSI,这是一个用于可扩展且递归自我改进的探索框架。一个轻量级的编排层使探索过程变得显式且可编程,同时保持底层的基座智能体不变。我们的核心见解是:累积的发现历史可以充当一个针对已实现搜索空间的回放模拟器(replay simulator)。通过在由历史发现树构建的这个模拟器内部进行“做梦(dreaming)”,Dream-RSI 能够获得即时、低成本的离线策略(off-policy)反馈,从而在无需反复进行昂贵在线评估的情况下,对探索策略进行评估和精炼。随后,改进后的策略会被重新部署到线上以驱动进一步的发现,从而在自我改进的循环中不断扩充模拟器池。在 4 个领域的 9 个任务中,Dream-RSI 取得了具有竞争力的质量,并在多个设置中显著提高了发现效率。 原文链接:https://arxiv.org/abs/2609.14858 前往小宇宙评论区与主播互动

  4. 3d ago

    【第775期】Codebook Agent:AI协作只需六种核心结构

    今天的这篇的主题是: Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 根据大语言模型多智能体系统的上下文与论文特点,为您将该摘要纯翻译为中文: 针对不同的查询来调整大语言模型(LLM)多智能体系统的通信拓扑结构,能够同时提高准确率与效率。然而,现有的设计方法均将其视为条件图生成任务:利用变分、自回归或扩散解码器在 N×NN×N 的邻接空间中进行搜索,并使用根据效用和边数等结构成本训练的图网络代理模型对采样的候选拓扑进行排序。 我们认为这种问题构想与实际需求并不匹配。实验表明: 即便离散码本(codebook)容量从 8 扩大到 64,能够通过奖励筛选的拓扑结构也会塌缩为大约 6 种不同的图; 边数与实际测得的 Token 消耗量呈负相关(皮尔逊相关系数 r≈−0.4r≈−0.4),因此稀疏化图结构反而会使推理更加昂贵; 只要智能体共享同一个属性配置(Profile)——这是公开基准测试中的默认设置——针对智能体属性节点的消息传递打分器在邻接矩阵发生改变时就具有不变性(adjacency-invariant),因此在该条件下根本无法对候选拓扑进行排序。 这三个事实促成了 Codebook Agent 的提出: 一个矢量量化自编码器(VQ-AE)将成功的拓扑结构压缩为一个与查询无关的 16 实体码本; 一个基于奖励加权的 MLP 将查询嵌入映射为码本上的概率分布; 一个直接读取扁平化邻接矩阵的 MLP 代理模型(在实测效用和按任务归一化的 Token 成本上进行回归),在单次批处理前向传播中即可对解码出的候选拓扑进行重排序。 在测试阶段,Codebook Agent 无需迭代搜索,也无需消息传递。它在对比的所有六个基准数据集上均取得了最高的准确率(平均达到 84.6%,而最强的前人设计方法为 83.0%),生成一个拓扑仅需 2.4 毫秒,且消耗的 LLM Token 减少了 21.9%–33.2%。 原文链接:https://arxiv.org/abs/2609.02264 前往小宇宙评论区与主播互动

  5. 4d ago

    【第774期】面向写作的灵动思辨伙伴设计

    今天的这篇的主题是: Designing Proactive Thought Partners for Writing Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 写作涉及从构思到修改的多样化认知活动,且创作者的需求在不同个体和不同时刻之间大相径庭。主动式 AI 有望在恰当的时间提供适当的支持,然而现有的主动式工具在很大程度上仍局限于通用的文本级辅助(如自动补全)。 本文研究了主动式思考伙伴(Proactive Thought Partners)的设计空间:即能够主动在写作过程中提供可定制、更高层级认知支持的 AI 智能体。我们将这一概念实现在一个技术探针(technology probe)中,并将其部署给 16 名参与者进行了为期一周的实验。该探针允许用户通过配置角色和主动性来创建属于自己的伙伴。当用户写作时,相关伙伴会在恰当的时刻采取主动并提供建议。 研究结果表明,参与者通过前瞻性规划来配置主动支持,将建议同时用于“想法生成”与“自我监控”,并且青睐轻量级的视觉表示以及非指令性的修辞表达,以实现非侵入式的干预。最后,我们围绕定制化、时机选择、交互参与度以及呈现形式,提出了设计主动式写作助手的启示。 原文链接:https://arxiv.org/abs/2609.01588 前往小宇宙评论区与主播互动

  6. 5d ago

    【第773期】ParSer:大模型智能体的并行阅读与深度推理

    今天的这篇的主题是: PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 顺序记忆智能体(Sequential memory agents)通过逐块读取长文档并维持紧凑的记忆状态来处理文本,这使得文档遍历与推理深度被紧紧耦合在一起。这种耦合不仅导致模型对证据的位置极具敏感性,还将推理延迟与文档长度线性绑定。 为此,我们提出了 PARSER,它实现了“阅读”与“推理”的解耦。系统设立了一组轻量级子智能体,每个子智能体专注于单个文本块,共同并行读取整份文档;与此同时,一个主智能体通过多轮迭代的“散射-聚集”(scatter-gather)过程来进行深度推理:在每一轮中,主智能体向所有子智能体广播查询,聚合返回的证据,并根据目前已发现的内容构建更深层次的后续查询。这种解耦设计将所有可学习的行为集中在主智能体身上,并使用强化学习对主智能体进行优化,而子智能体则保持冻结且无需额外训练(使用现成模型)。 在上下文长度从 7K 到 896K token 不等的多跳问答(Multi-hop QA)测试中,以 4B 模型作为骨干网络(backbone)的 PARSER 比最强的顺序记忆基线平均高出 5.7 分,在 896K token 处高出 12.0 分。当扩展至 9B 骨干网络时,PARSER 超越了 DeepSeek-V4-Pro 6.3 分。对照实验证实,PARSER 对证据的位置、顺序和距离的扰动具有很强的鲁棒性(而这些条件会导致顺序处理方法产生剧烈的准确率波动),同时将推理延迟降低了高达 11 倍。 原文链接:https://arxiv.org/abs/2609.06702 前往小宇宙评论区与主播互动

  7. 6d ago

    【第772期】SMART:以设计文档为核心的AI原生性能建模工具

    今天的这篇的主题是: Design Docs Are All You Need: An AI-native Machine-Learning Performance Tool Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 请将上面这段关于 SMART(一种用于机器学习系统的符号性能建模库,其采用“纯设计文档+代码智能体重生成”的独特架构)的介绍翻译成中文。 机器学习性能建模是长期运行软件的一片极其残酷的领域:今天抽象中所固定的假设会被明天的模型和系统所推翻,从而迫使性能建模框架不断进行重构。与此同时,AI 编码智能体已经变得足够快速和强大,以至于重新生成整个库的成本比偿还增量修补它的技术债务还要低。 我们介绍了 SMART,这是一个用于机器学习系统的严谨符号性能建模库,其主分支(main branch)几乎不包含任何代码:整个代码库实际上是一个由自包含的自然语言设计文档组成的有向无环图(DAG)。在每次版本更新时,编码子智能体会仅根据这些文档重新生成实现,而人类的所有变更都只是对文档的自然语言编辑——这从结构上实现了“自文档化(self-documenting)”。 有两个关键要素确保了代码重新生成的可靠性: 以逐步详细示例为核心构建的设计文档风格:这些示例可作为生成智能体在上下文中的示范(in-context demonstrations)。 一个最小化的、递归定义的算子中间表示(IR):它具有符号化(SymPy)成本表达式、用于大规模参数扫描的快速分析汇总模式(fast analytical roll-up mode),以及用于细粒度调度研究的慢速模数调度模式(slow modulo-scheduling mode)。 重新生成的实现能够精确复现人工审计过的参考模型——包括在 TPU Pod 切片上运行的 DeepSeek-V3 服务推理——这表明设计文档(而非代码)可以成为机器学习系统协同设计工具的持久资产。 原文链接:https://arxiv.org/abs/2609.05364 前往小宇宙评论区与主播互动

  8. Nov 9

    【第771期】STAIR:利用目录结构提升长文档检索精度

    今天的这篇的主题是: STAIR (STructure Aware Information Retriever): A novel dataset and LLM based retriever for document structure augmentation Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。 如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。 联系小助手微信:eccstartup(加群/投稿论文) Summary 检索增强生成(RAG)是利用大型语言模型(LLM)生成准确且无幻觉回答的关键组件。尽管 LLM 在处理长上下文方面的能力正在不断提升,但仍面临“迷失在中间”(lost in the middle)的问题。因此,精准且准确的检索至关重要。现有的检索器通常将长上下文切分为基于固定长度的易处理文本块——这一过程丢弃了语料库中丰富且富含信息的语义全局结构。 我们提出了一种名为 STAIR 的新型检索系统,该系统使 LLM 能够利用语料库中的全局结构(如目录结构/ToC),从而在其模型参数中高效地存储和检索信息。我们对经过微调的可微搜索索引(DSI)系统进行了深入细致的消融实验,结果表明,目录结构有助于构建低幻觉(低于 0.05%)的生成式信息检索(IR)系统,并且能够泛化到训练样本极少的示例中。 为了进一步推动这一基于目录结构检索的新兴方向的研究,我们发布了 SearchTome——一个基于 6 个不同领域的 18 本书籍构建的多样化基准数据集。STAIR 在 SearchTome 上取得了 82.6% 的高 Recall@1 评分,显著高于 DSI(76.9%),且两者差异具有统计显著性。此外,STAIR 也轻松超越了其他强基线模型,包括 BM25(59.5%)、DPR(68.7%)以及开箱即用的 Mistral(13.8%)。 原文链接:https://arxiv.org/abs/2609.03874 前往小宇宙评论区与主播互动

About

73播客,Sheldon最喜欢的数字,内容均为Google NotebookLM原生生成,每天由AI领读最新的前沿论文。欢迎投稿合作。

You Might Also Like