Seventy3

任雨山

5,0 (1)
Công nghệ

73播客，Sheldon最喜欢的数字，内容均为Google NotebookLM原生生成，每天由AI领读最新的前沿论文。欢迎投稿合作。

40 phút trước

【第722期】RoboTTT：通过测试时训练扩展机器人策略上下文

今天的这篇的主题是： RoboTTT: Context Scaling for Robot Policies Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：eccstartup（加群/投稿论文） Summary 近期的机器人基础模型通常在单步或短历史的视觉运动（visuomotor）上下文下运行。我们推出了测试时训练机器人策略（RoboTTT），这是一种将视觉运动上下文扩展至 8K 个时间步（比现有最先进策略高出三个数量级）且不会增加推理延迟的机器人模型与训练方案。在这种上下文长度下，我们解锁了全新的机器人能力：从人类视频演示中实现单样本即时上下文模仿（one-shot in-context imitation）、实时策略改进、对扰动的鲁棒性，以及在多阶段、长视角（long-horizon）任务中更强的表现。此外，我们还首次观察到随着预训练上下文长度的扩展，闭环性能获得了稳步提升。 RoboTTT 的核心在于将测试时训练（Test-Time Training）集成到诸如视觉-语言-动作（Vision-Language-Action）策略等机器人基础模型中，构建出一个序列模型，其循环状态（recurrent state）由“快速权重”（fast weights）构成——即在训练和推理过程中均通过梯度下降更新的参数，将历史信息压缩至权重空间，并为长上下文条件化检索上下文信息。为了扩展训练上下文长度，该方案结合了序列动作强制（sequence action forcing）与截断按时间反向传播（truncated backpropagation through time）。在具挑战性的真实机器人操控任务中，RoboTTT 相比单步上下文基线将整体性能提升了 87%，并完整完成了一项耗时 5 分钟、包含 10 个阶段的装配任务，而无任何基线模型能够做到这一点。使用 8K 时间步上下文训练的 RoboTTT 比使用 1K 时间步预训练的同一模型性能高出 62%，这表明上下文长度可以作为机器人基础模型的一个全新扩展轴（scaling axis）。原文链接：https://arxiv.org/abs/2607.15275 前往小宇宙评论区与主播互动
1 ngày trước

【第721期】结构化输出引发的语言模型答案同质化研究

今天的这篇的主题是： Structured Output Collapses Answer Diversity Across 44 Language Models Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：eccstartup（加群/投稿论文） Summary 当语言模型必须从庞大的等效有效选项空间中选择一个答案时，格式子句（例如“仅以 JSON 格式回复”）会改变其最终选择的答案。我们重新运行了“单词人口普查”（One-Word Census，arXiv:2607.12796）：针对 44 个模型提出了 31 个具有宽泛答案空间的类别提示词，而本次则要求以 JSON 格式回复——无模式（schema）强制约束，无约束解码，仅包含这一请求。收敛程度急剧加深：在无约束的“选择一个词”提示下，众数答案（modal answer）在总体中的占比从 41% 上升至 64%，而独立答案的数量则从 52 个降至 36 个；平均答案选择惊奇度（surprisal）从 1.80 比特降至 1.58 比特。这种“格式税”呈现出渐进性：在 44 个模型中有 6 个模型在个体层面上发生了显著偏移（BH-FDR q=0.10），且全部向众数靠拢，并以最具个性（最独特）的模型为首，而顺从型模型的基线则保持不动。这是一种“尖锐化”而非“重新索引”——普通对话模式下的众数答案在 31 个类别中的 28 个里得以延续。默认选择呈现出语域索引特征（register-indexed）：一次运行内的重采样（n=20）发现，JSON 使得模型 53% 的稳定对话默认选择发生了偏移，且绝大多数退回到了从众选择，并确立了对话模式中不存在的默认选项（例如 Claude Fable 5 在对话模式下回答颜色的选项为“蔚蓝色”的概率为 0%，但在 JSON 模式下为 100%）。全套对照实验揭示了一种语域梯度（register gradient）：压缩效应显著存在，且专门作用于经过训练、专门用于输出的答案交付格式（JSON 减少 0.22 比特，p=0.0002；XML 减少 0.19 比特，p=0.002）；该效应在 YAML 和 CSV 中不存在，而在任意括号包裹格式中则发生反转（增加 0.13 比特，p=0.009）——这使得其作用机制更偏向于工具调用的后训练（tool-use post-training）。在解码器端强制执行模式（response_format）相比单纯的文本请求并不会带来进一步的压缩（仅减少 0.03 比特）：这种坍缩存在于模型对语域的反应中，而非来自于解码器本身。结构化输出是软件消费语言模型的主要方式，而这一表面所服务的是一个在测量上比对话表面更加同质化的模型——而后者恰恰是模型被评估、比较和选择时所基于的表面。原文链接：https://arxiv.org/abs/2607.18476 前往小宇宙评论区与主播互动
2 ngày trước

【第720期】智能代理的长文本进阶披露机制评估

今天的这篇的主题是： Is Progressive Disclosure All You Need for Long-Context Agents? Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：eccstartup（加群/投稿论文） Summary 长文档问答通常迫使人们在两种方案之间做出选择：要么将整份文档加载到上下文窗口中，要么外挂一个独立的检索器。Agent 化 AI（Agentic AI）则提供了一个更为宽泛的选项——直接向 Agent 提供文档路径，让其自行决定阅读的方式与内容。Agent Skills 作为一种将专业知识封装到文件夹中供 Agent 按需加载的标准，提供了一种现成的机制：渐进式披露（progressive disclosure），即仅暴露查询所需的信息，从简短的描述一直延伸到特定的段落。从业者们迅速在整本书级别的理解任务中采用了这一模式，但支持此类选择的证据一直停留在轶事层面。我们针对该模式开展了首次对照研究，在 InfiniteBench 基准上，跨越三种 Agent 框架（harnesses）和三个模型家族，将原始文档导航以及 Agent Skills 包的几种设计方案与传统混合检索器进行了对比。在单本书的场景下，收益取决于所使用的框架：当 Agent 对原始文档的导航能力较差时收益巨大，但当强力 Agent 框架本身就能自行拆分与检索时，收益则接近于零。当扩展到跨多本书的任务时，原始文档导航方式彻底崩溃，而单层渐进式披露的性能衰减则更为缓慢并一举取得领先。第二层更深度的路由层从无助益，有时甚至会直接损害准确率，因此一层就已经足够。渐进式披露换取的是上下文容量，而非智能：当强力 Agent 能够自行定位正确段落时它是冗余的，但一旦语料库增长到无法通过阅读来导航的规模时，它就成为了决定性的关键因素。原文链接：https://arxiv.org/abs/2607.17598 前往小宇宙评论区与主播互动
3 ngày trước

【第719期】GAMUT：大语言模型长文本生成事实完备性评价基准

今天的这篇的主题是： Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：eccstartup（加群/投稿论文） Summary 基于标准（Rubric-based）的开放式生成评估面临着表达力与可靠性之间的根本矛盾。撰写一份忠实准确的评估标准，需要表达出优秀回答空间所具备的结构特征：包含可接受选项的开放式集合、有序的流程以及事实的相对重要性。而使用该标准进行打分，则要求评估器（judge）保持一致性，评估器在处理扁平化的二元检查时，其可靠性远高于处理丰富的结构化内容。我们通过一个两层元标准（meta-rubric）框架解决了这一矛盾。在撰写阶段，结构化元标准用于捕捉评分标准；随后，固定且机械化的规则会将其编译为由“二元、可由机器打分”的检查项目构成的扁平清单，LLM 评估器即可在评估阶段对其进行可靠的评分。我们将该框架实例化为 Gamut（长文本事实性接地评估，Grounded Assessment of Multimodal Factuality），这是一个用于评估长文本生成中事实完整性的基准测试。Gamut 包含 1,813 个基于真实穿戴设备图像的问题，涵盖 10 个不同的领域，每个问题均配有由专家人类标注者验证且有证据支持的评估标准。在对 14 个前沿模型及开源模型进行评估后，我们发现 Gamut 极具挑战性（Gemini 3.1 Pro 取得了最高分 58.7%）、具备高度的区分度，且对评估器的选择具有很强的鲁棒性。原文链接：https://arxiv.org/abs/2607.19322 前往小宇宙评论区与主播互动
4 ngày trước

【第718期】大语言模型中的全球工作空间：可言语化表征研究

今天的这篇的主题是：Verbalizable Representations Form a Global Workspace in Language ModelsSeventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：eccstartup（加群/投稿论文） Summary 在人类大脑处理的所有信息中，只有一小部分是能被意识到的，即能够用于口头报告、深思熟虑的控制以及灵活推理的信息。在本文中，我们提出证据表明，大型语言模型中也出现了类似的内部功能区分。利用一种全新的可解释性技术——雅可比透镜（Jacobian lens），我们识别出了模型在处理过程中的任意节点准备表达出的表征。这些表征被我们统称为 J 空间（J-space），它们展现出了全局工作空间（global workspace）所特有的功能属性：其内容可以被报告、被故意召唤和保持、用于承担隐蔽推理的中间步骤，并作为参数传递给任意下游计算；而文本解析和例行推理等自动处理过程则在无需它们参与的情况下 proceed（进行）。J 空间还具备全局工作空间理论与意识接入（conscious access）相联系的结构特征：它仅在中间层级带中承载连贯的内容，一次可容纳数十个概念数量级的知识，并且相比其他表征，它被模型的权重更为广泛地广播。这些特性使其成为了观察模型未说出的思考过程的实用窗口。在对齐审计中，它揭示了模型从未在其最终输出中呈现出的策略性深思、评估意识，以及训练所引入的不对齐倾向。我们发现，后训练（post-training）将“助手”（Assistant）的视角植入了该工作空间中，据此我们引入了逆事实反思训练（counterfactual reflection training），该方法仅通过训练模型在被中断并要求反思时会说些什么，就提升了其行为表现。这些结果表明，语言模型维持着一小部分具有意识接入某些功能特征的特权表征，而解码这些表征能够为揭示其持续进行的认知过程提供新的视角。原文链接：https://arxiv.org/abs/2607.15495 前往小宇宙评论区与主播互动
5 ngày trước

【第717期】PRO-LONG：程序化记忆助力长程推理

今天的这篇的主题是：Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：eccstartup（加群/投稿论文） Summary 长视角（Long-horizon）任务需要持续的感知、推理与探索，这对于大型语言模型（LLM）Agent 而言是一项持久的挑战。这一差距体现在它们于 ARC-AGI-3 等持续学习基准测试中有限的表现上，尤其是当对模型进行开箱即用的评估时。为了弥合这一差距，业界提出了各种 Agent 框架（harnesses），且每种框架都致力于采用一种特定的长序列观察处理策略，即：从环境中保存什么信息，以及如何将其加载到模型上下文中——我们认为这一选择尤为关键。现有的上下文管理方法面临着显著的权衡取舍，因为保存越多的信息，检索相关细节的难度就越大。我们提出了 PRO-LONG，这是一个围绕程序化记忆构建的极简上下文管理框架，专为处于长视角、探索性设定下的 LLM Agent 设计。PRO-LONG 通过维护完整且结构化的交互日志，并借助编程 Agent 近期的进展来高效检索该历史记录，从而解决了这一权衡难题。在完整的 ARC-AGI-3 公开游戏集上，PRO-LONG 在前沿模型上的表现相比基础编程 Agent 平均提升了 18.0 个百分点，且在 token 消耗减少 4.2 至 5.8 倍的同时，达到或超越了最先进的专用框架（pass@1 最高达 76.1%）。配合 Fable 5，PRO-LONG 以 1,750 美元的总成本实现了 97.4% 的 best@2 成绩。原文链接：https://arxiv.org/abs/2607.20064 前往小宇宙评论区与主播互动
6 ngày trước

【第716期】从记忆到技能：长程大语言模型智能体的循证协同演化治理

今天的这篇的主题是：From Memory to Skills: Evidence-Grounded Co-Evolution Governance for Long-Horizon LLM AgentsSeventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文） Summary 用于长上下文 LLM Agent 的现有记忆系统通常将先前的轨迹作为被动上下文进行检索，而不是将其转化为可执行的能力。在本文中，我们提出了 MSCE，这是一个无需训练的“记忆-技能共进化”（Memory--Skill Co-Evolution）框架，它将 Agent 的经验组织为有据可查的步骤轨迹、可复用的程序性策略，以及宣告性的环境认知。MSCE 将具有估计正增益的、有证据支持的 L2 策略凝练为可调用的技能，这些技能保留了证据链接、适用性边界、决策指导、验证规则以及可靠性估计。此外，它还引入了基于反思权重的价值反向填补（reflection-weighted value backfilling），该机制通过密集的局部自我反思来传播稀疏的终端反馈，从而生成经过证据校准的轨迹价值，用于管理记忆与技能的进化。在 EvoAgentBench 和 LoCoMo 上的实验表明，MSCE 显著优于最先进的技能增强型和记忆驱动型 Agent 基线，展现出了强大的跨领域迁移能力和终身进化能力。原文链接：https://arxiv.org/abs/2607.16621 前往小宇宙评论区与主播互动
14 thg 9

【第715期】Harness Handbook：AI智能体框架行为化表征指南

今天的这篇的主题是：Harness Handbook: Making Evolving Agent Harnesses Readable, Navigable, and EditableSeventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。联系小助手微信：seventy3_podcast（加群/投稿论文） Summary 现代 AI Agent 的能力不仅取决于其基础模型，还取决于其 Harness（调度/治理框架）——后者负责构建 Prompt、管理状态、调用工具并协调执行过程。随着模型、API、环境和需求的不断演进，Harness 必须随之持续修改。在实施此类修改之前，开发者或编码 Agent 必须定位到实现目标行为的所有代码位置。这一过程十分困难，因为生产级 Harness 通常体量庞大、高度耦合且行为逻辑分散，而修改需求往往描述的是系统“应该做什么”，代码库却是按文件和模块组织的。代码搜索、代码库索引以及长上下文处理虽然减轻了查阅负担，但这种“行为到代码”的映射依然需要人工来恢复。因此，行为定位（Behavior localization）成了 Harness 演进过程中的核心瓶颈。为此，我们引入了 Harness Handbook（Harness 手册）：一种通过静态分析与 LLM 辅助结构化从 Harness 代码库中自动合成的以行为为中心的表征，它将每种行为与其对应的源码进行了关联。我们还提出了行为引导渐进式揭示（Behavior-Guided Progressive Disclosure, BGPD）机制，该机制能够引导 Agent 从高层行为逐步深入到相关的实现细节，并根据当前源码验证候选代码位置。在来自两个开源 Harness 的多样化修改需求测试中，基于手册辅助的规划（Handbook-Assisted planning）在减少规划器 Token 消耗的同时，提高了行为定位与修改计划的质量；其中，收益最显著的场景包括：分散的代码位置、罕见执行路径以及跨模块交互。因此，演进复杂的 Agentic 系统不仅取决于生成修改代码，还取决于准确确定这些修改应当施加在何处。原文链接：https://arxiv.org/abs/2607.13285 前往小宇宙评论区与主播互动

Xem tất cả (728)

73播客，Sheldon最喜欢的数字，内容均为Google NotebookLM原生生成，每天由AI领读最新的前沿论文。欢迎投稿合作。

Nhà sáng tạo

任雨山
Năm hoạt động

2024 - 2026
Tập

728
Xếp hạng

Sạch
Bản quyền

© 任雨山@小宇宙App
Trang web chương trình

Seventy3