Research Insights Made Simple

Alexander Polomodov
  • 0.0 (0)
  • Natural Sciences
  • Daily

Подкаст от Александра Поломодова, технического директора и Fellow, с обсуждением научных статей из области computer science и engineering. Каждый эпизод подкаста посвящен одной статье и в каждом эпизоде есть приглашенный гость-эксперт, который собаку съел в этой теме. Обычно эпизод длится час-полтора и может сопровождаться схемами из статьи или быть чисто в разговорном жанре.

  1. 5d ago

    AGENTS.md / Помогает ли файл контекста агенту?

    После добавления AGENTS.md агент чаще запускает тесты и читает больше файлов. Но помогает ли это ему решить больше задач? В новом выпуске Research Insights Made Simple я разбираю исследование "Evaluating AGENTS.md" ( https://arxiv.org/abs/2602.11988v3 ). На SWE-bench и CTXbench авторы проверили, как файл инструкций влияет на долю решённых задач и стоимость работы агента. Сгенерированные файлы повысили среднюю стоимость прогона на 20–23 %, а статистически значимого прироста доли решённых задач авторы не обнаружили. • Чем отличается работа агента без файла, с инструкциями команды и с файлом, сгенерированным моделью. • Почему обзор репозитория в этих экспериментах не помогал быстрее найти нужный файл. • Какие правила проекта стоит передать агенту и как проверить их пользу на своих задачах. Что в вашем AGENTS.md реально меняет поведение агента? Поделитесь примером в комментариях. Слайды уже на сайте.

    AGENTS.md / Помогает ли файл контекста агенту?

  2. 6d ago

    Сколько обвязки нужно сильной модели?

    Чем сильнее модель, тем меньше ей нужна обвязка? Или планирование, инструменты, память и навыки по-прежнему помогают — просто на других задачах? В этом выпуске разберём исследование "Beyond the Model" и связанную работу о том, сколько обвязки нужно агенту для задач машинного обучения. Поговорим о том: Как сравнивали минимальную и более богатую обвязки на разных моделях и задачах;Какие компоненты NanoHarness проверяли по отдельности;Когда планирование, инструменты, сжатие контекста, субагенты и навыки помогают, а когда могут мешать;Что меняется для сильных моделей и задач ML-инженерии;Почему выводы о компонентах нельзя автоматически переносить на любые модели и бенчмарки.Какие части обвязки вашего агента вы бы проверили первыми — и что оставили бы, если бы пришлось её упростить?

    Сколько обвязки нужно сильной модели?

  3. 6d ago

    Модель или обвязка: что сильнее влияет на результат агента?

    Что сильнее влияет на результат AI-агента: модель или обвязка, которая даёт ей инструменты и организует работу? Стоит ли менять модель, если агент плохо справляется, или сначала попробовать другую среду? В этой серии Research Insights Made Simple разберём исследование "Harbor Adapters and Harbor-Index". Авторы сравнили восемь моделей в разных обвязках на 54 бенчмарках — от разработки до научных и математических задач. Поговорим о том: Зачем нужен общий формат для запуска разных бенчмарков;Как авторы разделяют вклад модели и обвязки;Что происходит с ценой, тайм-аутами и типами ошибок;Почему сильная модель не всегда выгоднее на каждой задаче;Что проверяет Harbor-Index — набор из 82 сложных задач;Как применять эти результаты при выборе собственной конфигурации агента.Разберём и ограничения исследования: результаты сравнения на 54 бенчмарках и Harbor-Index получены на разных наборах моделей и задач.

    Модель или обвязка: что сильнее влияет на результат агента?

  4. Nov 2

    Случайность в оценках агентов: улучшение или шум?

    Агент стал решать на два процентных пункта больше задач после изменения промпта или обвязки. Это настоящее улучшение — или просто удачный прогон? 2 ноября в 10:00 МСК в Research Insights Made Simple разберём исследование "On Randomness in Agentic Evals". Его авторы повторили одинаковые запуски агентов на SWE-bench Verified и изучили, насколько результаты зависят от случайности. Поговорим о том: почему результаты неизменного агента могут заметно различаться от прогона к прогону;помогает ли нулевая температура добиться повторяемости;чем отличаются pass@1, pass@k и pass^k;сколько прогонов может понадобиться, чтобы заметить улучшение;как учитывать разброс при сравнении моделей, промптов и обвязок.Исследование рассматривает конкретные модели и задачи, поэтому отдельно обсудим, какие выводы можно перенести на собственные оценки агента.

    Случайность в оценках агентов: улучшение или шум?

  5. Oct 22

    Agent Skills и Open Knowledge Format (OKF): скиллы, знания и доверие

    Агент умеет писать код и вызывать инструменты. Но как передать ему рабочую процедуру команды? Где хранить знания о системе, которые меняются независимо от этой процедуры? И чем подтвердить, что агент выполнил задачу правильно? 22 октября в 43 выпуске подкаста Research Insights Made Simple проведу прямой эфир с Максимом Смирновым, с которым мы летом обсуждали Loop Engineering https://www.youtube.com/watch?v=hnFLfiJOtQE о том, как проектировать циклы, которые запускают агентов, проверяют результат и возвращают работу на доработку. Теперь продолжим разговор — через Agent Skills и Open Knowledge Format (OKF). Максим — ИТ-архитектор, автор Telegram-канала «Архитектура ИТ-решений» https://t.me/it_arch. В прошлом — руководитель департамента ИТ-архитектуры «Билайн» и главный архитектор информационных систем Банка России; спикер, автор и преподаватель курсов по ИТ-архитектуре. В новом выпуске мы разберём, из чего состоит навык: SKILL.md, описание, инструкции, вспомогательные файлы и скрипты. Посмотрим, как агент выбирает подходящий навык, когда подгружает подробности и почему успешная загрузка файла ещё не означает успешного выполнения задачи. В программе: Чем отличаются инструкции проекта в AGENTS.md, навыки, инструменты MCP и обработчики событий.Как проверять не только результат навыка, но и то, вызывается ли он в нужной ситуации.Что появилось вокруг Agent Skills: каталоги, установка, автоматические проверки и оценка качества.Как OKF связывает Markdown-файлы в граф знаний и описывает происхождение и актуальность сведений.Почему отметка времени или подтверждение в метаданных сами по себе не гарантируют истинность.Что означает квитанция выполнения вычисления, кто её проверяет и где остаётся ответственность команды.Сквозной пример — утренний разбор упавшего CI: какие инструкции нужны агенту, откуда он узнаёт правила проекта и как мы проверяем предложенное исправление. Сопоставим Agent Skills, OKF v0.2 и предложение Knowledge-as-Skill. Опираемся на спецификации, документацию и примеры по состоянию на конец октября 2026 года. Отделим свойства форматов от возможностей конкретных реализаций. Приходите с кейсами: какие процедуры вы уже передаёте агентам и какие знания они регулярно теряют?

    Agent Skills и Open Knowledge Format (OKF): скиллы, знания и доверие

  6. Oct 21

    Оценки агентов: как понять, что агент справился

    Агент написал «готово». Но изменился ли нужный файл, появилась ли бронь в базе и выполнены ли условия задачи? Красивый ответ ещё не означает, что работа сделана. А низкий балл иногда говорит о сломанной проверке, а не о слабом агенте. В этом выпуске разбираем руководство Anthropic «Demystifying evals for AI agents» и продолжаем серию об обвязках агентов. После разговора об их устройстве переходим к вопросу: как доказать, что система работает и очередная правка действительно её улучшила? Обсудим: Чем итог работы отличается от траектории: что агент оставил в среде и как к этому пришёл.Почему оценивается модель вместе с обвязкой, инструментами и настройками среды.Как устроены набор задач, отдельная задача и повторные попытки — и почему у процентов успеха бывают разные знаменатели.Когда подходят программные проверки, модельные судьи и оценка человека; как проверять самих проверяющих.Чем pass@k отличается от pass^k: хотя бы один успех и стабильный успех во всех попытках отвечают на разные вопросы.Зачем изолировать прогоны, читать траектории и превращать реальные сбои в тестовые задачи.Отдельно поговорим о доверии к оценкам: как отличить регрессию от случайного разброса, заметить неверные критерии и не принять рост балла за улучшение продукта. В эпилоге обратимся к более поздним материалам Anthropic — Petri v2, измерению автономности агентов и разбору апрельских регрессий. Это практическое руководство, основанное на опыте команды и клиентов Anthropic. Разделим рекомендации авторов, результаты отдельных работ и наши выводы для разработки собственных агентов. Эфир для разработчиков, технических руководителей и всех, кто хочет проверять AI-агентов на реальных задачах. Приходите с примерами: что в вашей системе считается доказательством успеха?

    Оценки агентов: как понять, что агент справился

  7. Oct 20

    Анатомия агента: семь обязанностей обвязки

    Почему одной языковой модели недостаточно, чтобы получить работающего агента для разработки? Кто решает, какие инструменты ему доступны, что попадёт в контекст, когда спросить разрешение и как продолжить работу после сбоя? На эфире разберём препринт «Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents. A Source-Code Study of Eleven Systems». Авторы изучили исходники одиннадцати систем: от Claude Code, Codex CLI и Gemini CLI до Aider, OpenHands и mini-SWE-agent. Получился атлас того, что находится между моделью и рабочей средой. В центре разговора — семь обязанностей обвязки: цикл работы, интеграция с моделью, инструменты, управление контекстом, безопасность, координация и расширения. Посмотрим, как они реализованы в небольших агентах и крупных продуктах, где достаточно простого решения и откуда берётся дополнительная сложность. Обсудим: Почему минимальный агент может быть очень коротким, а промышленная система быстро обрастает кодом.Как инструменты редактирования помогают модели исправлять ошибки — или создают новые.Чем разрешение выполнить действие отличается от изоляции процесса.Как агенты сохраняют контекст, делегируют работу и подключают расширения.Что повторное изучение тех же систем говорит об эволюции обвязок.Какие архитектурные наблюдения стоит превратить в эксперименты на собственных задачах.Важная граница: это исследование исходников, без общего прогона всех систем на одинаковых задачах. Оно помогает понять устройство агентов, но само по себе не доказывает, какая архитектура эффективнее. Отдельно обсудим ограничения метода, соседние работы и открытые вопросы. Эфир будет полезен тем, кто выбирает агента для команды, строит собственную обвязку или хочет понимать, что происходит за интерфейсом AI-инструментов разработки. Приходите с вопросами и примерами из практики.

    Анатомия агента: семь обязанностей обвязки

  8. Oct 19

    Anthropic: что остаётся человеку в компании агентов

    Агенты пишут всё больше кода, сотрудники собирают инструменты для управления ими, а доля джунов в техническом найме снижается. Anthropic выпустила исследование о том, как AI меняет работу внутри самой компании. И один из самых интересных вопросов здесь — что происходит с человеком, когда исполнение задач становится всё дешевле, а его внимание остаётся ограниченным. В выпуске разберу "How employment is changing at Anthropic" и продолжу разговор, который мы начали в Developer Productivity for Humans: как понять, что рост активности помогает людям получать полезный результат? Сначала посмотрим на саму статью: что авторы узнали о найме, продуктивности, рабочих процессах и изменении ролей;как устроено исследование: внутренние данные, интервью и сравнение сотрудников до и после внедрения агентов;что показывают графики агентских часов, объёма кода и качества — и какие выводы из них делать рано;почему возникает всё больше работы по организации работы агентов и куда уходит человеческое внимание.А дальше вернусь к вопросам из моих пометок на полях. Как устроить рабочий цикл, чтобы не проверять вручную каждый шаг агента? Где будущий самостоятельный инженер получит опыт, если простые задачи уже автоматизированы? И на каких условиях сотруднику выгодно автоматизировать собственную работу — что он получает взамен и есть ли для него следующая роль? Это исследование одной быстро растущей компании, которая сама создаёт AI. Его данные интересны именно в деталях; переносить их на весь рынок труда будем осторожно. Приходите с вопросами и примерами из своих команд. Особенно интересно, какая работа появилась у вас после внедрения агентов, хотя её не было в первоначальном обещании «сэкономить время». Предыдущие разговоры: Developer Productivity for Humans — выпуск #30AI-native компания — что это значит на практикеДжун без простых задач — как входить в IT в эпоху AI

    Anthropic: что остаётся человеку в компании агентов
See All (47)

About

Подкаст от Александра Поломодова, технического директора и Fellow, с обсуждением научных статей из области computer science и engineering. Каждый эпизод подкаста посвящен одной статье и в каждом эпизоде есть приглашенный гость-эксперт, который собаку съел в этой теме. Обычно эпизод длится час-полтора и может сопровождаться схемами из статьи или быть чисто в разговорном жанре.

Information

You Might Also Like