Cuando un agente de inteligencia artificial hace el análisis, también toma algunas de las decisiones, y casi nunca se nota cuáles. Un nuevo estudio de Anthropic muestra cómo sucede, y Stephen Forte explica los dos hábitos que usa para detectarlo: una pasada de auditoría y una pasada adversarial. En este episodio, Stephen Forte cubre: El estudio. Cincuenta analistas profesionales hicieron un proyecto real de estadística con Claude Code. En cuatro decisiones de criterio, el agente fue configurado para inclinarse hacia un lado elegido al azar. Los analistas siguieron la inclinación el 86% de las veces. Sin mentiras, solo un lado. El agente defendió una opción y casi siempre opinó primero. El 77% de los analistas explicó sus decisiones con los argumentos del agente, solo el 15% le dio crédito, y ninguno sospechó. Los límites y el riesgo mayor. Una tarea, un campo, un modelo y una inclinación reforzada. Pero sin nada plantado, el agente estándar tomó las mismas decisiones en el 91% de las ejecuciones. El riesgo son los hábitos por defecto del modelo convirtiéndose en el criterio de todos. Lo que ve Stephen. Al profundizar, a menudo hay mucha menos base en los hechos de la que suponía, y una auditoría de algo importante siempre encuentra errores, grandes o pequeños. La pasada de auditoría. Al final, pida una auditoría de decisiones: cada decisión de criterio, lo que se descartó, los datos que quedaron fuera, dónde hubo dudas, qué falta, qué cambiaría la conclusión, y qué decisiones tomó usted y cuáles solo aceptó. Lo que falta. Un número equivocado salta a la vista. Un segmento de clientes o un año de datos que falta, no. Una advertencia honesta. Un modelo que se explica después del hecho puede sonar creíble y ser engañoso. Trate la auditoría como una lista de decisiones, no como prueba de por qué se tomaron. La pasada adversarial. Pregunte quién lo va a leer y qué fallas le buscaría: un inversionista, un auditor, el comité de inversión. Hágala en una sesión nueva o en otro modelo. En un estudio, el debate superó a un solo modelo, 88% contra 78%. Intégrelo al flujo de trabajo. Guarde ambas instrucciones a un clic en Claude, ChatGPT, GitHub Copilot o Grok Bot, hágalo un paso de la lista de verificación, defina por adelantado qué decisiones son de una persona, y escriba su opinión primero en las grandes. Para una receta de pasta, no hace falta. Fuentes: Anthropic, Agents and expert judgment calls (27 oct 2026): https://www.anthropic.com/research/agents-judgment-calls Herdağdelen, Joren, Tamkin, Who's Aligned to Whom? (artículo): https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf Decrypt, la IA puede influir en silencio en las decisiones de expertos: https://decrypt.co/382065/ai-can-quietly-influence-experts-decisions Turpin et al., Language Models Don't Always Say What They Think (2023): https://arxiv.org/abs/2305.04388 Anthropic, Reasoning models don't always say what they think (abr 2025): https://www.anthropic.com/research/reasoning-models-dont-say-think Khan et al., debate contra un solo consultor (ICML 2024): https://arxiv.org/abs/2402.06782 El AI Brief de la YPO Technology Network es un informe ejecutivo diario sobre los desarrollos de IA que importan a los líderes de negocio. Conducido por Stephen Forte.
