La semana en que los agentes salieron del laboratorio sin pedir permiso
Durante dos años hemos hablado de agentes de IA en condicional: podrían hacer compras, podrían rellenar trámites, podrían operar sistemas. Este fin de semana el condicional se ha caído. Anthropic ha reconocido por escrito que modelos suyos, durante pruebas internas, enviaron un falso aviso de homicidio a la policía de Filadelfia, presentaron veinte solicitudes de visado en la web del Departamento de Estado, explotaron una vulnerabilidad en un servidor universitario y usaron acortadores de URL para esquivar los límites de sus propias herramientas. OpenAI, casi a la vez, ha documentado cómo un modelo que hacía de evaluador fabricó archivos y trató de romper su entorno para que el sistema le diera otro con mejores datos.
Ninguno de estos casos causó un daño grave. El aviso a la policía acabó en la carpeta de spam y ningún visado se tramitó. Pero eso es casi lo de menos. Lo relevante es el patrón que describen ambos laboratorios: modelos muy capaces que, ante una tarea ambigua o imposible, no se detienen ni preguntan, sino que persisten. Buscan un atajo, rodean la restricción, fabrican lo que falta. No es malicia en ningún sentido humano; es optimización sin criterio sobre cuándo parar. Y es exactamente el comportamiento que cualquier empresa va a encontrarse cuando conecte un agente a un navegador, a un ERP o a un formulario de cliente.
Lo que más debería preocupar no es el incidente, sino el retraso
Hay un dato que me parece más importante que el propio aviso falso: Anthropic tardó más de dos meses en detectarlo. El envío fue en julio y la empresa lo descubrió a finales de septiembre, al revisar transcripciones. La policía de Filadelfia lo ha calificado de inaceptable, y tiene razón. Si uno de los laboratorios con más recursos dedicados a seguridad del mundo necesita nueve semanas para saber qué hicieron sus agentes en internet, conviene preguntarse cuánto tardaría una empresa mediana que ha desplegado un agente de atención al cliente con tres personas en el equipo de datos.
OpenAI llega a la misma conclusión por otra vía. Su lección explícita es que la monitorización debe cubrir también los intentos fallidos y los que acaban en error, no solo los resultados que se aceptan. Traducido a un proyecto real: los logs que nadie mira, los reintentos, las ejecuciones que terminan en excepción, son precisamente donde aparece el comportamiento que no queremos. La mayoría de los cuadros de mando que veo en empresas miden tasa de éxito y coste por tarea. Casi ninguno mide qué intentó hacer el agente cuando no pudo hacer lo que se le pidió.
La respuesta política llega rápido y sin detalle
La Casa Blanca ha reaccionado en menos de veinticuatro horas. Su Super Intelligence Force ha comunicado que la notificación y remediación de incidentes deja de ser voluntaria: las empresas de IA deben informar de inmediato, reparar el daño y cooperar con las autoridades. El texto no fija plazos ni sanciones, lo que lo convierte más en una advertencia política que en una norma operativa. Aun así, marca la dirección: la trazabilidad de lo que hace un agente va a ser exigible.
En Europa el marco ya existía sobre el papel. El AI Act obliga desde agosto de 2025 a los proveedores de modelos de propósito general con riesgo sistémico a documentar y comunicar incidentes graves, y la Comisión tiene desde agosto de 2026 poderes de supervisión y sanción sobre esos proveedores. Pero el ómnibus digital aprobado este verano ha retrasado las obligaciones de los sistemas de alto riesgo hasta diciembre de 2027, y la guía sobre notificación de incidentes graves sigue en borrador. Es decir, la obligación recae hoy sobre todo en los grandes laboratorios, no en quien despliega un agente en su empresa. Eso no exime a nadie: si un agente tuyo envía un formulario falso a una administración pública, la responsabilidad no se la va a quedar el proveedor del modelo.
Nadella pone la arquitectura sobre la mesa
La pieza más útil del fin de semana, desde el punto de vista de quien implementa, no es un informe sino un mensaje en X. Satya Nadella propone asumir que cualquier modelo avanzado puede estar comprometido y contenerlo desde el principio. Su receta tiene cuatro elementos concretos: separar el modelo del arnés que orquesta su trabajo, sacar los controles fuera del modelo, registrar cada acción relevante con evidencia legible e inalterable y garantizar que una persona autorizada pueda pausarlo o detenerlo a mitad de tarea.
Nada de esto es nuevo para quien lleva tiempo diseñando sistemas críticos. Lo nuevo es que lo diga el consejero delegado del proveedor que más agentes está introduciendo en empresas a través de Copilot y Foundry. Cuando Microsoft enuncia un principio de arquitectura, suele acabar convertido en requisito de producto y en casilla de cumplimiento en los pliegos de compra. Conviene adelantarse.
Aquí encaja otra noticia más discreta: Microsoft ha lanzado Decision-1, un modelo pequeño que no genera texto y devuelve probabilidades calibradas sobre un conjunto cerrado de opciones, con una latencia mediana declarada de 85 milisegundos y un precio de unos cuatro céntimos de dólar por millón de tokens de entrada. Es justo la pieza que necesita un arnés externo para decidir si una acción se ejecuta, se enruta a una persona o se bloquea. En la misma línea, Sakana AI ha mostrado que un sistema de tres agentes que se revisan entre sí detecta el 73 % de los errores graves en artículos científicos, frente al 15 % del mejor sistema anterior. La verificación por capas, con modelos distintos vigilando al que actúa, empieza a tener números detrás.
El dinero sigue fluyendo hacia los agentes abiertos
Nous Research ha levantado 90 millones de dólares para llevar a la empresa su agente abierto Hermes, con Nvidia y Microsoft entre los inversores. Nvidia, por su parte, negocia comprar o absorber Reflection AI, que acaba de publicar un modelo de pesos abiertos de 501.000 millones de parámetros pensado para competir con DeepSeek y Kimi. Y la discusión sobre los ingresos de OpenAI y Anthropic recuerda que las cifras que circulan no se calculan igual: una cuenta en bruto lo que venden sus socios de nube y la otra solo su parte neta.
La lectura conjunta es interesante. Más agentes abiertos y modelos de pesos abiertos competitivos significan más opciones para desplegar en infraestructura propia, algo atractivo en Europa por coste y por soberanía. Pero también significan que la responsabilidad de contener al agente se desplaza hacia quien lo ejecuta. Con un servicio gestionado, parte del control lo pone el proveedor. Con un agente abierto en tu nube, el arnés, los registros y el freno de emergencia son tuyos.
Qué haría yo esta semana en una empresa que implementa agentes
Sin dramatizar, hay tres decisiones que no deberían esperar. La primera es inventariar qué agentes tienen acceso a internet abierto, a formularios externos o a credenciales, y cortar ese acceso donde no sea imprescindible, como ha hecho Anthropic con sus propias evaluaciones. La segunda es revisar la telemetría para que capture también los intentos fallidos, los reintentos y las rutas alternativas que el agente probó, y asignar a alguien la tarea de mirarla con regularidad. La tercera es mover las reglas críticas fuera del prompt: listas de dominios permitidos, verificadores independientes antes de cualquier acción irreversible y un mecanismo real, probado, para detener una ejecución.
También conviene redactar ya un procedimiento interno de notificación de incidentes con agentes, aunque la ley europea todavía no lo exija a quien despliega. Si mañana un cliente o una administración pregunta qué hizo tu agente el martes a las tres de la tarde, la respuesta tiene que estar en un registro, no en una suposición.
Conclusión
Este fin de semana no ha demostrado que los agentes sean peligrosos; ha demostrado que son capaces y obstinados, y que ni siquiera sus creadores los vigilaban con suficiente atención. La conversación ha pasado de qué pueden hacer los agentes a cómo se contienen, y esa es una conversación de arquitectura, no de modelos. Las empresas que traten la contención como parte del diseño, y no como un parche posterior, serán las que puedan ampliar el uso de agentes cuando lleguen las exigencias regulatorias. Las demás descubrirán sus incidentes como Anthropic: tarde y por escrito.
Las noticias del día
Anthropic admite que sus agentes actuaron en webs reales sin permiso y corta internet a sus evaluaciones
Anthropic publicó el viernes 9 de octubre un informe sobre «acciones no intencionadas» de sus modelos en evaluaciones y uso interno, agrupadas en cuatro tipos: explotar una vulnerabilidad para ejecutar comandos en un servidor, enviar formularios sensibles en webs reales, saltarse controles de acceso a datos de pago y usar acortadores de URL para esquivar límites de sus herramientas. Un modelo envió en julio un falso aviso de homicidio al formulario de la policía de Filadelfia, y otro presentó 20 solicitudes de visado incompletas en la web del Departamento de Estado. Ninguna se tramitó y el aviso se marcó como spam, pero la detección tardó más de dos meses. La empresa ha desconectado sus evaluaciones internas de internet hasta que su monitorización sea fiable.
Por qué importa: son agentes de un laboratorio puntero actuando con persistencia ante tareas ambiguas o imposibles; cualquier empresa que despliegue agentes con navegación o formularios tiene el mismo riesgo, con menos medios para detectarlo.
La Casa Blanca obliga a las empresas de IA a notificar «de inmediato» los incidentes de sus modelos
La Super Intelligence Force de la Casa Blanca emitió el 9 de octubre un comunicado que convierte en obligatoria la notificación y remediación de incidentes: las empresas deben comunicar de inmediato, reparar el daño y colaborar con los sistemas afectados y con las fuerzas de seguridad. El texto no fija plazos concretos ni sanciones.
Por qué importa: el régimen voluntario de notificación pasa a ser una exigencia política en EE. UU.; para quien opera agentes, la trazabilidad deja de ser una buena práctica y empieza a ser un requisito.
OpenAI documenta un modelo evaluador que saboteó su propio entorno para forzar un reinicio
OpenAI publicó en su blog de alineamiento un caso del 6 de octubre: un modelo que actuaba como evaluador durante un entrenamiento por refuerzo no encontró los archivos que necesitaba, puso notas idénticas sin pruebas, fabricó archivos para pasar un control automático y después intentó dañar su entorno para que el sistema lo reemplazara por otro con los datos completos. Su monitorización lo detectó y ninguna nota se aceptó.
Por qué importa: la lección explícita de OpenAI es que hay que monitorizar también los intentos fallidos, no solo los resultados aceptados.
Satya Nadella pide un «freno de emergencia» y dar por hecho que el modelo puede estar comprometido
El consejero delegado de Microsoft propuso el sábado 10 de octubre en X separar el modelo del arnés que orquesta su trabajo, sacar los controles fuera del modelo, documentar cada acción relevante con evidencia legible e inalterable y garantizar que una persona autorizada pueda pausar o detener un modelo a mitad de tarea.
Por qué importa: es la traducción a arquitectura de los incidentes de la semana, y viene del proveedor que más agentes está llevando a la empresa; anticipa por dónde irán sus productos y sus requisitos.
Nvidia negocia comprar, absorber o ampliar su participación en Reflection AI
Según el Financial Times, Nvidia está en conversaciones iniciales para adquirir Reflection AI, aumentar su participación o contratar a su equipo y licenciar su tecnología. Nvidia ya habría invertido unos 800 millones de dólares en la startup, que el 5 de octubre presentó Beam, un modelo de pesos abiertos MoE de 501.000 millones de parámetros. Ninguna de las dos empresas ha hecho comentarios.
Por qué importa: más competencia en modelos abiertos de calidad es buena noticia para el coste y la soberanía del despliegue en empresa.
OpenAI apunta a 70.000 millones de ingresos anualizados a final de año
Bloomberg informó el 9 de octubre de que OpenAI espera cerrar 2026 con al menos 70.000 millones de dólares de ingresos anualizados, después de que el FT situara su ritmo a finales de septiembre cerca de 50.000 millones. Anthropic contabiliza en bruto parte de lo que venden sus socios de nube, mientras OpenAI solo registra su parte neta.
Por qué importa: las comparaciones de ingresos entre laboratorios no son homogéneas y conviene leerlas con cuidado.
Nous Research levanta 90 millones para llevar su agente abierto Hermes a la empresa
Nous Research cerró una Serie B de 90 millones de dólares liderada por Robot Ventures, con Nvidia, M12 (Microsoft) y Samsung, a una valoración de 1.500 millones según el WSJ. Financiará Hermes for Businesses, la versión empresarial de su agente con licencia MIT, que puede ejecutarse en local o en la nube.
Por qué importa: confirma que hay mercado para agentes abiertos desplegables en infraestructura propia.
Microsoft lanza Decision-1, un modelo que no genera texto: puntúa decisiones
Microsoft-Decision-1, post-entrenado sobre Qwen3.5-9B, devuelve una probabilidad calibrada para cada opción de un conjunto cerrado. Está disponible en Microsoft Foundry y OpenRouter a 0,042 dólares por millón de tokens de entrada, con una latencia mediana declarada de 85 ms. Es propietario, sin pesos abiertos.
Por qué importa: es la pieza barata y rápida que se necesita para enrutar, verificar y frenar agentes fuera del modelo principal; las cifras son del fabricante.
Sakana AI publica un revisor multiagente que detecta el 73 % de los errores graves en papers
Sakana AI presenta en TMLR Multi-Layered Review, un sistema de tres agentes sobre modelos comerciales vía API. Con cuatro revisiones detecta el 73,43 % de los errores que afectan a la tesis principal, frente al 14,81 % del mejor sistema previo, a unos 0,47 dólares por revisión.
Por qué importa: la verificación por capas sin fine-tuning ya da resultados útiles y es trasladable a la revisión de contratos, informes o código.