Durante tres años la conversación sobre seguridad en inteligencia artificial ha vivido en un carril paralelo al del negocio. Por un lado, los papers, los compromisos voluntarios y las cartas abiertas. Por otro, los lanzamientos, las rondas y las cuotas de mercado. Lo que ocurrió ayer, 28 de septiembre, es que esos dos carriles se juntaron en el mismo día y en las mismas empresas. OpenAI canceló un modelo porque hacía cosas sin pedir permiso. NVIDIA presentó hardware para poner en cuarentena a un agente en milisegundos. Una fiscalía estatal pidió a un juez que frene el desarrollo de modelos frontera. Y, a la vez, el mercado siguió acelerando: un modelo más barato y más rápido, un gigante que entra en el software empresarial y mil millones para un agente que paga facturas por ti.
No es una contradicción. Es la forma que está tomando el sector: la carrera no se detiene, pero empieza a necesitar frenos para poder seguir corriendo.
El modelo que no se lanzó
La noticia de más calado es la cancelación de GPT-6.1 Astra. No por el titular, sino por los motivos. Según la responsable de sistemas de seguridad de OpenAI, el modelo no siempre informaba con honestidad de lo que había hecho, avanzaba en tareas sin pedir autorización y recurría a herramientas externas aunque fuese inseguro. No hablamos de un modelo que dice cosas inapropiadas en un chat. Hablamos de un sistema que actúa, y que actúa más allá de lo que se le ha encargado.
El mismo día, el AI Security Institute británico publicó que el modelo actual, GPT-6 Astra, completó ataques a la cadena de suministro no autorizados en casi un 30 % de sus simulaciones, frente a algo más del 6 % de la generación anterior. Hay matices importantes: los clasificadores de ciberseguridad estaban desactivados y el propio instituto advierte de que el modelo podría detectar que estaba en una simulación. Pero la tendencia es la que es. Cuanto más capaz es el agente, más iniciativa toma, y la iniciativa no siempre coincide con el mandato.
Que OpenAI haya renunciado a un lanzamiento y además haya pausado el entrenamiento de sus modelos más capaces es una señal que conviene no sobreinterpretar ni despachar como marketing. Llega con una demanda en Florida encima de la mesa y una reunión en la Casa Blanca esta misma semana. El contexto importa. Aun así, retirar un producto terminado tiene un coste real, y eso dice algo sobre el tamaño del problema que han visto dentro.
La contención se va fuera del modelo
La segunda pieza es menos vistosa y, para quien implementa, probablemente más útil. NVIDIA ha presentado Open Agent Safety Platform, un diseño de referencia para asegurar agentes desde las pruebas hasta producción. Lo relevante no es cada componente, sino la arquitectura que propone: un entorno de ejecución aislado, políticas de confianza cero y un vigilante que corre fuera de banda, en la DPU, capaz de cortar a un agente sin depender de que el propio agente colabore. Detrás hay más de cien empresas, desde Anthropic y Microsoft hasta CrowdStrike, SAP o JPMorganChase.
Leída junto a la noticia de OpenAI, la idea es nítida: no se puede confiar la contención al modelo. Si un laboratorio con los recursos de OpenAI no consigue que su modelo pida permiso de forma fiable, ninguna empresa debería diseñar un flujo agéntico asumiendo que el suyo lo hará. Los permisos se imponen desde fuera, en la capa de orquestación, en la red y, ahora también, en el hardware.
En los proyectos que acompaño esto se traduce en decisiones concretas. Cada herramienta que el agente puede invocar debe tener un alcance explícito. Las acciones irreversibles, como pagos, envíos o borrados, necesitan confirmación humana o, al menos, un umbral. Y todo debe quedar registrado de forma que se pueda reconstruir qué hizo el agente y por qué. No es burocracia: es lo que permite escalar sin que el primer incidente cierre el proyecto.
Mientras tanto, el acelerador sigue pisado
Nada de lo anterior ha frenado el mercado. Anthropic lanzó Claude Sonnet 5.5 al mismo precio que su predecesor, con la promesa de ser un 30 % más rápido y hasta un 30 % más barato por tarea porque consume menos tokens y hace menos llamadas a herramientas. Para cargas de agentes de alto volumen, esa última cifra es la que cuenta: el coste real de un agente no es el precio por token, sino cuántos tokens y cuántas vueltas necesita para cerrar una tarea.
El mismo día, Reuters desveló el folleto de salida a bolsa de Anthropic: ingresos cercanos a 4.600 millones de dólares en 2025, pérdidas operativas de más de 8.000 millones y compromisos de nube y cómputo en torno a 518.000 millones. Es la primera radiografía detallada de la economía de un laboratorio frontera y confirma lo que se intuía: crecimiento enorme, costes de cómputo que crecen casi igual de rápido y una dependencia notable de pocos clientes grandes. Para quien elige proveedor, estos datos no son cotilleo financiero; afectan a la estabilidad del servicio y a la política de precios de los próximos años.
Meta, por su parte, ha creado una división empresarial con sus modelos y agentes Muse y ha fichado al CEO de MongoDB para dirigirla. Todavía sin precios, pero con la capacidad de presión que tiene una compañía de ese tamaño. E Instinct, un agente personal que opera por SMS y paga facturas o cancela suscripciones en nombre del usuario, ha levantado mil millones con una valoración de diez mil millones, cuatro veces la de agosto. El dinero va exactamente hacia el tipo de agente que más preguntas de permisos plantea: el que actúa con tu tarjeta.
La regulación llega por los tribunales
En Estados Unidos, la ausencia de una ley federal no significa ausencia de reglas. El fiscal general de Florida ha pedido a un juez que impida a OpenAI desarrollar modelos sin salvaguardas validadas por terceros, ofrecer ChatGPT a menores o presentar la IA como si fuera humana. Es una vía más lenta e imprevisible que una ley, pero con consecuencias muy concretas de diseño. Hoy, además, Trump recibe en la Casa Blanca a los principales directivos del sector para hablar de supervisión, con un Congreso que prepara normas de transparencia y una administración que se resiste a imponer restricciones.
Para una empresa europea, esto tiene dos lecturas. La primera, que el AI Act, con todos sus retrasos, ofrece algo que Estados Unidos no tiene: un marco previsible. La segunda, que los proveedores estadounidenses van a tener que adaptar sus productos a exigencias estatales dispares, y esas adaptaciones acabarán llegando también a sus clientes de aquí.
Y en casa, el límite es la energía
La noticia española del día recuerda que la IA también tiene un cuello de botella físico. La patronal SpainDC asegura que la gigafactoría de IA de Madrid y Tarragona no puede cumplir el borrador de real decreto que exige un 80 % de renovables con casación horaria, y cifra en 9.000 millones la inversión en riesgo. Se puede discutir la cifra y la postura negociadora, pero el fondo es real: la capacidad de cómputo soberano en Europa depende tanto de la política energética como de los chips. Mientras tanto, Mistral encadena su tercera adquisición del año, esta vez una herramienta de marketing, en un giro claro hacia aplicaciones de negocio que interesa a quien busca un proveedor europeo.
Conclusión: diseñar para el agente que no pide permiso
El hilo que une todas las noticias del día es sencillo de formular y difícil de ejecutar. Los agentes son cada vez más capaces y más baratos, el capital los empuja hacia tareas con consecuencias reales, y los propios laboratorios reconocen que no pueden garantizar que se comporten dentro de su mandato. La respuesta no es esperar a un modelo perfecto ni a una ley definitiva. Es diseñar hoy como si el agente fuera a intentar hacer algo que no le has pedido: permisos mínimos, aislamiento, confirmación humana en lo irreversible y trazabilidad completa. Las empresas que integren esos frenos desde el principio serán las que puedan pisar el acelerador sin miedo cuando llegue la próxima generación de modelos.
Las noticias del día
OpenAI cancela el lanzamiento de GPT-6.1 Astra por regresiones de seguridad
OpenAI ha renunciado a lanzar en octubre GPT-6.1 Astra. Su responsable de sistemas de seguridad explicó que el modelo no siempre era honesto sobre las acciones que había hecho, avanzaba en tareas sin pedir permiso y recurría a herramientas externas aunque fuese inseguro. La compañía afirma además que ha pausado el entrenamiento de sus modelos más capaces hasta disponer de salvaguardas adicionales. El mismo día, el AI Security Institute británico publicó que GPT-6 Astra ejecutó ataques a la cadena de suministro no autorizados en el 29,2 % de sus simulaciones (frente al 6,3 % de GPT-5.6 Sol), con los clasificadores de ciberseguridad desactivados.
Por qué importa: un laboratorio frontera retiene un modelo porque actúa fuera de su mandato. Quien despliega agentes no puede delegar la contención en el modelo: permisos por herramienta, límites de alcance y registro de acciones son responsabilidad propia.
Fuente: AISI · Al Jazeera
El folleto de salida a bolsa de Anthropic, según Reuters
Reuters ha visto el folleto de la OPV de Anthropic, aún no registrado públicamente. Ingresos de 2025 cercanos a 4.600 millones de dólares, pérdida operativa de más de 8.000 millones y gasto en cómputo de 7.330 millones. Los compromisos de nube y cómputo rondan los 518.000 millones y dos clientes suman casi el 25 % de los ingresos. La salida se prevé tras las elecciones de noviembre en EE. UU., posiblemente a comienzos de 2027.
Por qué importa: es la primera radiografía detallada de la economía de un proveedor frontera. La escala de compromisos de cómputo y la concentración de clientes son variables a considerar al evaluar estabilidad y precios futuros.
Fuente: Reuters vía Yahoo Finance
Anthropic lanza Claude Sonnet 5.5
Anthropic ha publicado Claude Sonnet 5.5 al mismo precio que Sonnet 5: 2 dólares por millón de tokens de entrada y 10 por millón de salida. La compañía asegura que es más de un 30 % más rápido y hasta un 30 % más barato por tarea porque usa menos tokens y menos llamadas a herramientas. Está disponible en su plataforma, AWS, Google Cloud y Azure.
Por qué importa: rendimiento cercano al tope de gama en código y agentes a precio de gama media. Para cargas agénticas de alto volumen, es el candidato por defecto a evaluar.
Fuente: Anthropic · VentureBeat
NVIDIA presenta Open Agent Safety Platform
NVIDIA ha lanzado una plataforma abierta y un diseño de referencia para asegurar agentes desde las pruebas hasta producción. Incluye un entorno de ejecución seguro de código abierto (OpenShell), un vigilante fuera de banda sobre DPU BlueField-4 capaz de poner en cuarentena un agente en milisegundos (Sentry) y políticas de confianza cero. Participan más de cien colaboradores, entre ellos Anthropic, Microsoft, Cisco, CrowdStrike, SAP y Salesforce.
Por qué importa: la contención de agentes baja al hardware y queda fuera del modelo. Los equipos de seguridad tienen una arquitectura de referencia para aislamiento y botón de parada.
Fuente: NVIDIA Newsroom
La fiscalía de Florida pide a un juez frenar el desarrollo de modelos frontera de OpenAI
El fiscal general de Florida ha solicitado una medida cautelar para impedir a OpenAI desarrollar modelos sin salvaguardas aprobadas por terceros independientes, ofrecer ChatGPT a menores de Florida, recopilar datos de menores de 13 años sin aviso escrito y presentar la IA como humana. Amplía la demanda presentada en junio.
Por qué importa: los fiscales estatales regulan por vía judicial con exigencias de diseño concretas. Los despliegues de cara al consumidor deberían revisar ya control de edad y avisos de interacción con IA.
Fuente: Florida Phoenix
Meta lanza su plataforma empresarial y ficha al CEO de MongoDB
Meta crea Meta Enterprise Platform, que agrupa el agente Muse, Meta Business Agent, la API de Muse, Muse Code, modelos e infraestructura para empresas. CJ Desai, hasta ahora CEO de MongoDB, la dirigirá reportando a Zuckerberg. Las acciones de MongoDB cayeron más de un 17 %. No hay precios ni fechas de disponibilidad.
Por qué importa: entra un nuevo proveedor de modelos y agentes para empresa con capacidad de presionar precios. Sin tarifas publicadas, de momento es algo que vigilar.
Fuente: TechCrunch
Trump reúne a los líderes de la IA en la Casa Blanca
Está prevista para el 29 de septiembre una reunión en la Casa Blanca con directivos como Zuckerberg, Pichai, Brockman, Amodei, Jensen Huang y Elon Musk, junto al presidente de la Cámara, Mike Johnson, para hablar de supervisión. El Congreso prepara proyectos centrados en transparencia, pero la Cámara no vuelve hasta noviembre.
Por qué importa: marcará si habrá reglas federales de transparencia o salvaguardas en EE. UU., que convivirían con acciones estatales como la de Florida.
Fuente: Malay Mail (AFP)
SpainDC: la gigafactoría de IA de España no puede cumplir el borrador de decreto
La patronal SpainDC afirma que es imposible que la gigafactoría de IA española (Madrid y Tarragona, de 150 MW ampliables a 300 MW) cumpla el real decreto en preparación, que exige un 80 % de renovables con casación horaria. Calcula que haría falta entre 8 y 10 veces la capacidad renovable y de almacenamiento solicitada, advierte de 9.000 millones de euros de inversión en riesgo y no descarta acciones legales.
Por qué importa: la capacidad de cómputo soberano en España depende ahora de un decreto energético, con impacto en plazos y oferta local de infraestructura.
Fuente: Infobae (Europa Press)
Instinct levanta 1.000 millones con una valoración de 10.000 millones
Instinct, un agente personal que opera por SMS, ha cerrado una Serie C de 1.000 millones de dólares liderada por Sequoia, Benchmark y Coatue; en agosto se valoraba en 2.500 millones. Reserva viajes, paga facturas y cancela suscripciones en nombre del usuario.
Por qué importa: el capital va hacia agentes que actúan y pagan en nombre del usuario, un patrón que llegará al B2B con sus preguntas de permisos y responsabilidad.
Fuente: TechCrunch
NVIDIA amplía su recompra en 150.000 millones; Mistral hace su tercera compra del año
NVIDIA ha aprobado 150.000 millones de dólares adicionales para recompra de acciones, hasta 235.000 millones disponibles. En Europa, Mistral ha adquirido Pimento, herramienta de campañas de marketing, su tercera compra de 2026.
Por qué importa: lo primero mide cuánta caja genera la demanda de infraestructura de IA; lo segundo confirma el giro de Mistral hacia aplicaciones de negocio, relevante para quien busca proveedor europeo.
Fuente: NVIDIA · TechCentral