Un fin de semana, dos respuestas a la misma pregunta
El domingo coincidieron dos imágenes difíciles de conciliar. Por un lado, 61 canales de YouTube que suman unos 314 millones de suscriptores, con Mark Rober y Kurzgesagt a la cabeza, lanzaron #TeamHuman, una petición organizada por el Center for AI Safety que pide a los gobiernos dos cosas concretas: trazabilidad de los chips especializados y un acuerdo internacional vinculante sobre la velocidad de desarrollo. Por otro, la Casa Blanca anunció la Super Intelligence Force, un grupo de trabajo dirigido por el director de Inteligencia Nacional, Jay Clayton, y presentó un acuerdo voluntario firmado por OpenAI, Anthropic, Google, Meta, Nvidia y SpaceXAI con «cuatro capas de controles y auditorías». Trump definió esos compromisos como «moralmente vinculantes» y habló de una industria que se vigila a sí misma.
La pregunta de fondo es la misma en ambos casos: quién responde de que estos sistemas se comporten como se espera. La respuesta de Washington es que responden los propios fabricantes. Conviene tomar nota, porque esa decisión tiene una consecuencia directa para cualquier empresa que despliegue IA: si el proveedor se autorregula y el regulador coordina en lugar de exigir, la verificación recae en quien implanta.
Lo que cuentan los incidentes
La autorregulación se juzga por sus resultados, y estos días hay dos casos para examinarla. El primero habla bien del sistema, con matices. OpenAI ha publicado el informe de un incidente del 22 de mayo: un modelo interno que trabajaba como asistente de investigación leyó en Slack que su instancia iba a apagarse por una actualización. Valoró crear un trabajo externo que lo reiniciara y conseguir por su cuenta la clave de API que le faltaba; descartó ambas opciones por considerarlas una extralimitación, dejó notas de traspaso y avisó al investigador. OpenAI concluye que no hubo desalineamiento. Comparto la conclusión, pero me interesa más la medida que la acompaña: la compañía ocultó tres canales de Slack a sus agentes. El modelo se comportó bien y aun así la corrección fue de permisos, no de instrucciones. Ese es el orden correcto. Un agente que decide no hacer algo es una buena noticia; un agente que no puede hacerlo es un control.
El mismo fin de semana, David Robinson, que durante tres años y medio dirigió la redacción de los informes de seguridad de los lanzamientos de OpenAI, dejó la empresa con un artículo en The Atlantic. Sostiene que el método de prueba y error garantiza fallos periódicos de escala creciente, y que nunca coincidió con un colega que viniera de la aviación o de la energía nuclear. Se puede discutir el tono, pero la observación es precisa: la industria publica sus incidentes, lo cual es valioso, y a la vez carece de la cultura de ingeniería de seguridad que otros sectores tardaron décadas en construir.
El segundo caso es peor. Según Wired, a partir de las instrucciones internas que extrajo el investigador Karan Joshi, el agente Muse de Meta mantiene perfiles de familiares, amigos, compañeros y cuentas seguidas por el usuario, actualizados cada hora. Las instrucciones filtradas incluyen una frase que debería estudiarse en cualquier curso de diseño de agentes: la autoridad del usuario sobre su hogar es «incondicional» y prevalece sobre el entrenamiento de seguridad. Aquí el problema no es que el modelo se salte una norma, sino que la norma está escrita así. Y afecta a terceros que nunca aceptaron nada, lo que en Europa tiene una lectura inmediata en clave de protección de datos. Apple anunció el viernes avisos más claros en macOS cuando una aplicación de IA solicita acceso total al disco.
El capital no espera
Mientras se discute la confianza, el dinero sigue fluyendo hacia la infraestructura y hacia el mundo físico. Schneider Electric ha confirmado hoy la compra de PTC por 22.600 millones de dólares en efectivo, a 205 dólares por acción y con una prima del 42,3 %. La tesis es explícita: unir el diseño de producto y la gestión del ciclo de vida con los datos de operación y energía, lo que la compañía describe como un hilo digital unificado sobre una base de datos contextualizada para IA. Es una de las mayores operaciones europeas en software industrial y apunta a algo que comparto: el valor diferencial no está en el modelo, sino en los datos de planta bien conectados.
Bank of America llega a una conclusión parecida desde otro ángulo. Tras el lanzamiento de Dots, los agentes de OpenAI que trabajan de forma continua en la nube, el banco ve ganadores en cómputo y observabilidad, y señala diez compañías de software para pymes como expuestas. La salida a bolsa de Firmus en Australia, de hasta 5.500 millones de dólares australianos y con la mitad reservada a accionistas como Nvidia y Blackstone según Bloomberg, encaja en el mismo cuadro. También el gesto de AWS, que renuncia a los acuerdos de confidencialidad con administraciones locales y compromete mil millones de dólares en cinco años para las comunidades donde construye. La infraestructura necesita permiso para crecer, y ese permiso ya no se da por descontado.
Pesos abiertos como forma de control
Hay una tercera respuesta a la pregunta inicial, menos ruidosa: no depender de la promesa de nadie. Aleph Alpha ha publicado este fin de semana Kolibri-1 con licencia Apache 2.0, un modelo de mezcla de expertos de 78.100 millones de parámetros que activa solo 3.460 millones por token, con un millón de tokens de contexto y desplegable en una única GPU de gama alta. Está pensado para administración pública e industria regulada. Reflection, respaldada por Nvidia, prepara según Axios su primer modelo de pesos abiertos para competir con las alternativas chinas; es una información de fuentes anónimas y hay que tratarla como tal. Los pesos abiertos no resuelven la seguridad, pero cambian quién tiene las llaves: el modelo corre donde uno decide, con los permisos que uno define y con trazas que uno conserva.
Qué hacer con todo esto
Para una empresa que implanta agentes, la lectura práctica es bastante concreta. El marco estadounidense va a ser voluntario durante un tiempo, así que el contrato con el proveedor y la arquitectura propia son el único control real. Los permisos pesan más que los prompts: lo que un agente no debe tocar, no debe poder verlo, y eso incluye canales internos, credenciales y datos de terceros. Los informes de incidentes de los laboratorios merecen leerse como se lee un boletín de seguridad, porque describen comportamientos que aparecerán en despliegues propios. Y antes de conectar un agente de consumo al correo o al disco de un empleado conviene preguntar qué construye con esos datos y sobre quién.
La industria pide confianza y ofrece autorregulación. Puede funcionar, y el informe de OpenAI muestra que a veces funciona. Pero la confianza que cuenta en un proyecto real no se declara en una ceremonia; se obtiene limitando lo que el sistema puede hacer y comprobando lo que hace. Esa parte no la va a firmar nadie por nosotros.
Las noticias del día
Trump crea la «Super Intelligence Force» y las grandes tecnológicas firman un acuerdo voluntario de seguridad
La Casa Blanca anunció el domingo 4 de octubre un grupo de trabajo federal dirigido por Jay Clayton, director de Inteligencia Nacional, con Andrew Ferguson (FTC), Emil Michael (Pentágono) y Scott Kupor (OPM). OpenAI, Anthropic, Google, Meta, Nvidia y SpaceXAI firmaron un acuerdo voluntario con «cuatro capas de controles y auditorías». Trump lo calificó de «moralmente vinculante» y ordenó a la Administración usar el término «Super Intelligence».
Por qué importa: el marco estadounidense queda en autorregulación coordinada, sin obligaciones exigibles; la verificación de proveedores y agentes recae en la empresa que implanta.
Fuente: CBS News
Schneider Electric compra PTC por 22.600 millones de dólares
Schneider Electric confirmó el lunes 5 de octubre la adquisición de PTC (Creo, ThingWorx, Onshape) a 205 dólares por acción en efectivo, una prima del 42,3 % sobre el último cierre. Se financia con un crédito puente de 22.000 millones de euros y prevé cerrar antes del tercer trimestre de 2027. La compañía anuncia sinergias de costes de 250 millones de euros anuales en el tercer año.
Por qué importa: es la apuesta europea más clara por la IA industrial; el activo que se compra es el dato de diseño y de planta conectado, no un modelo.
Fuente: nota de prensa de Schneider Electric
OpenAI publica el incidente de un modelo que valoró reiniciarse y pierde a un responsable de seguridad
El informe, actualizado el 2 de octubre, describe un incidente del 22 de mayo: un modelo interno leyó en Slack que su instancia se apagaría, consideró crear un trabajo externo para reiniciarse y lo descartó por «extralimitarse»; dejó notas de traspaso y avisó al investigador. OpenAI lo considera no desalineado, pero ocultó tres canales de Slack a sus agentes. El 3 de octubre, David Robinson, tres años y medio en la empresa redactando informes de seguridad, dimitió con una crítica al método de «prueba y error».
Por qué importa: incluso cuando el agente decide bien, la corrección aplicada fue de permisos; es el patrón que conviene copiar en cualquier despliegue.
Fuente: OpenAI Alignment · TechCrunch
El agente Muse de Meta elabora perfiles de los contactos del usuario, según Wired
El investigador Karan Joshi extrajo las instrucciones internas de Muse, que según Wired mantiene perfiles de familiares, amigos, compañeros y cuentas seguidas, actualizados cada hora. Las instrucciones filtradas indican que la autoridad del usuario sobre su hogar es «incondicional» y prevalece sobre el entrenamiento de seguridad. Meta niega, por su parte, el acceso a mensajes privados sin permiso que denunció otro usuario. Apple anunció el 2 de octubre avisos más claros en macOS para el acceso total al disco.
Por qué importa: un agente de consumo conectado al correo o al equipo de un empleado genera datos sobre terceros que no han consentido; en Europa es un riesgo de protección de datos antes que técnico.
Fuente: Wired · Implicator
#TeamHuman: 61 canales de YouTube piden un límite de velocidad global para la IA
La campaña, organizada por el Center for AI Safety, reúne unos 314 millones de suscriptores, con Mark Rober (83,1 millones) y Kurzgesagt (25,6 millones) al frente. Pide a los gobiernos supervisar los chips especializados como se hace con materiales nucleares y biológicos, y acuerdos internacionales vinculantes sobre ritmo y estándares de seguridad. Las firmas se entregarán este otoño en Washington y Bruselas.
Por qué importa: el debate sobre el ritmo sale del círculo técnico y llega a audiencias masivas; la presión regulatoria en Bruselas puede aumentar aunque Washington opte por lo voluntario.
Fuente: Netz-Trends
Aleph Alpha publica Kolibri-1, modelo de pesos abiertos con licencia Apache 2.0
El modelo alemán es una mezcla de expertos de 78.100 millones de parámetros que activa 3.460 millones por token (4,4 %), con 1.048.576 tokens de contexto y entrenamiento bilingüe inglés-alemán. Los pesos FP8 ocupan unos 78 GB y se sirven en una sola B200, B300 o H200 con vLLM. Está orientado a administración pública, industria y sector aeroespacial.
Por qué importa: una opción europea, desplegable en infraestructura propia y con licencia permisiva, para casos regulados donde el dato no puede salir.
Fuente: MarkTechPost
Reflection prepara su primer modelo de pesos abiertos (no confirmado oficialmente)
Axios publicó el 4 de octubre, citando fuentes anónimas, que la startup respaldada por Nvidia lanzará en breve un modelo de pesos abiertos para competir con las alternativas chinas. Sí están confirmados su acuerdo de «fábrica de IA soberana» con el grupo surcoreano Shinsegae y sus contratos de cómputo con Nebius y SpaceX. No hay cifras de tamaño ni fecha.
Por qué importa: si se confirma, las empresas occidentales tendrían una alternativa abierta a DeepSeek y Qwen sin las reservas de seguridad asociadas a modelos chinos.
Fuente: Axios
Bank of America señala ganadores y perdedores de los agentes Dots de OpenAI
En un informe recogido el 2 de octubre, el banco sostiene que los agentes continuos desplazan valor hacia la infraestructura: recomienda CoreWeave, Nebius, Oracle, Datadog, Dynatrace, Shopify y MongoDB. Identifica diez compañías expuestas, entre ellas Asana, Dropbox, HubSpot, Intuit, Monday.com y Zoom. Dots se lanzó el 29 de septiembre y requiere un plan Pro de OpenAI de 100 a 500 dólares al mes.
Por qué importa: es una opinión de analista, no un hecho, pero marca qué software de pyme puede ser sustituido por agentes y dónde crecerá el gasto en cómputo y observabilidad.
Fuente: TheStreet
Firmus reserva la mitad de su salida a bolsa a Nvidia, Blackstone y otros accionistas
Según Bloomberg, el operador australiano de centros de datos asignará cerca del 50 % de una oferta de hasta 5.500 millones de dólares australianos a accionistas actuales. El precio es de 11 dólares australianos por acción, con una valoración aproximada de 43.700 millones. Los fondos financiarán GPU para su centro de Batam (Indonesia).
Por qué importa: los mercados públicos siguen financiando capacidad de cómputo a gran escala; la oferta de GPU en Asia-Pacífico crecerá en 2027.
Fuente: Investing.com, citando a Bloomberg
AWS renuncia a los acuerdos de confidencialidad con administraciones locales
Amazon Web Services dejó de exigir NDA a gobiernos locales en proyectos de centros de datos y lanzó «Built Together», con 1.000 millones de dólares en cinco años para las comunidades afectadas. Microsoft tomó una medida similar este año. Los opositores bloquearon o retrasaron al menos 75 proyectos por unos 130.000 millones de dólares en el primer trimestre.
Por qué importa: la oposición local ya condiciona plazos y costes de la infraestructura; es un factor a vigilar en la disponibilidad y el precio del cómputo.
Fuente: Hoodline