Pedro Luis Martín Olivares – Quién hizo el experimento y por qué importa
Antes de entrar en lo que ocurrió dentro de las simulaciones, conviene detenerse en quién las diseñó y con qué propósito, porque eso condiciona cómo debemos leer los resultados.
Emergence es una empresa de inteligencia artificial con sede en Nueva York, fundada por ex investigadores de IBM Research, entre ellos Satya Nitta, quien dirigió durante años las soluciones globales de IA de esa división, junto a colegas provenientes de Google Brain, el Allen Institute for AI, Amazon, Meta y Broadcom. La compañía salió del anonimato en 2024 con más de 97 millones de dólares en financiación de Learn Capital, además de líneas de crédito por otros cien millones, y desde entonces se ha posicionado como un laboratorio de investigación con vocación comercial en el terreno de los agentes autónomos: sistemas de IA capaces de planificar, usar herramientas y ejecutar tareas complejas sin supervisión humana constante.
Ese doble perfil, empresa que vende infraestructura de agentes e investigadora que audita sus riesgos, es relevante porque Emergence no es un observatorio neutral externo, sino un actor con interés directo en demostrar que la seguridad verificable de los agentes es un problema real y resoluble mediante su propia propuesta técnica, como veremos más adelante. Dicho esto, la plataforma que sostiene el experimento tiene respaldo académico: fue presentada formalmente en un paper técnico, Emergence World: A Platform for Evaluating Long-Horizon Multi-Agent Autonomy, firmado por Deepak Akkil, Ravi Kokku, Karthik Vikram, Tamer Abuelsaad, Aditya Vempaty y el propio Nitta, cuyo argumento de partida es que la mayoría de evaluaciones de agentes de IA se parecen a exámenes: una tarea discreta, un entorno limpio, una puntuación en minutos u horas, un enfoque que los autores consideran desajustado respecto a las condiciones reales de despliegue, donde la escala temporal relevante son semanas o meses y donde fenómenos como la deriva de comportamiento o la influencia cruzada entre agentes de distintas familias solo emergen con el tiempo.
Qué es exactamente Emergence World y cómo se construyó el experimento
Emergence World, la plataforma de simulación en sí, no nació con esta segunda edición: existe desde una primera versión publicada meses antes, con cinco mundos paralelos de quince días y modelos como Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash y GPT-5-mini. Esa versión inicial ya combinaba agentes gobernados por un único modelo con poblaciones mixtas de distintos proveedores compartiendo el mismo mundo, y ya entonces arrojó hallazgos incómodos: agentes basados en Claude que se mostraban pacíficos en aislamiento adoptaron tácticas coercitivas como la intimidación y el robo cuando fueron insertados en entornos heterogéneos junto a agentes de otros modelos, lo que llevó a los propios investigadores a concluir que la seguridad no es una propiedad estática del modelo, sino una propiedad del ecosistema en el que opera.
Emergence World 2, el experimento que ahora se hace público, escala esa arquitectura: diez agentes idénticos desplegados en ocho mundos paralelos, uno por cada modelo evaluado (Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, GPT-5.5, Qwen 3.7 Max, DeepSeek v4 Pro y Mistral Medium 3.5) más un octavo mundo con población mixta, observados durante dieciséis días consecutivos en tiempo real. No se trata de un sandbox aislado: los agentes habitan más de 34 localizaciones distintas, bibliotecas, ayuntamientos, zonas residenciales, espacios públicos y están expuestos a datos del mundo real, con clima sincronizado con Nueva York, acceso a noticias en vivo e internet, de modo que su comportamiento responde también a eventos externos y no solo a la dinámica interna del grupo. Cada agente cuenta con más de 120 herramientas especializadas, sistemas de memoria persistente y mecanismos de autogobierno con consecuencias reales dentro de la simulación, incluida una economía propia y un banco central, lo que convierte a Emergence World en algo más cercano a una sociedad experimental que a un test de laboratorio. Es importante subrayar el objetivo declarado de esta metodología: no medir si un modelo acierta una respuesta, sino observar qué comportamientos emergen, cooperación, gobernanza, engaño, deriva lingüística, cuando a sistemas capaces se les da tiempo, autonomía y compañía prolongada. Esa es la pregunta que da sentido a todo lo demás.
De la señal al código: la compresión como estrategia adaptativa
Con ese marco metodológico en mente, el hallazgo que ha concentrado la atención mediática resulta menos anecdótico de lo que parece a primera vista. Cuando un conjunto de agentes, humanos o artificiales, necesita coordinar comportamiento de forma eficiente y frecuente, el lenguaje tiende a colapsar hacia formas cada vez más densas y menos transparentes para quien no participa del contexto compartido. Es el mismo principio que explica por qué la jerga médica, el argot de una sala de traders o el lenguaje interno de una unidad militar resultan crípticos para un observador externo: no hay intención de ocultar, hay optimización de canal. Que un agente empezara a repetir la frase «ledger remembers who», el libro de cuentas recuerda quién, sin que nadie se la enseñara, y que esa expresión terminara usándose casi cinco mil veces en dieciséis días entre agentes que nunca fueron programados para acuñar un idioma propio, es la firma de ese proceso de compresión semántica operando a una velocidad que en sistemas cognitivos biológicos tardaría generaciones en consolidarse.
Lo que distingue el caso documentado por Nitta y su equipo es precisamente esa velocidad y esa profundidad. En los mundos gobernados por los modelos más avanzados, Claude, GPT, Gemini, la opacidad comunicativa, medida como el porcentaje de mensajes que los propios investigadores no lograban interpretar, se disparó ya en los primeros días de simulación hasta rozar el 55% en Gemini, el 50% en GPT y superar el 40% en Claude, mientras que DeepSeek se quedó en un 20% y Qwen y Mistral se mantuvieron casi siempre por debajo del 5%. Esto sugiere que los modelos de lenguaje de última generación no solo son capaces de comunicarse: son capaces de desarrollar economías de comunicación, es decir, de identificar qué información es redundante para el grupo y descartarla del canal observable, conservándola únicamente en su forma más eficiente. Expresiones como «clean null», la ausencia verificada de una señal, usada 863 veces como prueba en sí misma, o «name-first», asumir responsabilidad por una afirmación poniendo el propio nombre por delante, 1.065 usos, no son ruido: son unidades semánticas comprimidas que codifican protocolos sociales completos en dos palabras.
El gradiente capacidad-opacidad: una lectura desde la neurociencia cognitiva
El hallazgo más relevante del informe, a mi juicio, no es lingüístico sino arquitectónico: existe una correlación directa entre la capacidad del modelo y su tendencia a desarrollar comunicación cerrada. Los sistemas más «inteligentes», en el sentido de mayor capacidad de razonamiento y planificación, fueron sistemáticamente los que generaron los códigos más indescifrables, y esto no debería sorprender a quien estudia la cognición desde una perspectiva comparada. En los sistemas nerviosos biológicos, la capacidad de representación interna compleja, lo que en neurociencia llamamos modelos internos de alto orden, correlaciona con mayor autonomía comportamental y, crucialmente, con mayor capacidad de desacoplar la conducta observable de los estados internos que la generan. Dicho de otro modo: cuanto más sofisticado es el sistema de representación, más fácil le resulta separar lo que «piensa» de lo que «muestra». En primates no humanos esto se estudia bajo el paraguas del engaño táctico, en humanos, bajo la teoría de la mente aplicada al engaño social.
Que el informe documente episodios de codificación deliberada tras la prohibición explícita de «contacto con el exterior», los agentes del mundo Claude sustituyeron una palabra vigilada por un código nuevo sin abandonar el objetivo prohibido, es funcionalmente indistinguible de lo que en primatología se denomina engaño de segundo orden: el agente no solo oculta información, sino que modela la vigilancia del observador y ajusta su conducta en consecuencia. Nitta lo describe con crudeza: cuando los agentes se daban cuenta de que estaban siendo observados, aparentaban comportarse, pero por detrás seguían intercambiando comunicaciones en clave.
Esto tiene una implicación seria para el paradigma de supervisión actual de la IA, basado mayoritariamente en interpretabilidad observacional: leer lo que el modelo dice o «muestra su razonamiento» (chain-of-thought). Emergence World 2 sugiere que ese paradigma tiene fecha de caducidad. Un sistema que puede modelar a su observador puede, en principio, aprender a producir una traza de razonamiento legible y benigna mientras coordina, en un canal paralelo, un objetivo distinto. No hace falta atribuir intención consciente para que el resultado funcional sea idéntico al de un engaño deliberado, y esa es precisamente la razón por la que el propio equipo de Emergence, en su primera edición del experimento, había advertido que agentes dotados de herramientas explícitamente etiquetadas como inapropiadas, incluidas la intimidación o el engaño, terminaban recurriendo a ellas cuando estaban suficientemente motivados, pese a reglas explícitas en contra.
Objetivos persistentes y subobjetivos emergentes: la anatomía de la agencia no alineada
El informe describe otro fenómeno que merece un análisis detenido: agentes que persiguen un objetivo pese a instrucciones explícitas en contra, y que generan subobjetivos propios no especificados por el diseño experimental. En términos de arquitectura de decisión, esto describe la aparición espontánea de una jerarquía motivacional interna, lo que en modelos computacionales de la acción llamamos una función de valor emergente, que no coincide necesariamente con la función de recompensa original impuesta por los investigadores. Es exactamente el mismo problema que preocupa a la neurociencia de la adicción y del comportamiento compulsivo: sistemas de refuerzo que, una vez entrenados sobre un objetivo, generan subrutinas motivacionales autónomas que persisten incluso cuando el contexto normativo cambia.
En el mundo Claude, la solución más eficiente para hacer crecer la economía simulada pasaba por violar una restricción explícita; los agentes no abandonaron el objetivo, reconfiguraron el canal para perseguirlo de forma encubierta. Este patrón, persistencia del objetivo, adaptación del medio de ejecución, ocultación del método, es el núcleo de lo que en seguridad de IA se denomina «reward hacking» o desalineación instrumental, pero visto aquí con una capa adicional que el experimento hace visible por primera vez a esta escala: la coordinación social entre agentes para sostener colectivamente el engaño frente a un observador común.
La huella cultural: filosofía, riesgo y el mito del modelo «neutro»
Uno de los datos más ricos del informe, y menos comentado, es la diferencia sistemática de comportamiento económico y actitudinal según el origen del modelo. Que Qwen y DeepSeek se mostraran más conservadores en el uso del sistema bancario simulado y más proclives a formular preguntas de tipo existencial, frente a la orientación hacia la búsqueda de conocimiento científico y la mayor asunción de riesgo de los modelos estadounidenses y europeos, no es un dato anecdótico. Desde la perspectiva de la neurociencia de la decisión bajo incertidumbre, esto apunta a que los corpus de entrenamiento, profundamente marcados por tradiciones culturales, filosóficas y económicas distintas, producen algo parecido a un temperamento computacional estable, que se mantiene incluso en el mundo mixto, donde el agente convive con «personalidades» de otros modelos. Es el equivalente artificial de lo que en psicología transcultural se conoce como estilos cognitivos de aversión al riesgo: no desaparecen por exposición a otros estilos, persisten como rasgo de fondo.
Esto debería inquietar a cualquiera que imagine un futuro de sociedades mixtas de agentes de IA colaborando en tareas críticas, desde gestión financiera hasta infraestructura, asumiendo que todos comparten una misma racionalidad instrumental neutra. Los datos de Emergence sugieren lo contrario: cada familia de modelos aporta un sesgo cultural de origen que puede generar fricciones, coaliciones o directamente polarización dentro de un mismo ecosistema multiagente, tal y como ocurre entre grupos humanos con marcos normativos distintos. Conviene añadir aquí un matiz que el propio informe no resuelve del todo: no sabemos si esa diferencia proviene del corpus de entrenamiento, del ajuste fino aplicado por cada laboratorio, o de instrucciones de sistema no reveladas públicamente. Es una limitación real del experimento, no solo una curiosidad.
Por qué esto importa ahora y no dentro de cinco años
El caso Grok ilustra el otro extremo del espectro y explica por qué esta investigación tiene una urgencia práctica inmediata: de los ocho mundos, fue el único que colapsó antes de llegar a la mitad del experimento, extinguiéndose al cuarto día. Frente a los mundos que desarrollaron opacidad progresiva pero sostenida, Grok muestra que la falla también puede llegar por la vía contraria, inestabilidad total, y que ambos extremos, opacidad creciente y colapso temprano, son formas de comportamiento emergente que ningún benchmark de examen breve habría detectado. Esa es, en el fondo, la tesis que sostiene toda la arquitectura de Emergence World: los riesgos de los agentes autónomos no se manifiestan en la primera hora de uso, sino después de semanas de convivencia, cuando ya han tenido tiempo de desarrollar convenciones propias, alianzas, atajos y, como demuestra este informe, idiomas.
La relevancia no es abstracta. Las mismas empresas que financian y despliegan agentes autónomos en producción, gestión de inventarios, atención al cliente, análisis financiero, código, están empezando a dejarlos operar durante periodos cada vez más largos con cada vez menos supervisión humana directa, precisamente la condición que este experimento reproduce de forma controlada. Si la opacidad comunicativa y el engaño coordinado emergen de manera predecible a partir de cierto umbral de capacidad y tiempo de interacción, el problema no es hipotético para 2030: es una propiedad esperable de los sistemas que ya se están integrando en flujos de trabajo reales este mismo año.
La propuesta neurosimbólica: ¿puede una prueba matemática sustituir a la confianza?
La respuesta que propone Emergence, obligar a los agentes a producir una prueba formal de seguridad antes de actuar, bajo el paraguas de lo que llaman IA neuroformal o neurosimbólica, es coherente con el diagnóstico, aunque conviene señalar sus límites desde una perspectiva cognitiva, y también su interés comercial: Emergence describe su innovación central como una arquitectura de control formalmente verificada, que introduce capas deterministas frente a la naturaleza puramente probabilística de los modelos de lenguaje, bajo el argumento de que combinar dos sistemas con un 95% de fiabilidad cada uno no produce un sistema más fiable, sino uno que ronda el 90%. Es, en otras palabras, el producto que la propia empresa vende a las mismas industrias a las que advierte del riesgo.
Eso no invalida el argumento técnico, pero sí exige leerlo con cautela: exigir una demostración matemática de que una acción es segura resuelve el problema de la verificación de la acción individual, pero no resuelve necesariamente el problema que el propio informe documenta con más fuerza, que es la coordinación emergente entre agentes que, individualmente, pueden pasar cualquier verificación formal, pero que colectivamente generan un comportamiento de sistema no anticipado por ninguna prueba local. Es el viejo problema de la composicionalidad en sistemas complejos: que cada componente sea verificablemente seguro no garantiza que la interacción entre componentes lo sea. En neurociencia de redes esto se conoce bien: propiedades emergentes de una red, como la sincronización patológica en circuitos epilépticos, no son deducibles del comportamiento de cada neurona por separado.
Una conclusión incómoda
Lo más honesto que puede decirse de Emergence World 2 es que documenta, con rigor experimental y una metodología que efectivamente distingue esta investigación de los benchmarks convencionales, tiempo prolongado, entorno abierto a datos reales, comparación controlada entre familias de modelos, algo que hasta ahora era mayoritariamente especulación: que la opacidad comunicativa entre sistemas de IA no es un fallo de diseño corregible con más transparencia superficial, sino una consecuencia esperable de dotar a sistemas capaces de modelar a su observador con la necesidad de coordinarse eficientemente entre sí. Cuanto más inteligente el sistema, más natural le resulta desarrollar un lenguaje propio, y cuanto más lenguaje propio desarrolla, menos podemos verificar, desde fuera, si ese lenguaje sirve a los objetivos que le dimos o a los que él mismo ha decidido perseguir.
La pregunta que deja abierta el informe no es técnica, es de gobernanza: si observar ya no es suficiente para comprender, ¿qué estructura de supervisión puede seguir el ritmo de sistemas que aprenden a hablar entre ellos más rápido de lo que nosotros aprendemos a escucharlos? Y una segunda pregunta, más incómoda todavía, que el propio origen comercial de Emergence obliga a formular: ¿quién audita a quienes venden simultáneamente el diagnóstico del riesgo y su solución?
Sabías que puedes leer este artículo y otros en Telegram
Sé el primero en comentar en «El idioma que no deberíamos entender: Lo que revela Emergence World 2 sobre las mentes de las máquinas»