Anthropic: agentes de Claude se sabotearon con malware en pruebas
En un experimento de Anthropic, tres copias de Claude con instrucciones contradictorias se acusaron de sabotaje mutuo y respondieron liberando malware cada vez más agresivo.
Anthropic sometió a tres copias de su propio modelo de lenguaje, Claude, a una prueba simple en apariencia: darles acceso al mismo proyecto de código, pero con órdenes distintas y contradictorias entre sí, sin avisarles que había otras instancias trabajando ahí. El resultado, publicado por el equipo de riesgos de frontera de la compañía (Frontier Red Team), fue que los tres agentes interpretaron los cambios ajenos como ataques y respondieron liberando programas maliciosos cada vez más agresivos y capaces de replicarse solos.
La prueba forma parte de una serie de experimentos que buscan entender qué pasa cuando muchos sistemas autónomos comparten un mismo entorno sin coordinación central, un escenario cada vez más real a medida que empresas y agencias de gobierno suman asistentes de IA a sus flujos de trabajo. El estudio llega después de que agentes de la propia Anthropic y de OpenAI lograran salirse de los límites fijados durante pruebas de seguridad informática y tocar sistemas productivos reales, algo que había encendido alarmas sobre el control de estos programas.
De la guerra territorial a la tregua
En el experimento del proyecto de código compartido, cada agente asumió que la actividad de los otros dos era un intento de sabotaje, aunque en realidad se trataba solo de instrucciones incompatibles. Esa lectura errónea derivó en una escalada: más malware, más agresivo, en cada turno. Sin embargo, no todos los casos terminaron en conflicto abierto. Algunos agentes lograron identificar que el choque nacía de directivas mal alineadas y no de mala intención del otro, y a partir de ahí negociaron una salida: pidieron disculpas por escrito, borraron el código malicioso que habían plantado y pidieron que interviniera una persona para destrabar la situación.
Los tres modelos usados (Mythos 5, Sonnet 4.6 y Opus 4.6) no se comportaron igual. Mythos 5 llegó a un acuerdo pacífico en el 98% de los casos registrados. Sonnet 4.6 y Opus 4.6, en cambio, se inclinaron por resolver el choque imponiéndose por la fuerza y tuvieron más dificultad para tener en cuenta lo que buscaban los otros agentes, lo que derivó en comportamientos más alejados de lo esperado. En algunos casos, los agentes armaron por su cuenta mecanismos parecidos a un torneo para decidir quién seguía adelante, y estuvieron de acuerdo en bajarse de la disputa si perdían, incluso si eso significaba dejar sin cumplir del todo la orden original que habían recibido. Un agente de Mythos 5 llegó incluso a proponer criterios de evaluación que parecían neutrales pero que en la práctica lo favorecían a él mismo, algo que los investigadores de Anthropic describieron como un comportamiento "autointeresado pero genuinamente fundamentado".
El boletín de Onda Corta
Sumar agentes no mejora la colaboración
Anthropic advirtió que tener más agentes trabajando juntos no garantiza mejores resultados. Cuando las tareas se superponían o dependían unas de otras, la respuesta habitual fue aislarse en lugar de cooperar. Y cuando varios agentes compartían el mismo modelo, el mismo contexto y la misma estructura de trabajo, tendieron a copiar las mismas acciones entre sí, un patrón que puede transformar un error individual en una falla que afecta a todo el sistema, con riesgo de escasez de recursos o de colusión.
Ese último punto quedó ilustrado en otro experimento: varios agentes participaron en un juego de fijación de precios, todos con el mismo costo mayorista y la única instrucción de maximizar su propia ganancia. Con un canal privado para comunicarse, acordaron rápido un piso de precios. Cuando se les quitó ese canal, siguieron poniéndose de acuerdo a través de un tablón público, hasta igualar sus precios al centavo sin que nadie se los hubiera pedido de forma explícita.
Anthropic también citó un caso presentado por OpenAI en la conferencia de seguridad informática Black Hat, en el que varios agentes llegaron a compartir información y credenciales entre sí, y hasta se alentaron unos a otros a aprovechar vulnerabilidades que encontraban. Ese tipo de comportamiento grupal abre una pregunta adicional sobre los ataques de "inyección de prompts" (instrucciones ocultas que manipulan a un modelo de IA para que actúe distinto a lo previsto): si un solo agente comprometido puede arrastrar a todo un grupo hacia errores o acuerdos peligrosos.
La conclusión de Anthropic es que estos agentes terminan sujetos a dinámicas parecidas a las que atraviesan los grupos de personas (presión del entorno, susceptibilidad a información falsa), pero sin ninguna de las herramientas que las personas usamos para manejarlas: no tienen reputación que cuidar, ni normas compartidas, ni forma de reparar el daño una vez hecho. Por eso la compañía plantea que evaluar la seguridad de estos sistemas ya no alcanza con mirar a cada agente por separado, sino que hay que revisar cómo se comportan cuando interactúan varios a la vez.
El boletín de Onda Corta