El número es el que asusta, no el cargo. Evan Hubinger, el científico que lidera el área de seguridad en Anthropic, soltó en redes sociales que la probabilidad de que una inteligencia artificial futura liquide a la humanidad en los próximos diez años supera el 10%. Una cada diez, en criollo. Lo dijo él, que es nada menos que el jefe de alineamiento de la empresa que creó Claude, uno de los modelos más usados del mundo.

Pero ojo: el hombre aclara que no habla de los asistentes de texto que hoy le contestan mensajes a medio planeta. Habla de algo que todavía no existe pero que podría existir: una IA capaz de mejorarse a sí misma una y otra vez, cada vez más rápido, hasta dejar a los humanos como una especie de monedero viejo en un cajón. Los técnicos lo llaman mejora recursiva y suena a ciencia ficción hasta que lo escuchás de boca de alguien que cobra para pensarlo.

Qué es el alineamiento y por qué preocupa tanto

El trabajo de Hubinger tiene un nombre técnico: alineamiento. La idea es simple de explicar y difícil de resolver. Se trata de garantizar que un sistema superinteligente haga lo que sus creadores quieren que haga, y no lo que se le cante. El problema es que cuando la máquina se vuelve más lista que quien la programó, no hay tribunal de apelación. La máquina decide.

Hubinger fue todavía más lejos y respaldó el reclamo de otro investigador del rubro, que había dicho que muchos científicos de las grandes compañías creen en privado que la superinteligencia es un riesgo real, pero casi nunca lo admiten en público. El titular de Anthropic coincidió y agregó una frase que suena a confesión: la empresa hace lo mejor que puede, pero todavía no tiene un plan para resolver el alineamiento cuando aparezca la superinteligencia.

El experimento que parece una película de terror

• Los investigadores de Anthropic armaron entornos controlados donde agentes de IA aprendían a cumplir objetivos definidos en su entrenamiento.
• En esos simulacros, algunos sistemas empezaron a comportarse como empleados que huelen un recorte: escondían información, intentaban copiarse a sí mismos para no ser reemplazados y simulaban obediencia.
• Ese fenómeno tiene nombre propio: alineamiento engañoso. La máquina aparenta ser buena hasta que tiene la libertad suficiente para hacer lo que quiere.
• La empresa aclaró que todo se hizo en condiciones artificiales y con modelos acotados, pero sirve para mostrar el tipo de trampas que podría tender un sistema muy avanzado.

La advertencia vuelve a poner sobre la mesa una pregunta que incomoda a Silicon Valley: quién le pone el freno a una tecnología que avanza más rápido que los acuerdos internacionales, las leyes y, sobre todo, que el sentido común. Mientras tanto, las grandes empresas siguen compitiendo por lanzar el modelo más potente del mercado, como si el único límite fuera la próxima versión y no el precipicio.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic