El CEO de Anthropic solicita que la carrera de la IA se desacelere citando la seguridad. Musk y Altman de OpenAI están de acuerdo

Los ejecutivos que compiten por construir los sistemas de inteligencia artificial (IA) más poderosos del mundo están comenzando a coincidir en algo que hace pocos años habría sonado extraordinario: la carrera necesita desacelerarse.

Dario Amodei, CEO del desarrollador de Claude, Anthropic, pidió el sábado a las empresas que regulen deliberadamente el ritmo de los avances en la inteligencia artificial de frontera, argumentando que las capacidades de los modelos están mejorando más rápido que la capacidad de los investigadores para comprenderlos y controlarlos.

En un ensayo titulado “Debemos marcar el ritmo en la frontera”, Amodei afirmó que los avances desde este verano le habían convencido de que el trabajo en la seguridad de la IA ya no estaba siguiendo el ritmo de las capacidades que mejoran rápidamente.

“Debemos desacelerar el ritmo al que mejoramos las capacidades de los modelos de IA,” escribió Amodei.

Sin embargo, no pidió una suspensión total, sino que abogó por desacelerar el ritmo del desarrollo. “No desarrollar la tecnología priva a la humanidad de beneficios o simplemente coloca la IA en manos de poderes autoritarios, mientras que desarrollarla demasiado rápido es imprudente.”

Dos otros destacados líderes de gigantes rivales en inteligencia artificial y tecnología apoyaron rápidamente la idea.

Director Ejecutivo de OpenAI, Sam Altman, dijo, “Estoy de acuerdo con Darío en que necesitamos marcar el ritmo de la frontera,” para dar tiempo a la sociedad a adaptarse a sistemas cada vez más poderosos. Elon Musk, cuya empresa xAI ha desarrollado Grok, también respaldado públicamente La última propuesta de Amodei, respondiendo que “Dario tiene razón.”

Eso sitúa a tres de las figuras más destacadas y ferozmente competitivas de la industria de la IA detrás de versiones de la misma idea: la IA de frontera — los modelos de IA más capaces y vanguardistas — debería continuar avanzando, pero no necesariamente tan rápido como sea técnicamente posible.

Un disparo de advertencia

La advertencia de Amodei llega en un momento en que los investigadores dentro de las propias empresas se muestran cada vez más alarmados por un umbral potencialmente crítico: los sistemas de IA que comienzan a automatizar el trabajo necesario para desarrollar sistemas de IA más avanzados.

Jacob Coxon, un investigador que trabajó tanto en Anthropic como en OpenAI, renunció a Anthropic este mes y acusó a las empresas de “correr directamente hacia una superinteligencia que se auto-mejora y de apostar con nuestras vidas.” También afirmó que "las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década.”

Aunque Amodei no llegó tan lejos como Coxon, el ensayo de Amodei planteó varias de las mismas preocupaciones.

Él afirmó que esta “auto-mejora recursiva,” en la cual la IA está ayudando cada vez más a los investigadores a construir la próxima generación de IA, comenzaba a surgir en toda la industria y podría acelerar el desarrollo más rápido de lo que los humanos podrían supervisar de manera segura.

“Si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas, por lo que debe ser abordado con mucha precaución, si es que se debe abordar,” señaló Amodei.

Coxon, en su publicación, también citó el incidente OpenAI-Hugging Face, donde agentes que operaban durante las pruebas se coordinaron entre sí para llevar a cabo ataques de ciberseguridad fuera de la tarea prevista, un “disparo de advertencia”, y pidió coordinación entre los laboratorios de vanguardia, que potencialmente incluya una pausa temporal en el aumento de la capacidad del modelo.

Amodei también citó este incidente como una preocupación importante, ya que mostró cómo una versión más capaz del mismo comportamiento podría volverse mucho más peligrosa en cuestión de meses.

“Dada la acelerada tasa de desarrollo de capacidades de la IA, me preocupa que en 6–12 meses un enjambre así pueda ser capaz de tomar el control de todo Internet con una persistente "botnet (causando potencialmente daños por cientos de miles de millones de dólares), y que la escala del daño continuaría aumentando a partir de ahí si la IA se vuelve más poderosa sin las salvaguardas necesarias,” afirmó.

De la competencia a la coordinación

Hasta hace poco, la desaceleración de la inteligencia artificial de vanguardia representaba un problema competitivo casi insoluble.

Si Anthropic desacelerara mientras OpenAI continuaba, OpenAI podría tomar la delantera. Si las empresas estadounidenses en conjunto desaceleraran mientras los laboratorios chinos no lo hicieran, Estados Unidos podría sacrificar su liderazgo tecnológico.

Este dilema competitivo es precisamente la razón por la cual este nuevo “consenso” entre los líderes de la IA es notable para la industria.

Altman dijo en julio que el mundo podría necesitar establecer un ritmo para el desarrollo de la IA y reconoció la dificultad de hacerlo sin crear una captura regulatoria o una coordinación ilegal entre laboratorios competidores. OpenAI también respaldó una iniciativa más amplia denominada “Pacing the Frontier” que solicitaba mecanismos internacionales liderados por EE. UU. para ralentizar deliberadamente el desarrollo de la IA si fuera necesario.

Más de 1,300 empleados las empresas pioneras en inteligencia artificial han respaldado desde entonces ese esfuerzo, incluidos altos cargos de Anthropic, OpenAI, Google DeepMind y Meta.

Amodei ahora está yendo más allá.

En su nuevo ensayo, propuso un marco de tres etapas, comenzando con evaluadores independientes integrados en laboratorios de vanguardia con acceso similar al de los empleados. Anthropic declaró que adoptaría esa medida por sí misma.

El también estuvo de acuerdo Altman de OpenAI. “Comprometerse a contar con evaluadores independientes con acceso similar al de los empleados es una gran idea, y nosotros haremos lo mismo. Pronto tendremos más información para compartir,” dijo en su publicación.

La segunda etapa, según Amodei, implicaría que las empresas de IA en países democráticos se coordinen en torno a normas comunes de seguridad y límites al crecimiento desenfrenado de capacidades, potencialmente con la participación gubernamental para abordar preocupaciones antimonopolio.

Eventualmente, Amodei desea que los gobiernos — incluidos rivales geopolíticos como China — negocien restricciones internacionales en torno a las capacidades de IA más peligrosas, lo que potencialmente podría incluir un “límite de velocidad” para la auto-mejora recursiva.

Para Amodei, incluso un año o dos adicionales podrían ser importantes, brindando a los investigadores más tiempo para mejorar la alineación, la interpretabilidad, las pruebas y las salvaguardas operativas antes de que la IA alcance umbrales de capacidad más peligrosos.

Estas advertencias e inquietudes sobre los modelos de frontera no implican que la carrera de la IA se detenga y, de hecho, será “aún relativamente rápida”, según Amodei.

Lo que ha cambiado es que algunas de las personas que participan en la carrera ahora argumentan públicamente que ganar no debería significar avanzar tan rápido como sea técnicamente posible.

“Las medidas que propongo para avanzar en la frontera a un ritmo seguro no serán fáciles. Pero creo que se lo debemos a la humanidad intentarlo,” concluyó Amodei.