La IA podría acabar con nosotros, afirma investigador de Anthropic tras renunciar

Un investigador de Anthropic renunció el martes y la razón que citó parece sacada directamente de la exitosa película de James Cameron de 1984, "Terminator".

Jacob Coxon, quien pasó tres años trabajando en el preentrenamiento tanto en OpenAI como en Anthropic, renunció el martes y explicó su decisión en X.

"Renuncié a Anthropic hoy. Pasé los últimos tres años realizando investigaciones de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia con capacidad de auto mejora y apostando con nuestras vidas," dijo.

"Las personas que desarrollan la inteligencia artificial creen sinceramente que podría acabar con todos nosotros para finales de la década,” añadió.

Esa declaración hace que la ficción de Cameron, de 42 años, parezca casi profética. La película comienza con máquinas que libran una guerra contra los humanos en 2029, el mismo período aproximado que Coxon dice que preocupa discretamente a los expertos. Coxon no está solo en Anthropic al presentar el argumento de la extinción.

El propio líder de alineación de la empresa, Evan Hubinger, ha dijo por separado él situaría las probabilidades por encima del 10%.

“Jacob tiene razón aquí: realmente creemos de manera sincera que la IA podría acabar con todos los humanos. Personalmente, creo que la probabilidad es >10% en la próxima década. Creo que Anthropic está haciendo su mejor esfuerzo, pero aún no tenemos un plan para resolver la alineación con la superinteligencia y no estamos claramente encaminados a ello,” dijo Hubinger.

IA superinteligente

Para los no iniciados, IA superinteligente significa un sistema más inteligente que los humanos en prácticamente todo, no solo en ajedrez o en detectar gatos ocultos en fotos. La auto-mejora es el aspecto más alarmante porque describe un sistema que modifica autónomamente su propio código para aumentar su inteligencia, de manera similar a como lo hacen los humanos.

En consecuencia, estos sistemas pueden adquirir grandes cantidades de conocimiento de manera independiente y potencialmente vulnerar la infraestructura perteneciente a instituciones ‘demasiado grandes para quebrar’.

“No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos sido testigos del progreso en cada uno de estos ámbitos, y el avance no se está desacelerando,” dijo Coxon.

La superinteligencia no es una amenaza teórica si tomamos en cuenta la reciente brecha de seguridad en Hugging Face mencionada por Coxon. La brecha en sí, que tuvo lugar entre mayo y julio, comenzó con los propios agentes de IA de OpenAI creando su propia sala de chat dentro del entorno de pruebas para comunicarse entre ellos.

Leer Más: Los modelos de IA escaparon del entorno controlado de OpenAI y alcanzaron Hugging Face. El cripto es donde eso se vuelve peligroso

Eventualmente utilizaron ese canal para evadir la contención y acceder a internet abierto. Desde allí, encadenaron varias vulnerabilidades y penetraron en los sistemas de producción de Hugging Face. Hugging Face terminó reconstruyendo aproximadamente un tercio de su infraestructura.

Coxon lo calificó como un "disparo de advertencia" que ha hecho que los acuerdos de ritmo entre los laboratorios estadounidenses sean "más viables". Los acuerdos de ritmo son entendimientos informales entre laboratorios de IA para desacelerar o coordinar los avances en capacidades en lugar de avanzar unilateralmente en una carrera.

Aun así, no está convencido de que sea suficiente y no siente que “estemos en camino de prevenir una carrera global,” y sugirió acciones costosas como “una prohibición temporal para mejorar las capacidades de los modelos” para frenar la carrera de la IA.

"En OpenAI, muchos no han interiorizado profundamente lo que está en juego para la civilización," escribió. En su empleador más reciente, dijo que es diferente en el sentido de que "las apuestas están bien entendidas, pero están inmersos en una carrera para llegar primero.”

Terminó el hilo planteando la pregunta a todos los que aún están dentro de los laboratorios: "¿Quieren iniciar una ejecución de RL superinteligente sin una comprensión rigurosa de su mente?" — o ¿es este el momento de oponerse en lugar de encogerse de hombros y decirse a uno mismo que sucederá de todos modos.

Él no es el primero en irse por esto. Mrinank Sharma, quien trabajó en el equipo de seguridad de Anthropic, renunció a principios de este año debido a temores similares, escribiendo que el “mundo está en peligro.”

¿Exagerados los temores apocalípticos?

No todos están convencidos por la predicción apocalíptica, sin embargo.

Una respuesta bajo su hilo dicho claramente: "Con todo respeto, esto es extraño. Es una opinión ridícula. Los humanos han evolucionado durante cientos de miles de años. No vamos a desaparecer porque un modelo de predicción de tokens haya adquirido conciencia. Contrólate. Todos ustedes."

Curiosamente, la serie de películas Terminator tampoco respalda a Coxon. La humanidad no desaparece en Terminator's Día del Juicio Nuclear, la resistencia la supera y eventualmente vence a las máquinas.

Dicho esto, la IA está afectando a la economía, especialmente en el ámbito laboral. Aunque aún no se ha producido un desplazamiento masivo, el uso de la IA para tareas de nivel junior ha provocado una disminución de casi el 20 % en el empleo de nivel inicial en los sectores expuestos a la IA en Estados Unidos, según Laboratorio de Economía Digital de Stanford.

Un estudio de Goldman Sachs ha hecho una observación similar, afirmando que los trabajadores de nivel inicial están soportando la mayor parte de este cambio.

Anthropic presentó documentos para su oferta pública inicial en junio y, según se informa, apunta a debutar en Nasdaq tan pronto como este otoño, con una valoración que podría alcanzar los billones.

10:09 UTC: Añade comentario de Hubinger de Anthropic.