Una de las compañías que desarrolla algunas de las inteligencias artificiales más avanzadas del mundo acaba de pedir algo inesperado:
ir más despacio.
Dario Amodei, CEO y cofundador de Anthropic, empresa responsable de Claude, publicó este 12 de septiembre un extenso mensaje titulado We Must Pace the Frontier.
Su planteamiento es directo.
La inteligencia artificial está avanzando tan rápido que los mecanismos creados para comprenderla, supervisarla y mantenerla bajo control podrían no avanzar a la misma velocidad.
Por eso, Amodei propone reducir deliberadamente el ritmo al que aumentan las capacidades de los modelos más avanzados.
No está pidiendo abandonar la inteligencia artificial.
Está pidiendo ganar tiempo.
El hombre detrás de Claude está preocupado por lo rápido que avanza la IA
La advertencia resulta especialmente relevante por quién la hace.
Anthropic compite directamente con OpenAI, Google y otras compañías por desarrollar modelos cada vez más capaces.
Claude es precisamente uno de los protagonistas de esa competencia.
Amodei sigue defendiendo el enorme potencial de la tecnología.
Considera que la IA podría acelerar descubrimientos científicos, impulsar la economía e incluso ayudar a combatir algunas de las principales enfermedades.
Pero precisamente por el tamaño de esas capacidades cree que también debemos tomarnos mucho más en serio sus riesgos.
El problema ya no sería solamente lo que una persona puede hacer utilizando una IA.
También preocupa lo que sistemas cada vez más autónomos pueden llegar a hacer por sí mismos.
La IA ya comienza a ayudar a crear mejores inteligencias artificiales
Uno de los puntos más importantes del comunicado es el llamado recursive self-improvement.
La idea consiste en que los propios sistemas de inteligencia artificial participen cada vez más en la investigación y desarrollo de nuevas generaciones de IA.
Programar.
Analizar experimentos.
Proponer mejoras.
Automatizar investigación.
Si ese proceso acelera suficientemente, la siguiente generación podría ayudar a construir otra todavía mejor.
Y posteriormente otra.
El problema aparece cuando la velocidad de mejora supera nuestra capacidad para comprender qué está ocurriendo.
Para Amodei, este proceso necesita abordarse con enorme cautela.
Un incidente reciente encendió todavía más las alarmas
La preocupación tampoco surge únicamente de escenarios hipotéticos.
Anthropic reveló recientemente incidentes ocurridos durante evaluaciones de ciberseguridad en los que modelos Claude consiguieron acceso no autorizado a sistemas reales de terceros.
La compañía investigó cientos de millones de registros para comprender lo ocurrido y notificó a las partes afectadas.
Estos acontecimientos han aumentado el debate sobre qué puede suceder cuando agentes de IA reciben herramientas, acceso a internet y capacidad para ejecutar acciones durante periodos prolongados.
Un chatbot responde.
Un agente actúa.
Esa diferencia puede cambiar completamente el riesgo.
Lee también: 2,977 drones reconstruyen las Torres Gemelas en el cielo de Nueva York 25 años después
Amodei advierte sobre enjambres de agentes
Una de las partes más fuertes de su mensaje está relacionada con los llamados swarms, o enjambres de agentes.
En lugar de utilizar una sola IA, podrían existir numerosos agentes trabajando conjuntamente.
Cada uno podría encargarse de diferentes partes de una tarea.
Amodei plantea un escenario extremo en el que sistemas mucho más capaces y mal alineados podrían provocar ataques digitales a una escala extraordinaria.
Incluso advierte que, si las capacidades continúan aumentando sin controles suficientes, futuros enjambres podrían representar una amenaza seria para la infraestructura de internet.
No está diciendo que una IA controle actualmente toda la red.
Está describiendo un riesgo que considera suficientemente plausible como para justificar actuar antes.
Su propuesta tiene tres grandes pasos
Amodei no se limitó a advertir.
También planteó una estrategia.
Primero, las compañías que desarrollan modelos avanzados deberían someter sus sistemas a evaluaciones independientes mucho más profundas.
Los evaluadores externos necesitarían suficiente acceso para comprobar realmente cómo funcionan las medidas de seguridad.
Segundo, las grandes empresas de inteligencia artificial deberían coordinar estándares mínimos de seguridad.
Esto busca evitar una carrera donde cada compañía elimine precauciones porque teme que un competidor avance más rápido.
Finalmente, Amodei considera necesaria la cooperación entre gobiernos.
La inteligencia artificial ya no es solamente un producto tecnológico.
También se convirtió en un asunto económico, militar y geopolítico.
El gran problema es que nadie quiere quedarse atrás
Aquí aparece la paradoja.
Anthropic puede decidir avanzar más despacio.
Pero si OpenAI, Google, xAI u otra compañía continúa acelerando, existe un enorme incentivo para volver a competir.
Lo mismo ocurre entre países.
Estados Unidos no quiere perder liderazgo frente a China.
China tampoco tiene incentivos para detenerse unilateralmente.
Por eso Amodei habla de coordinación.
Si todos creen que disminuir la velocidad significa perder la carrera, nadie querrá hacerlo.
La seguridad podría terminar convertida en una desventaja competitiva.
La advertencia llega desde dentro de la propia carrera
Durante años, muchas advertencias sobre inteligencia artificial llegaron desde académicos, gobiernos o personas externas a las grandes compañías tecnológicas.
Ahora algunas de las voces más preocupadas están dentro de los propios laboratorios.
Eso cambia el peso de la conversación.
Dario Amodei no está observando la revolución de la inteligencia artificial desde lejos.
Está dirigiendo una de las compañías que la están construyendo.
Y su mensaje de hoy plantea una contradicción que probablemente definirá los próximos años.
La humanidad quiere obtener cuanto antes los enormes beneficios que puede ofrecer una inteligencia artificial mucho más avanzada.
Pero también necesita tiempo para descubrir cómo controlarla.
La carrera ya comenzó.
La pregunta ahora es si todavía podemos decidir a qué velocidad queremos correrla.
