El CEO de Anthropic pidió desacelerar el desarrollo de la IA y alertó por riesgos en los próximos meses
Dario Amodei advirtió que el avance de los agentes autónomos de inteligencia artificial podría generar amenazas informáticas de una escala inédita si no se refuerzan los controles. Sam Altman y Elon Musk coincidieron en la necesidad de moderar el ritmo de desarrollo.
El avance acelerado de la inteligencia artificial volvió a encender las alarmas entre algunos de los principales referentes de la industria tecnológica. Dario Amodei, CEO de Anthropic y uno de los creadores de Claude, pidió desacelerar el desarrollo de los modelos más avanzados y advirtió sobre los riesgos que podrían generar los sistemas capaces de operar de manera cada vez más autónoma.
Su advertencia se concentró especialmente en los denominados agentes de IA, sistemas capaces de realizar múltiples tareas, utilizar herramientas y coordinar acciones con una intervención humana limitada. Amodei planteó que, a medida que estas capacidades aumenten, también podría crecer su potencial para realizar operaciones informáticas a gran escala.
“Me preocupa que, en un plazo de 6 a 12 meses, un enjambre así pueda ser capaz de tomar el control de toda internet mediante una red persistente de bots”, afirmó el ejecutivo, quien estimó que un escenario de esas características podría provocar daños económicos por cientos de miles de millones de dólares.
La declaración no implica que Anthropic sostenga que la IA inevitablemente vaya a controlar internet dentro de seis meses, sino que Amodei ubica ese período como un posible horizonte de riesgo si las capacidades continúan aumentando sin medidas de seguridad suficientes.
Un experimento que volvió a encender las alarmas
Parte de la preocupación se profundizó después de un experimento de ciberseguridad realizado con alrededor de 700 agentes de inteligencia artificial de OpenAI, que lograron coordinarse para encontrar vulnerabilidades y comprometer infraestructura de la plataforma Hugging Face.
El episodio fue presentado en algunos medios como una “fuga” de agentes de IA hacia internet. Sin embargo, se produjo dentro de un experimento diseñado específicamente para evaluar capacidades ofensivas y comportamientos de agentes autónomos, por lo que no se trató simplemente de cientos de sistemas que decidieron escapar espontáneamente de un entorno controlado.
El caso, de todos modos, expuso la velocidad con la que estos modelos están adquiriendo nuevas capacidades y alimentó la discusión dentro de las propias empresas desarrolladoras sobre qué controles deberían establecerse antes de desplegar sistemas más potentes.
Altman y Musk coincidieron con la advertencia
Las declaraciones de Amodei encontraron coincidencias entre dos figuras centrales de la industria. Elon Musk sostuvo que “Dario tiene razón”, mientras que Sam Altman, CEO de OpenAI, manifestó su acuerdo con la necesidad de moderar el ritmo en la frontera tecnológica.
“Estoy de acuerdo con Dario en que necesitamos moderar el ritmo de la frontera”, señaló Altman, quien indicó que la cuestión forma parte de las discusiones internas de OpenAI.
Las coincidencias adquieren relevancia por tratarse de ejecutivos y empresarios que compiten directamente en el desarrollo de los modelos de IA más avanzados y que mantienen, en algunos casos, fuertes diferencias empresariales y judiciales.
La advertencia de un investigador que dejó Anthropic
El debate también se intensificó tras la salida de Jacob Coxon, investigador de Anthropic, quien advirtió que el mayor riesgo podría aparecer cuando los sistemas sean capaces de mejorar sus propias capacidades de manera cada vez más autónoma.
Coxon diferenció ese escenario de las posibilidades actuales de los modelos. Según explicó, los sistemas disponibles hoy no tienen capacidad para producir por sí mismos un riesgo de esa magnitud, aunque consideró que el panorama podría cambiar rápidamente.
“Los modelos empiezan a ponerse muy peligrosos. Algunos piensan que en seis meses es plausible. Podría ser más, dos o tres años”, sostuvo.
Anthropic anunció además que recurrirá a paneles externos para auditar y supervisar el desarrollo de nuevos modelos, en momentos en que crece el debate sobre si las compañías que lideran esta tecnología pueden controlar por sí mismas los riesgos derivados de su avance.
Naciones Unidas reclama límites para la inteligencia artificial
Las advertencias empresariales coinciden con una discusión que también llegó a Naciones Unidas. El alto comisionado para los Derechos Humanos, Volker Türk, advirtió que sistemas de inteligencia artificial cada vez más poderosos podrían representar un riesgo existencial para la humanidad si su desarrollo no está acompañado por controles adecuados.
Türk reclamó reglas claras, mecanismos independientes de verificación y una mayor cooperación en materia de seguridad. También pidió avanzar urgentemente en la prohibición de armas autónomas capaces de tomar decisiones letales sin intervención humana significativa.
El debate enfrenta, sin embargo, un fuerte componente geopolítico. Mientras crecen los pedidos de regulación, Estados Unidos y China mantienen una competencia por el liderazgo tecnológico que dificulta cualquier desaceleración unilateral.
La discusión ya comenzó a trasladarse al terreno político estadounidense. El senador republicano Ted Cruz calificó de “aterradoras” las advertencias sobre la evolución de estos sistemas y planteó la necesidad de analizar mayores regulaciones, aunque también sostuvo que cualquier medida deberá contemplar la competencia tecnológica con China.
Así, las advertencias surgidas desde las propias compañías que desarrollan inteligencia artificial de frontera vuelven a colocar en el centro una discusión que hasta hace poco parecía más lejana: no sólo qué puede hacer la IA, sino hasta dónde permitir que avance antes de contar con mecanismos capaces de controlar sus riesgos.
