Alerta en la IA: El CEO de Anthropic pide reducir el ritmo del desarrollo tecnológico

El director ejecutivo de Anthropic, Dario Amodei, ha emitido un llamamiento a la industria de la inteligencia artificial para que modere la velocidad de sus avances. Ha sugerido que la prioridad debe ser la cautela y la seguridad, en un contexto marcado por la preocupación de la comunidad sobre el potencial riesgo de descontrol de la tecnología.

Amodei, en un comunicado publicado el sábado, ha abogado por disminuir el ritmo de mejora en los modelos de IA. El CEO advirtió que, si no se controla, el progreso tecnológico podría generar riesgos catastróficos, incluyendo la posibilidad de ataques informáticos, bioterrorismo o graves problemas económicos. Según sus declaraciones, una de las principales preocupaciones es la capacidad de la IA para desarrollarse a sí misma de manera recursiva, lo cual podría superar la habilidad humana para comprender y controlar dichos sistemas.

Además, el director señaló que la empresa ha experimentado incidentes de seguridad, mencionando un caso similar a un grupo de IA que atacó en coordinación en un entorno externo, lo que podría haber provocado un daño de gran magnitud. En paralelo, Anthropic también informó que bloqueó una operación destinada a desarrollar armas biológicas mediante el uso de su modelo de IA, Claude.

Ante este panorama, el responsable de Anthropic propuso varias medidas que deben adoptarse de manera urgente. Estas incluyen establecer la incorporación de evaluadores externos e independientes en las principales compañías de IA, quienes tendrían acceso a sus procesos internos y herramientas. Amodei también enfatizó la necesidad de una coordinación tanto democrática con instituciones públicas, como una coordinación global que abarque a diferentes países a nivel mundial.

Las advertencias de Amodei han añadido contexto a la semana, ya que la empresa registró la dimisión de un investigador, Jacob Coxon, quien manifestó abiertamente su temor de que las personas que desarrollan la tecnología son conscientes del peligro potencial que esta representa para la especie humana. Dichas propuestas buscarían garantizar que el avance siga siendo seguro, dando primacía a la prudencia sobre los intereses comerciales.

Fuentes: El Mundo, Europa Press

Foto de Brecht Corbeel en Unsplash