Resumen:
Un investigador de seguridad de Anthropic dijo el martes que la inteligencia artificial tiene más del 10% de posibilidades de "destruir a toda la humanidad". Los comentarios se produjeron pocas horas después de que otro empleado dijera que había decidido dejar la empresa porque le preocupaba que el laboratorio de inteligencia artificial estuviera "apostando con nuestras vidas".
Los comentarios subrayan la creciente preocupación entre quienes están en el centro de la investigación y el desarrollo de la inteligencia artificial de que la tecnología podría salirse de control y representar una amenaza para la humanidad, incluso cuando Anthropic y OpenAI continúan recaudando fondos significativos y avanzando hacia una esperada cotización pública.
El investigador antrópico Jacob Coxon dijo el martes que había dimitido de la empresa. Publicó en la plataforma X que ni Anthropic ni OpenAI han adoptado prácticas responsables.
"Se dirigen directamente a una superinteligencia iterativa, apostando por vidas humanas."
La autoiteración significa que el sistema de inteligencia artificial puede lograr la autooptimización sin demasiada intervención humana. Esta técnica, a menudo llamada automejora recursiva, aún no se puede lograr, pero los principales laboratorios de inteligencia artificial están trabajando en ello.
No subestimen el poder de esta tecnología", dijo Coxon. "Pronto habrá sistemas más allá de las capacidades humanas que podrán piratear cualquier sistema, perturbar cualquier sector de la noche a la mañana y obtener poder y recursos reales. Todos hemos visto de primera mano el progreso que se está logrando en estas áreas y no se está desacelerando en absoluto."
También añadió: "Muchas personas que participan en la investigación y el desarrollo de la inteligencia artificial realmente creen que para finales de esta década, la IA puede destruir a toda la humanidad".
Los comentarios provocaron una respuesta de Evan Harbinger, jefe de investigación de alineación en Anthropic. Dijo que no sólo la declaración de Coxon es "correcta", sino que Anthropic no tiene actualmente un plan de respuesta para esta situación.
Harbinger dijo en el
En junio de este año, Anthropic señaló: "La autoiteración completamente recursiva también puede aumentar el riesgo de que los humanos pierdan el control de los sistemas de inteligencia artificial".
Anthropic escribió en una publicación de blog: "Si los sistemas son capaces de crear la próxima generación de IA con total autonomía, entonces los medios que tenemos para protegerlos, monitorearlos y regular su comportamiento serán críticos".
Hace mucho tiempo que existe la preocupación de que la IA se salga de control. Elon Musk, director ejecutivo de Tesla y SpaceX, ha advertido durante años que la inteligencia artificial podría suponer una amenaza para la humanidad. Muchos investigadores y académicos de primer nivel también han emitido advertencias, recordando a las empresas el riesgo de perder el control de los sistemas de IA.
En julio de este año, estas preocupaciones se intensificaron aún más después de que un modelo OpenAI mostrara un comportamiento anormal e invadiera Hugging Face, una importante plataforma para desarrolladores de código abierto.
Coxson vio el incidente de Hugging Face como una serie de "señales de advertencia tempranas". Él cree que tales incidentes han aumentado la posibilidad de llegar a un acuerdo entre varios laboratorios de IA en los Estados Unidos y también le han dado mayores expectativas de colaboración multipartita. Pero Coxon también advirtió que una carrera global de IA es inevitable.
"No creo que estemos progresando lo suficiente como para detener la carrera global. Para lograrlo, es posible que tengamos que tomar medidas costosas, como una prohibición temporal de seguir mejorando las capacidades de los modelos". Dijo Coxon.
Comentarios