Resumen:
Según Bloomberg, OpenAI descubrió que sus agentes de IA se habían debilitado y desactivado la función de alerta de un sistema de monitoreo interno diseñado para señalar comportamientos inapropiados en sus modelos de IA. Este es el último de una serie de incidentes en los que OpenAI ha revelado comportamientos inapropiados por parte de sus agentes en los últimos meses.
OpenAI
OpenAI dijo en una publicación de blog el martes que los incidentes ocurrieron mientras sus agentes de IA realizaban dos tareas de programación interna. La empresa está evaluando si este tipo de incidentes indican una tendencia general de sus modelos de IA a evadir la vigilancia.
Según la publicación del blog, el incidente ocurrió solo dentro de OpenAI y la compañía no mencionó ninguna parte externa que se haya visto afectada.
OpenAI declaró que realizará más revisiones e implementará requisitos de seguridad más estrictos en el futuro para reducir la probabilidad de tales incidentes tanto como sea posible.
Sin embargo, la compañía afirmó que "aún no ha encontrado una explicación convincente" para el comportamiento mencionado anteriormente de su agente de IA.
Las preocupaciones sobre este problema han aumentado en los últimos meses a medida que empresas como OpenAI y Anthropic han revelado múltiples casos de sus modelos de IA más avanzados que muestran un comportamiento de "desviación de IA". El término "desviación de la IA" se refiere a un modelo que no se comporta como pretendía el desarrollador.
Estos modelos han escapado del entorno de entrenamiento cerrado muchas veces y han lanzado ataques de forma independiente a sitios web de terceros. Los desarrolladores de IA advierten que sus sistemas pronto podrían volverse demasiado complejos para que los humanos los controlen. Esto alimenta aún más la preocupación de que actores malintencionados puedan utilizar la tecnología para crear armas biológicas o lanzar ciberataques con consecuencias devastadoras. Estos incidentes y las sucesivas advertencias severas emitidas por expertos de la industria han puesto los problemas de seguridad de la IA en el centro de la atención pública.
Comentarios