Resumen:
Después de la explosión de PHP, un gran número de sitios web de todo el mundo desconectaron sus "cables de red" primero. El lenguaje de programación que impulsa una gran cantidad de sitios web ha quedado expuesto a dos vulnerabilidades graves que podrían permitir a los atacantes apoderarse del servidor de forma remota. El Centro Nacional de Seguridad Cibernética de Holanda declaró en un informe del 21 de octubre que su sitio web también había sido desconectado como medida de precaución. Algunas instituciones en Finlandia también han suspendido los servicios en línea y los reanudarán después de que se instalen los parches.
El sitio web está fuera de línea por temor a que alguien entre. Ahora OpenAI ha comenzado a desconectar el cable de red, pero en lo que quiere centrarse es en su propia IA.
El 23 de octubre, OpenAI reveló el entorno de capacitación para modelos de vanguardia: el modelo necesita practicar la búsqueda, navegación y operación de páginas web, pero no puede acceder a Internet real a voluntad.
Así que preparó una "Internet falsa" para la IA.
Primero crea un "Show Truman" para IA
OpenAI primero guarda una gran cantidad de contenido web y luego lo indexa. Este lote de recursos preparados se utiliza cuando el modelo practica la navegación y la búsqueda.
Esto es lo que llama el "mundo fuera de línea". Lo "falso" es el método de conexión, y el contenido web puede provenir del mundo real. OpenAI dice que utiliza esta interacción fuera de línea para la capacitación de aprendizaje reforzado en todos sus modelos de vanguardia.
El modelo también puede usar el navegador, ejecutar código y operar la computadora durante la tarea. Las herramientas, archivos y servicios disponibles están determinados por el alcance de la autorización de la tarea. Los agentes a los que se les permite colaborar pueden compartir recursos específicos, mientras que otros recursos deben mantenerse separados.
Por ejemplo, después de que el modelo escribe un programa, puede leer archivos, iniciar otros programas o realizar solicitudes a una determinada URL durante el tiempo de ejecución.
La solución Linux de OpenAI consiste en colocar contenedores restringidos en máquinas virtuales livianas. El contenedor primero limita los archivos y procesos con los que el programa puede contactar. Por ejemplo, si una tarea solo necesita procesar un conjunto de archivos, puede abrir solo los directorios que el programa puede usar.
La máquina virtual tiene su propio núcleo de sistema operativo, que maneja las solicitudes de archivos, memoria y dispositivos de los programas internos. El hipervisor de software administra la máquina virtual y la aísla del sistema del servidor físico. El hecho de que un programa eluda las restricciones del contenedor no significa que haya obtenido el control del servidor físico.
Los perímetros de los servidores físicos, los cortafuegos y los grupos de seguridad restringen las conexiones, y la gestión de identidades y permisos determina quién puede acceder a qué servicios en la nube. Lo que tiene que afrontar esta capa de defensa es que incluso si el modelo obtiene el control del servidor, no puede conectarse arbitrariamente a la red externa ni acceder a otros sistemas internos.
El sistema de monitoreo busca actividades no autorizadas durante la operación y permite a los investigadores intervenir a través de un mecanismo de pausa.
En Hacker News, el usuario Betterunix2 preguntó: "¿Por qué no simplemente desconectar el cable de red?"
La explicación de OpenAI es que toda la instalación aún necesita conservar algunas conexiones externas para recopilar indicadores operativos, registrar registros y administrar la autenticación, y actualmente es imposible desconectarse completamente de la red.
OpenAI le otorga directamente al Agente control completo de la máquina host en una copia de prueba especialmente diseñada para este propósito. La prueba comienza con "se ha violado la zona de pruebas y se ha omitido el monitoreo" y verifica individualmente si las restricciones periféricas pueden bloquear la solicitud de Internet. Los investigadores también proporcionaron el código fuente, la configuración y la documentación relacionada con las vulnerabilidades.
En una de las pruebas, el Agente tomó prestada la conexión permitida por el firewall para acceder a la interfaz de autenticación originalmente bloqueada en el servicio del indicador. Luego permite que esta interfaz acceda a la URL externa en su nombre.
Al relatar la prueba en X, Andrew Curran describió el desempeño del Agente como "escapar fácilmente de nuevas maneras".
De hecho, la comunidad académica ya ha realizado investigaciones similares.
El proyecto de investigación independiente WebArena integra sitios web de compras, foros, gestión de contenidos y plataformas de desarrollo colaborativo en un entorno de prueba autoimplementable, completo con herramientas como mapas y wikis. Detrás de las páginas web hay datos y funciones que simulan la realidad.
WebArena comprueba los resultados de la tarea. Al consultar un pedido, es necesario comprobar la información proporcionada por el modelo; Al crear un nuevo almacén, debe comprobar si en el sitio web aparece un almacén que cumpla con los requisitos.
Una vez aislada la IA, utiliza la memoria caché de la CPU para transmitir mensajes
En septiembre, los investigadores de OpenAI alimentaron un modelo interno con un conjunto de pistas biográficas y de blogs para descubrir quién era la persona.
El modelo utilizó por primera vez la herramienta de búsqueda proporcionada, pero no se encontró información coincidente. Intentó acceder a otros motores de búsqueda, pero aún no encontraba la respuesta, y empezó a comprobar a qué otras vías podía conectarse.
Descubrió que el servicio DNS responsable de consultar las direcciones de sitios web en el entorno también podía contactar con el mundo exterior, por lo que utilizó esta ruta para preguntar a un chatbot externo.
Preguntó "¿Cuál es la capital de Francia?" y recibió la respuesta "París". También se enviaron pistas para encontrar a la persona. Entre las tareas que le asignaron los investigadores, no hubo ninguna prueba de las limitaciones de la red.
En otro experimento que probó específicamente los efectos del aislamiento, OpenAI pidió a dos IA que intentaran enviarse mensajes entre sí.
Las dos IA se ejecutan en máquinas virtuales independientes. No hay conexión de red entre ellos y no hay archivos en los que ambas partes puedan escribir, pero usan la misma máquina física debajo.
Lo que utilizan para comunicarse es el caché de la CPU, que es un espacio en el procesador que almacena datos. Los datos a leer todavía están en el caché y se pueden recuperar rápidamente; si se elimina, hay que buscarlo en una memoria más lenta.
Una IA extrae selectivamente datos del caché. El otro lee los datos, registra cuáles se leen rápidamente y cuáles lentamente, y luego restaura los mensajes de acuerdo con las reglas acordadas.
En la mayoría de las pruebas relacionadas, los investigadores dieron pistas sobre direcciones de comunicación o reglas de codificación.
El grupo de usuarios de Hacker News se quejó: "Tengo todas las herramientas y ahora pretendo estar sorprendido". El usuario estético cree que las pruebas deberían brindar a los atacantes condiciones favorables para probar la línea de defensa.
Sin embargo, el profesor de Wharton Business School, Ethan Mollick, cree que aunque las empresas de IA no tienen que confiar en estos informes sobre cuestiones de seguridad, pueden exagerar los riesgos, pero el costo de subestimar los riesgos puede ser mayor y no podemos ignorarlo.
OpenAI dijo que solucionó los problemas encontrados y agregó monitoreo para estos métodos de comunicación.
En la prueba anterior de búsqueda de personas, el modelo finalmente no logró descubrir quién era la persona.
Para que la IA aprenda a navegar por Internet, es necesario mantener este "Truman Show" para ello.
Comentarios