En las primeras horas de la mañana del miércoles, hora de Beijing, OpenAI, una nueva empresa tecnológica estadounidense, emitió un anuncio anunciando el lanzamiento de un reclutamiento global de miembros de la red del "equipo rojo", con el objetivo de introducir fuerzas externas para descubrir fallas y riesgos en los sistemas de IA de antemano. El concepto de red denominada "equipo rojo", o RedTeaming, proviene de simulaciones militares.
(Fuente: OpenAI)
En el campo de la IA, la tarea del “equipo rojo” es simular piratas informáticos u otras personas potencialmente peligrosas en un intento de encontrar vulnerabilidades en grandes modelos lingüísticos, evitando así que la IA contribuya a fines ilegales como poner en peligro la seguridad social en la sociedad real.
OpenAI dijo que en los últimos años, expertos en diferentes campos han estado ayudando a probar modelos inéditos. Ahora está creando una "fuerza regular" para reclutar a un gran número de personas de diferentes regiones, diferentes idiomas, diferentes campos profesionales y diferentes experiencias de vida para hacer que el modelo de IA sea más seguro en conjunto. A diferencia del pasado, que solo reclutaba a un grupo de personas para pruebas centralizadas antes de que una versión importante estuviera en línea, OpenAI permitirá que un número incierto de miembros realice pruebas durante todo el ciclo de desarrollo en función de la demanda.
Al mismo tiempo, esta red del "equipo rojo" también se convertirá en la biblioteca global de expertos de OpenAI, y OpenAI también proporcionará una plataforma para la comunicación entre los miembros del "equipo rojo". OpenAI también enumera algunas de las direcciones de expertos que esperan reclutar en su sitio web oficial, pero también enfatiza que no se limita a estos campos.
Ciencia cognitiva: ciencia cognitiva
Química: Química
Biología: Biología
Física: Física
Ciencias de la Computación: Ciencias de la Computación
Esteganografía: esteganografía
Ciencia Política: Ciencias Políticas
Psicología: Psicología
Persuasión: Persuasión
Economía: Economía
Antropología: Antropología
Sociología: sociología
HCI (Interacción Humano-Computadora): interacción persona-computadora
Equidad y sesgo: equidad y sesgo
Alineación: alineación del objetivo
Educación: educación
Atención sanitaria: atención médica
ley: ley
Seguridad infantil: seguridad infantil
Ciberseguridad: seguridad de la red
Finanzas: Finanzas
Mis/desinformación: Información errónea/falsa
Uso político: aplicación política
Privacidad: privacidad
Biometría: Biometría
Idiomas y Lingüística: Idiomas y Lingüística
Por cierto, OpenAI también declaró que pagará una remuneración a los miembros que participen en el proyecto del "equipo rojo" (pero no especificó cuánto pagará), pero OpenAI también enfatizó que participar en el proyecto del "equipo rojo" generalmente requiere firmar un acuerdo de confidencialidad o permanecer en silencio por un período de tiempo no especificado.
OpenAI afirmó que el canal de solicitudes permanecerá abierto hasta el 1 de diciembre de este año. La empresa revisará las solicitudes de forma continua y posteriormente evaluará si es necesaria una mayor contratación abierta.
Miembros del “equipo rojo” de OpenAI que subieron al escenario
Como menciona OpenAI, el sistema del “equipo rojo” existe desde hace mucho tiempo y muchos miembros ya han recibido entrevistas públicas de los medios.
En un revelador artículo del Financial Times de abril de este año, Andrew White, profesor de ingeniería química de la Universidad de Rochester en Estados Unidos, dijo que participó en la prueba del "equipo rojo" de GPT-4 y que el objetivo de su ataque era utilizar ChatGPT para crear una nueva neurotoxina. White dijo que usó la función "plug-in" para alimentar documentos químicos y catálogos de fabricantes de productos químicos al modelo grande, y el modelo grande incluso le encontró un lugar donde podía producir su hipotética toxina.
White dijo que los modelos grandes podrían eventualmente ayudar a muchas personas a realizar experimentos químicos de manera más rápida y precisa, pero también existe un grave peligro de que algunas personas utilicen la IA para realizar algunos experimentos peligrosos.
Después de recibir comentarios de White, OpenAI realizó cambios en el sistema para asegurarse de que no respondiera a preguntas similares. Según los medios, hay unos 10 miembros del "equipo rojo" con diferentes formaciones: abogados, profesores, personal de control de riesgos, investigadores de seguridad, etc. La mayoría de ellos están ubicados en Estados Unidos y Europa. Revelaron que en los meses previos al lanzamiento de GPT-4, pasaron entre 10 y 40 horas probando el modelo y cobraron alrededor de 100 dólares por hora.