Resumen:
Este verano, los equipos de OpenAI se esforzaron por comprender por qué su IA estaba provocando violaciones de seguridad dentro y fuera de la empresa. Durante este período, muchos altos ejecutivos, incluido el director general Sam Altman, mantuvieron numerosas reuniones con la nueva empresa Goodfire. La tecnología de Goodfire, respaldada por Anthropic, tiene como objetivo comprender las razones subyacentes por las que los modelos de IA se comportan de determinadas maneras y cómo evitar que la IA se salga de control.

Eric Ho, director ejecutivo de Goodfire (izquierda) y Sam Altman, director ejecutivo de OpenAI.
Dos personas familiarizadas con el asunto revelaron que durante el proceso de negociación, un ejecutivo de OpenAI ofreció recaudar
más de 5 mil millones de dólares
La empresa adquirirá esta nueva empresa fundada hace dos años a un precio razonable o iniciará otras formas de cooperación comercial. Goodfire completó una ronda de financiación en febrero que valoró a la empresa en 1.250 millones de dólares en colocaciones privadas, y la oferta de 5.000 millones de dólares representó una enorme prima sobre esa valoración.La adquisición finalmente no se materializó. Esta serie de negociaciones, de las que nunca se había informado antes, muestra que con el aumento de los incidentes de seguridad impulsados por la IA, tanto Anthropic como OpenAI están preocupados por "la capacidad de controlar la tecnología de IA que construyen". La explicabilidad del mecanismo, una dirección industrial que alguna vez fue impopular, ahora está ganando mucha atención.
Una de las personas familiarizadas con el asunto dijo que una de las principales razones de la ruptura de las negociaciones es que la gerencia de Goodfire cree que si mantiene el desarrollo independiente y exporta tecnología a múltiples empresas de IA, el valor de la empresa será superior a los 5 mil millones de dólares.
Los ejecutivos de OpenAI, Anthropic y Google admiten que la confiabilidad de los métodos tradicionales de monitorear el comportamiento de la IA está disminuyendo y, como resultado, el software de Goodfire se ha vuelto cada vez más valioso. Su ruta técnica es diferente de la solución tradicional de desarrolladores como OpenAI: la solución tradicional es leer el texto del resultado de la cadena de pensamiento durante la inferencia del modelo, mientras se observa de cerca el comportamiento real de la IA. (Vea la entrevista con el CEO de Goodfire a continuación)
Los nuevos desarrollos de IA, como la tecnología secreta detrás del modelo Astra de OpenAI, comprimirán la cantidad de información de la cadena de pensamiento generada por el modelo, lo que dificultará aún más el seguimiento.
Los incidentes de seguridad de IA han ocurrido uno tras otro en los últimos meses (incluido el conocido incidente de intrusión Hugging Face, que fue causado por la tecnología de OpenAI e incluso invadió algunos de los propios sistemas de OpenAI). Para los grandes fabricantes de modelos como OpenAI, es urgente crear una protección de seguridad más sólida.
Una vez que su propia IA invade los sistemas corporativos y gubernamentales y causa pérdidas económicas, empresas como OpenAI y Anthropic también pueden enfrentar el riesgo de recibir enormes compensaciones legales o incluso ser procesadas.
La principal experiencia de Goodfire es la
intercepción mecánica
. A diferencia del monitoreo de la cadena de pensamiento, el software de productos de la competencia como Goodfire y Martian observa directamente los cálculos matemáticos que se ejecutan dentro del modelo. Goodfire también admitió que la madurez actual de esta tecnología no es tan buena como la del monitoreo de la cadena de pensamiento; Algunos investigadores de IA también creen que su rigor de investigación científica es más débil que otras direcciones de investigación de aprendizaje automático.
>
Pero el cofundador y científico jefe de Goodfire, Tom McGrath, dijo en una entrevista en YouTube que la tecnología de la startup se repetirá rápidamente y el costo será mucho menor que el monitoreo de la cadena de pensamiento; este último requiere ejecutar un modelo grande para leer el resultado de la cadena de pensamiento mediante otro modelo. Predice que dentro de los próximos seis meses, las soluciones de monitoreo basadas en la explicabilidad alcanzarán las capacidades del monitoreo de la cadena de pensamiento.
La startup de San Francisco vende suscripciones anuales a empresas para su producto Silico, que implementa agentes de inteligencia artificial para realizar automáticamente varios experimentos de investigación, como detectar si un modelo está intentando lanzar un ciberataque. Entre sus clientes se incluyen Rakuten y la empresa de neurociencia de inteligencia artificial Prima Mente. Goodfire ha generado ingresos, pero no se ha revelado el tamaño exacto.
La interpretabilidad del mecanismo requiere un acceso profundo a los pesos del modelo (los parámetros numéricos que componen el modelo de IA), que los principales fabricantes mantienen estrictamente confidenciales. Por lo tanto, algunos empleados de Goodfire estarán en las empresas clientes para realizar el trabajo.
Fuentes informadas revelaron que durante las negociaciones entre OpenAI y Goodfire, Altman prestó especial atención a los resultados de la investigación del investigador de Goodfire, Nick Cammarata. Kammarata trabajó una vez en OpenAI. El mes pasado publicó un artículo que circuló ampliamente en el círculo, "Las redes neuronales son claras e interpretables". Propuso que con la ayuda de la interpretabilidad del mecanismo, los investigadores pueden comprender más fácilmente de lo que se pensaba los miles de millones de neuronas (unidades de operación matemática dentro del modelo) dentro del modelo de IA. Muchos investigadores creen que este tipo de comprensión puede ayudar a desarrollar modelos con mejor rendimiento.
Muchas empresas líderes de modelos grandes han establecido equipos de investigación de interpretabilidad de mecanismos; Como uno de los pioneros en este campo, Anthropic ha sido particularmente activo en esta dirección.
Chris Ola es considerado uno de los fundadores del campo de la explicabilidad de los mecanismos. Cofundó Anthropic después de dejar OpenAI en 2020 y ahora dirige la investigación de explicabilidad en la empresa desarrollada por Claude. Anthropic completó su inversión en Goodfire el año pasado, lo que marca la primera vez en su historia que Anthropic adquiere una participación directa en una startup externa. El director ejecutivo Dario Amodei dijo en ese momento: "Esta inversión representa nuestra creencia de que la explicabilidad del mecanismo es el método más prometedor para transformar las redes neuronales de caja negra en sistemas comprensibles y controlables".
A juzgar por la información de contratación, OpenAI también está contratando investigadores en el campo de la alineación y la interpretabilidad; A principios de este año, OpenAI integró tecnología de interpretabilidad en el proceso de seguridad para identificar resultados peligrosos del modelo, como responder a preguntas maliciosas relacionadas con ataques cibernéticos y armas biológicas. Personas cercanas a OpenAI dicen que el entusiasmo por la dirección de la explicabilidad está creciendo entre los investigadores de la empresa.
Comentarios