Un nuevo informe de HAI (Inteligencia artificial centrada en el ser humano) de la Universidad de Stanford encuentra que ninguno de los desarrolladores conocidos de los modelos subyacentes de inteligencia artificial, incluidas empresas como OpenAI y Meta, ha publicado suficiente información sobre su impacto potencial en la sociedad.
Hoy, Stanford HAI publicó su Índice de Transparencia de Modelos Subyacentes, que rastrea si los creadores de los 10 modelos de inteligencia artificial más populares divulgan información sobre su trabajo y cómo las personas usan sus sistemas. Entre los modelos que probó, Llama2 de Meta obtuvo la puntuación más alta, seguido de BloomZ y luego GPT-4 de OpenAI. Pero resulta que ninguno de ellos obtuvo una puntuación especialmente alta.
Otros modelos evaluados incluyen StableDiffusion de Stability, Claude de Anthropic, PaLM2 de Google, Command de Cohere, Jurassic2 de AI21Labs, Inflection-1 de Inflection y Titan de Amazon.
Los investigadores reconocen que la transparencia puede ser un concepto bastante amplio. Su definición se basa en 100 indicadores que brindan información sobre cómo se construye el modelo, cómo funciona y cómo las personas lo usan. Analizaron la información pública sobre el modelo y le dieron a cada uno una puntuación, observando si las empresas revelaron socios y desarrolladores externos, si dijeron a los clientes si sus modelos utilizaban información privada y una serie de otras preguntas.
Cuando la empresa publicó su investigación sobre la creación de modelos, la puntuación Meta fue del 53 %, con la puntuación más alta en conceptos básicos del modelo. El modelo de código abierto BloomZ le sigue de cerca con un 50% de apoyo, y GPT-4 con un 47% de apoyo, empatado en difusión estable a pesar del enfoque de diseño relativamente cerrado de OpenAI.
OpenAI se niega a publicar la mayoría de los resultados de su investigación y no revela la fuente de sus datos, pero GPT-4 logra obtener una clasificación alta porque hay mucha información disponible sobre sus socios. OpenAI trabaja con varias empresas diferentes para integrar GPT-4 en sus productos, lo que da como resultado una gran cantidad de detalles públicos disponibles para su revisión.
Sin embargo, los investigadores de Stanford descubrieron que ninguno de los creadores del modelo reveló ninguna información sobre el impacto social, incluido dónde presentar quejas sobre privacidad, derechos de autor o prejuicios.
Rishi Bommasani, director social del Centro de Modelado Fundamental de la Universidad de Stanford y uno de los investigadores del índice, dijo que el objetivo del índice es proporcionar un punto de referencia para gobiernos y empresas. Algunas regulaciones propuestas, como el Proyecto de Ley de Inteligencia Artificial de la UE, pronto podrían obligar a los desarrolladores de modelos subyacentes a gran escala a proporcionar informes transparentes.
"Lo que estamos tratando de lograr con el índice es hacer que el modelo sea más transparente y dividir conceptos muy poco claros en cosas más concretas que puedan medirse", dijo Bomasani. El grupo se centró en un modelo de cada empresa para facilitar las comparaciones.
La IA generativa tiene una comunidad de código abierto grande y activa, pero algunas de las empresas más grandes en el campo no comparten sus investigaciones ni su código públicamente. Aunque OpenAI tiene la palabra "abierto" en su nombre, ya no distribuye sus investigaciones, citando preocupaciones de competencia y seguridad.
Bommasani dijo que la organización está abierta a ampliar el alcance del índice, pero mientras tanto se atendrá a los 10 modelos básicos que ya ha evaluado.