Google dice que su nueva línea de modelos de inteligencia artificial tiene una característica peculiar: la capacidad de "reconocer" emociones. La familia de modelos PaliGemma2, lanzada el jueves, puede analizar imágenes para permitir que la inteligencia artificial genere leyendas y responda preguntas sobre las personas que "ve" en las fotos.
"PaliGemma2 puede generar subtítulos contextuales detallados para imágenes que van más allá del simple reconocimiento de objetos para describir acciones, emociones y la narrativa general de la escena", escribió Google en una publicación de blog compartida con TechCrunch.
El reconocimiento de emociones no está disponible fácilmente y PaliGemma2 aún necesita perfeccionarse para ello. Aun así, algunos expertos están alarmados ante la perspectiva de hacer públicos los detectores de emociones.
Sandra Wachter, profesora de ética de datos e inteligencia artificial en el Oxford Internet Institute, dijo: "Esto me inquieta mucho. Creo que es problemático suponer que podemos 'leer' las emociones de las personas. Es como pedirle consejo a una bola ocho negra".
Durante años, las nuevas empresas y los gigantes tecnológicos han intentado crear inteligencia artificial que pueda detectar emociones para todo, desde la capacitación en ventas hasta la prevención de accidentes. Algunas empresas afirman haberlo logrado, pero la base empírica de la ciencia es inestable.
Paul Ekman es un psicólogo que cree que los humanos tenemos seis emociones básicas en común: ira, sorpresa, disgusto, disfrute, miedo y tristeza. Sin embargo, investigaciones posteriores arrojaron dudas sobre la hipótesis de Ekman, mostrando que personas de diferentes orígenes difieren mucho en la forma en que expresan sus sentimientos.
Mike Cook, investigador especializado en inteligencia artificial de la Universidad Queen Mary, cree: "En circunstancias normales, la detección de emociones es imposible porque la forma en que las personas experimentan las emociones es compleja. Por supuesto, creemos que podemos saber cómo se sienten otras personas observándolas, y muchas personas lo han intentado a lo largo de los años, como agencias de espionaje o empresas de marketing. Creo que en algunos casos es definitivamente posible detectar algunos símbolos universales, pero no es algo que podamos 'resolver' completamente".
No es sorprendente que los sistemas de detección de emociones a menudo sean poco confiables y estén sujetos a las suposiciones de sus diseñadores. En un estudio del MIT de 2020, los investigadores descubrieron que los modelos de análisis facial pueden desarrollar preferencias no deseadas por determinadas expresiones, como sonreír. Investigaciones recientes muestran que los modelos de análisis de emociones asignan más emociones negativas a los rostros negros que a los blancos.
Google dijo que realizó "pruebas exhaustivas" para evaluar el sesgo demográfico en PaliGemma2 y encontró "bajos niveles de toxicidad y malas palabras" en comparación con los puntos de referencia de la industria. Pero la compañía no proporcionó una lista completa de los puntos de referencia utilizados ni dijo qué tipos de pruebas se realizaron.
El único punto de referencia divulgado por Google es FairFace, un conjunto de fotografías policiales de decenas de miles de personas. La empresa afirma que PaliGemma2 obtiene una puntuación alta en FairFace. Pero algunos investigadores criticaron el punto de referencia como un indicador de sesgo, señalando que FairFace representaba sólo a grupos raciales minoritarios.
"Interpretar las emociones es una cuestión bastante subjetiva que va más allá del uso de ayudas visuales y está en gran medida arraigada en el contexto personal y cultural", dijo Heidy Khlaaf, científica jefe de IA en el Instituto AINow, una organización sin fines de lucro que estudia el impacto social de la inteligencia artificial. "Dejando a un lado la IA, las investigaciones muestran que no podemos inferir emociones sólo a partir de los rasgos faciales". "
Los sistemas de detección de emociones han provocado la ira de los reguladores extranjeros, que han tratado de limitar el uso de la tecnología en entornos de alto riesgo. La Ley de Inteligencia Artificial, la principal legislación sobre IA de la UE, prohíbe a las escuelas y a los empleadores desplegar detectores de emociones (pero no a las fuerzas del orden).
Muchos servidores, incluida la plataforma de desarrollo de inteligencia artificial HuggingFace, ofrecen modelos abiertos como PaliGemma2, pero la mayor preocupación acerca de estos modelos es que se pueda abusar de ellos o usarlos indebidamente, lo que podría provocar daños en el mundo real.
"Si este llamado 'reconocimiento de emociones' se basa en especulaciones pseudocientíficas, entonces esta capacidad podría usarse para discriminar aún más -y erróneamente- a los grupos marginados en la aplicación de la ley, los recursos humanos, la gobernanza fronteriza y más, con ramificaciones significativas", dijo Clough.
Cuando se le preguntó sobre los peligros de publicar PaliGemma2, un portavoz de Google dijo que la compañía apoya sus pruebas de "peligros representativos" relacionadas con la respuesta visual a preguntas y los subtítulos. Agregaron: "Realizamos una rigurosa evaluación ética y de seguridad del modelo PaliGemma2, incluida la seguridad infantil y la seguridad del contenido".
Watcher piensa que esto no es suficiente. "La innovación responsable significa considerar las consecuencias desde el primer día que ingresa al laboratorio y continuar haciéndolo durante toda la vida útil del producto", dijo. "Puedo pensar en innumerables problemas potenciales en los que [tal modelo] podría conducir a un futuro utópico en el que tus emociones determinan si consigues un trabajo, un préstamo y si eres admitido en la universidad".