Un estudio del Laboratorio Lincoln del MIT muestra que, aunque las especificaciones formales son matemáticamente precisas, no siempre son interpretables por los humanos. Los participantes tuvieron dificultades para validar el comportamiento de la IA utilizando estas especificaciones, lo que sugiere una discrepancia entre las afirmaciones teóricas y la comprensión práctica. Los hallazgos resaltan la necesidad de evaluaciones más realistas de la explicabilidad de la IA.
Algunos investigadores creen que las normas formales son una forma que tienen los sistemas autónomos de "explicarse" a los humanos. Pero un nuevo estudio descubre que no lo entendemos.
A medida que los sistemas autónomos y la inteligencia artificial se vuelven más comunes en la vida diaria, están surgiendo nuevos métodos para ayudar a los humanos a comprobar si estos sistemas se comportan como se esperaba. Un enfoque se llama "especificación formal", que utiliza fórmulas matemáticas que pueden traducirse a expresiones del lenguaje natural. Algunos investigadores afirman que este enfoque se puede utilizar para iluminar las decisiones que tomará la IA de una manera interpretable por humanos.
Los investigadores del Laboratorio Lincoln del MIT querían probar esta afirmación de explicabilidad. Sus hallazgos mostraron todo lo contrario: las especificaciones formales parecían imposibles de interpretar por parte de los humanos. En el estudio del equipo, se pidió a los participantes que examinaran si los planes de un agente de IA tendrían éxito en un juego virtual. Cuando los participantes vieron una descripción formal del plan, menos de la mitad de las veces acertaron.
"Este resultado es una mala noticia para los investigadores que han estado afirmando que los métodos formales pueden proporcionar interpretabilidad de los sistemas". Hosea Siu, investigador del grupo de tecnología de inteligencia artificial del laboratorio, dijo: "Esto puede ser cierto en algún sentido limitado y abstracto, pero no para nada parecido a la verificación real del sistema". El artículo del grupo fue aceptado en la Conferencia Internacional 2023 sobre Robots y Sistemas Inteligentes celebrada a principios de este mes.
La importancia de la explicabilidad
La explicabilidad es importante porque permite a los humanos confiar en las máquinas cuando se utilizan en el mundo real. Si un robot o una IA pueden explicar su comportamiento, los humanos pueden decidir si es necesario ajustarlo o si se puede confiar en que tomará decisiones justas. Un sistema explicable también permite a los usuarios técnicos (no sólo a los desarrolladores) comprender y confiar en sus capacidades. Sin embargo, la explicabilidad ha sido durante mucho tiempo un problema difícil en los campos de la inteligencia artificial y la autonomía. El proceso de aprendizaje automático tiene lugar en una "caja negra", por lo que los desarrolladores de modelos a menudo no pueden explicar por qué o cómo el sistema toma una determinada decisión.
"Cuando los investigadores dicen 'nuestro sistema de aprendizaje automático es preciso', preguntamos 'qué tan preciso' y 'qué datos se utilizaron', y si esa información no se proporciona, rechazamos la afirmación. Cuando los investigadores dicen 'nuestro sistema de aprendizaje automático es interpretable', no estamos haciendo eso, y debemos comenzar a someter estas afirmaciones a un mayor escrutinio", dijo Siu.
Desafíos de los estándares de traducción
En experimentos, los investigadores intentaron determinar si las especificaciones formales podrían hacer que el comportamiento de un sistema fuera más explicable. Su atención se centra en la capacidad de las personas para utilizar estas especificaciones para verificar el sistema, es decir, para comprender si el sistema siempre cumple con los objetivos del usuario.
El uso de especificaciones formales para este propósito es esencialmente un subproducto de su propósito original. Las especificaciones formales son parte de un conjunto más amplio de métodos formales que utilizan expresiones lógicas como marco matemático para describir el comportamiento de un modelo. Debido a que los modelos se basan en flujos lógicos, los ingenieros pueden utilizar "verificadores de modelos" para probar matemáticamente hechos sobre el sistema, incluso cuándo es probable que el sistema realice una tarea y cuándo es poco probable que la realice. Ahora, los investigadores están intentando utilizar el mismo marco como herramienta de traducción en humanos.
"Los investigadores confunden el hecho de que las especificaciones formales tengan una semántica precisa que los humanos puedan interpretar. Eso no es lo mismo", dijo Siu. "Nos dimos cuenta de que casi no había control de si la gente realmente entendía el resultado".
En el experimento del equipo, se pidió a los participantes que verificaran un conjunto bastante simple de comportamientos con un robot que jugaba a capturar la bandera, respondiendo esencialmente: "Si el robot sigue exactamente estas reglas, ¿siempre gana?".
Los participantes incluyeron tanto expertos en métodos formales como no expertos. Obtuvieron la especificación formal de tres maneras: fórmulas lógicas "originales", traducciones a fórmulas más cercanas al lenguaje natural y formatos de árboles de decisión. En el campo de la inteligencia artificial, los árboles de decisión a menudo se consideran una forma comprensible para los humanos de demostrar la toma de decisiones por parte de una inteligencia artificial o un robot.
El resultado es que, en general, el rendimiento de la validación es bastante pobre, con una precisión de alrededor del 45% independientemente de la representación.
Exceso de confianza y malentendidos
Las personas con formación disciplinaria formal previa se desempeñaron sólo ligeramente mejor que los novatos. Sin embargo, los expertos tienen más confianza en sus respuestas, sean correctas o no. En general, las personas tienden a confiar demasiado en la exactitud de las especificaciones que se les presentan, lo que significa que ignoran el conjunto de reglas que permiten que el juego falle. Los investigadores dicen que este sesgo de confirmación es especialmente importante para la verificación del sistema porque es más probable que las personas pasen por alto los modos de falla.
"No creemos que este resultado signifique que debamos abandonar el uso de especificaciones formales para explicar el comportamiento del sistema a las personas. Pero sí creemos que es necesario trabajar más en el diseño de cómo se presentan estas especificaciones a las personas y los flujos de trabajo mediante los cuales las personas las utilizan", añadió Siu.
Al pensar en por qué los resultados experimentales fueron tan malos, Siu se dio cuenta de que incluso las personas que usaban los métodos formales no estaban capacitadas para verificar las especificaciones requeridas por el experimento. Además, es difícil pensar en todas las posibles consecuencias de un conjunto de reglas. Aun así, el conjunto de reglas que se mostró a los participantes fue breve, no más que un párrafo de texto, "mucho más corto que las reglas que encontrarías en cualquier sistema real", dijo Siu.
El equipo no pretende vincular sus hallazgos directamente con el desempeño humano en validaciones de robots del mundo real. Más bien, su objetivo es utilizar estos resultados como punto de partida para considerar lo que la comunidad lógica formal podría estar pasando por alto al hacer afirmaciones sobre la interpretabilidad y cómo dichas afirmaciones podrían manifestarse en el mundo real.
Impacto e investigación futuros
La investigación es parte de un proyecto más amplio en el que Siu y sus compañeros de equipo están trabajando para mejorar la relación entre robots y operadores humanos, particularmente operadores militares. El proceso de programación de robots suele excluir a los operadores. Con objetivos similares de mejorar la explicabilidad y la confianza, el proyecto intenta que los operadores enseñen tareas directamente a los robots de una manera similar a como se entrena a los humanos. Este proceso puede aumentar la confianza del operador en el robot y mejorar la adaptabilidad del robot.
En última instancia, esperan que los resultados de este estudio y su investigación en curso conduzcan a mejores aplicaciones de la autonomía a medida que se integra cada vez más en las vidas humanas y la toma de decisiones.
"Nuestros hallazgos demuestran la necesidad de una evaluación humana de ciertos sistemas y conceptos antes de hacer demasiadas afirmaciones sobre la autonomía y la utilidad de la IA para los humanos", añadió Siu.