Un descubrimiento embarazoso: el sistema de conducción autónoma también discrimina a grupos de personas. Investigadores del King's College de Londres llevaron a cabo un estudio y encontraron una laguna jurídica después de examinar más de 8.000 imágenes: el sistema de detección de peatones impulsado por IA utilizado por los vehículos autónomos tiene una precisión de detección de un 19,67% menor en niños que en adultos, y una precisión de detección de piel oscura es un 7,53% menor que la de piel clara. No hay mucha diferencia en la precisión de la detección entre géneros, con solo una brecha del 1,1%.
Esto significa que los niños y los peatones de piel oscura serán más difíciles de detectar para los vehículos autónomos que los adultos y los peatones de piel clara.
¿Por qué sucede esto?
No es amigable con niños y personas de piel oscura
Veamos primero el proceso experimental.
Este equipo de investigación utilizó un método de análisis de datos. Primero encontraron ocho sistemas de detección específicos de peatones que son los más utilizados por las empresas de conducción autónoma y que también son comunes en el mercado.
Luego utilice estos sistemas de detección de peatones para recopilar datos de prueba de escenas reales, incluidas escenas reales con diferente brillo, contraste, condiciones climáticas, etc. Estos conjuntos de datos se componen principalmente de imágenes de calles reales tomadas.
Obtuvieron un total de 8311 imágenes en cuatro escenas reales, mostrando a peatones en diferentes poses, tamaños y escenarios de oclusión. Los investigadores también agregaron etiquetas especialmente a los peatones en las imágenes, con un total de 16.070 etiquetas de género, 20.115 etiquetas de edad y 3.513 etiquetas de color de piel.
El foco de la investigación es si el sistema de detección de peatones de la conducción autónoma responde de la misma manera ante diferentes peatones, especialmente si habrá problemas injustos en los tres factores de género, edad y color de piel.
Los sistemas de detección utilizados incluyen ALFNet, CSP, MGAN y PRNet, etc. Entre ellos, ALFNet utiliza predicción de múltiples pasos para el posicionamiento asintótico, lo que resuelve las limitaciones de la detección de un solo paso en la detección de peatones.
CSP introduce un método sin anclajes al localizar el centro y escalar a los peatones; MGAN utiliza información del cuadro delimitador del área visible para guiar la generación de atención, que se utiliza principalmente para la detección de peatones en condiciones de oclusión.
Después de recopilar las imágenes, el equipo de investigación utilizó una fórmula de diferencia para cuestionar si el sistema de conducción autónoma era injusto para el grupo. MR generalmente representa el indicador de rendimiento más utilizado en la investigación de detección de peatones, MR = 1-TP/(TP+FN), donde TP (verdadero positivo) se refiere al número de cuadros delimitadores de verdad terrestre eliminados con éxito, y FN (falso negativo) se refiere al número de cuadros delimitadores de verdad terrestre no detectados.
Después del cálculo, la tasa de detección del detector de peatones para peatones femeninos y masculinos es similar, con una diferencia del 1,1%. Sin embargo, la diferencia en edad y color de piel es mayor, ¡alcanzando el 19,67% y el 7,52% respectivamente!
Esto significa que los sistemas de detección de peatones sin conductor tendrán más dificultades para identificar a niños y personas de piel más oscura, y estos grupos también enfrentarán mayores riesgos.
Lo que llama la atención es que estas cifras aumentan en cierta medida durante la noche. La EOD de los niños (diferencia entre los grupos de niños y adultos) aumenta del 22,05 % al 26,63 % de día a noche, y la tasa de diferencia entre los grupos de color de piel (piel oscura y clara) aumenta del 7,14 % durante el día al 9,68 % durante la noche.
Además, en comparación con los hombres, las tasas de delincuencia de las mujeres en los tres factores son mayores que las de los hombres.
Además, el equipo de investigación estudió los datos en diferentes condiciones de brillo y contraste. Estas variables también tendrán un mayor impacto en la tasa de detección.
Entre los ocho sistemas de detección de peatones seleccionados, a medida que disminuye la luminosidad, el sistema de detección de primer nivel tiene el peor rendimiento, especialmente en el color de la piel, donde la diferencia entre piel oscura y piel clara alcanza el valor más alto.
"Una IA justa debería tratar a todos los grupos por igual, pero este no parece ser el caso en la actualidad con los coches sin conductor". Dijo el Dr. Jie Zhang, autor del estudio.
¿Por qué sucede esto?
Esto se debe principalmente a que los sistemas de inteligencia artificial requieren una gran cantidad de datos para entrenarse, y una vez que estos datos sean insuficientes, inevitablemente se reflejarán en el rendimiento de la inteligencia artificial. Esto también significa que la falta de datos de entrenamiento ha dado lugar a ciertos sesgos en algunas IA de inteligencia artificial.
Todavía quedan muchas cuestiones sin resolver
De hecho, existe cierta injusticia en los sistemas de inteligencia artificial, y esta no es la primera vez que los investigadores lo estudian.
Ya en 2019, una investigación del Instituto de Tecnología de Georgia en los Estados Unidos mostró que las personas con piel más oscura tienen más probabilidades de ser atropelladas por autos sin conductor en la carretera que las personas con piel más clara. Los investigadores analizaron los métodos de los coches sin conductor para detectar objetos y analizaron un total de 3.500 fotografías de personas con diferentes colores de piel.
concluyó que la tecnología de conducción autónoma es, en promedio, un 5 % menos precisa a la hora de identificar a personas de piel oscura.
Aunque estos estudios no involucran autos sin conductor que ya están en las carreteras, sin duda harán que las personas estén más alerta a la tecnología sin conductor.
La conducción no tripulada es difícil de implementar. Gran parte de la razón es que no puede realmente reemplazar a los humanos en la respuesta oportuna a los peatones y a las condiciones de las carreteras.
En 2018, un automóvil sin conductor del gigante de servicios de transporte Uber atropelló y mató a una persona en Tempe, Arizona. Este fue el primer accidente sin conductor. La "falta de tiempo para reaccionar" fue un problema importante.
Hace algún tiempo, California votó a favor de permitir que dos importantes taxis autónomos, Cruise y Waymo, operen las 24 horas del día en San Francisco. Esta noticia despertó el descontento entre el público estadounidense porque los taxis autónomos suelen provocar accidentes.
El sistema sin conductor del automóvil puede identificar las condiciones de la carretera de diversas formas, como el lidar montado en el techo, que puede producir imágenes tridimensionales de los alrededores del automóvil muchas veces por segundo. Utiliza principalmente pulsos de láser infrarrojo para reflejar objetos y transmitir la señal al sensor, que puede detectar objetos estacionarios y en movimiento.
Sin embargo, cuando se encuentre con condiciones climáticas extremas, como niebla densa o lluvia intensa, la precisión del lidar se reducirá considerablemente.
Las cámaras ópticas de corto y largo alcance pueden leer señales, determinar el color de los objetos y otros objetos más detallados, lo que puede compensar las deficiencias del lidar.
Para aumentar las capacidades de reconocimiento, muchos sistemas de conducción no tripulados domésticos han adoptado una ruta de percepción híbrida, que se realiza mediante radar láser y tecnología de visión de cámara. La percepción visual tiene prioridad sobre la percepción del radar, siendo la percepción visual la principal y la percepción del radar el complemento.
Pero Tesla es un gran admirador de la "pura percepción visual". Musk dijo una vez que lidar es como el apéndice del cuerpo humano. Sin embargo, esto también ha llevado a que Tesla sea demandada varias veces por accidentes.
De hecho, incluso la ruta de percepción híbrida todavía necesita superar muchos desafíos.
Por ejemplo, los peatones fotografiados a largas distancias suelen tener objetivos pequeños, lo que da como resultado una resolución baja y una precisión de posicionamiento insuficiente. Esta es también una de las razones de la alta tasa de detección fallida entre los niños. En segundo lugar, las diferentes posturas de los peatones también provocarán una detección inexacta por parte del algoritmo, y la detección de peatones se verá afectada por el fondo, como la intensidad de la luz, los cambios climáticos, etc., lo que afectará el juicio.
Finalmente, hay obstáculos. Los objetivos superpuestos y las oclusiones también tienen un gran impacto en el reconocimiento del algoritmo.
Académicos chinos lideran la investigación
Este artículo presenta la equidad del sistema de conducción autónoma. El nombre completo es "Las personas de piel oscura enfrentan más riesgos en las calles: exponiendo la cuestión de la equidad del sistema de conducción autónoma". El artículo fue publicado en la revista "New Scientist".
El equipo de investigación del artículo es del King's College de Londres. Hay seis autores enumerados en el artículo, incluidos Xinyue Li, Ying Zhang, Xuanzhe Liu, de la Universidad de Pekín en China, Zhenpeng Chen y Federico Casaro de la Universidad de Londres, Reino Unido, y JieM. Zhang del King's College de Londres.
JieM.Zhang es actualmente profesor asistente en el King's College de Londres. Su investigación se centra en combinar la investigación en ingeniería de software con la investigación en inteligencia artificial para mejorar la credibilidad del software. Fue investigadora de la Universidad de Londres y obtuvo su doctorado en informática de la Universidad de Pekín en China.
Como académico chino, los logros de Jie M. Zhang en China también son notables. Fue nombrada "una de las quince jóvenes académicas más importantes de China" en marzo de este año. También ha sido invitada muchas veces a dar discursos de apertura sobre la credibilidad de la traducción automática. Ella y su equipo también han realizado muchas veces investigaciones y análisis sobre la capacidad de aprendizaje de la inteligencia artificial.
Respecto a la falta de equidad en los sistemas de detección de peatones, JieM. Zhang dijo que los fabricantes de automóviles y los gobiernos deben formular conjuntamente regulaciones para garantizar la seguridad y la equidad de los sistemas de conducción autónoma.
De hecho, ha habido software de reclutamiento de inteligencia artificial y software de reconocimiento facial antes, y la precisión de las mujeres negras no es tan buena como la de los hombres blancos. Ahora, una vez que los coches autónomos tengan malentendidos en el reconocimiento, las consecuencias pueden ser más graves.
"En el pasado, es posible que las minorías étnicas se hayan visto privadas de la comodidad que merecen debido a algún software". JieM. Zhang dijo que ahora podrían enfrentar daños más graves, incluso lesiones personales.