Las preocupaciones sobre la inteligencia artificial a menudo giran en torno a cuestiones como la desinformación o la posibilidad de que la tecnología escape al control humano. Sin embargo, podría decirse que la preocupación más real hoy en día es cómo los gobiernos están aprovechando la IA y su comprensión institucional (o la falta de ella) de sus deficiencias. El gobierno del Reino Unido, por ejemplo, parece haber adoptado la tecnología a un ritmo que podría considerarse apresurado y potencialmente inseguro.
Según The Guardian, múltiples agencias del gobierno británico han comenzado a utilizar la inteligencia artificial para impactar significativamente la vida diaria de la gente común. La tecnología ahora desempeña un papel en una variedad de procedimientos, desde arrestos y licencias de matrimonio hasta pagos de asistencia social.
Incluso antes de que la inteligencia artificial se convirtiera en una tendencia ampliamente discutida, el uso de sistemas de reconocimiento facial por parte de la policía ha sido controvertido. Los críticos han advertido durante mucho tiempo sobre sus posibles imprecisiones, especialmente cuando se analizan sujetos de piel más oscura. Esta inexactitud ha dado lugar incluso a detenciones injustas en el pasado. A pesar de ser consciente de estas carencias, la Policía Metropolitana de Londres sigue utilizando el reconocimiento facial y realizando modificaciones que podrían perjudicar la tecnología.
El Laboratorio Nacional de Física del Reino Unido dijo que el sistema generalmente mantiene bajas tasas de error en la configuración predeterminada. Sin embargo, si la Policía Metropolitana redujera su sensibilidad para identificar a los sospechosos más rápidamente, se producirían más falsas alarmas. Como resultado, el sistema se vuelve menos preciso para los negros, siendo cinco veces menos preciso que para los blancos.
Además, las herramientas basadas en inteligencia artificial utilizadas por los gobiernos para aprobar beneficios y licencias de matrimonio han mostrado una tendencia a discriminar a los solicitantes de ciertos países. Un parlamentario destacó los numerosos casos en los últimos años en los que los beneficios se han suspendido inexplicablemente, dejando a las personas al borde del desalojo y la pobreza extrema. El problema subyacente que se sospecha es el sistema del Departamento de Trabajo y Pensiones (DWP) para detectar el fraude en las prestaciones, que se basa en parte en inteligencia artificial.
Incluso sin pruebas sustanciales de fraude, la herramienta marcó desproporcionadamente a los nacionales búlgaros. El DWP insiste en que el sistema no tiene en cuenta la nacionalidad. Sin embargo, admiten no comprender completamente el funcionamiento interno de la IA, comprender que los sistemas tienen una capacidad limitada para controlar los sesgos y preocuparse de que los malos actores puedan manipular el sistema.
Del mismo modo, el Ministerio del Interior se enfrenta al desafío de una herramienta impulsada por inteligencia artificial diseñada para identificar matrimonios falsos. Si bien el sistema simplificó el proceso de aprobación de la licencia de matrimonio, una revisión interna encontró una gran cantidad de falsos positivos, particularmente para solicitantes de Grecia, Albania, Bulgaria y Rumania.
Puede que haya otros descuidos en el despliegue de la IA por parte del gobierno, pero es difícil identificarlos sin datos transparentes de los departamentos pertinentes.
Los malentendidos sobre las limitaciones de la inteligencia artificial han provocado graves incidentes dentro de otras agencias gubernamentales y legales. A principios de este año, un abogado estadounidense intentó utilizar ChatGPT para citar casos presentados en un tribunal federal, solo para descubrir que todos habían sido inventados por el chatbot. Estos casos demuestran cada vez más que los riesgos reales de la IA pueden deberse más al mal uso humano que a la tecnología en sí.