Desde la llegada de la IA generativa y los grandes modelos de lenguaje, algunos han advertido que el resultado generado por una IA puede, en última instancia, influir en el resultado generado por IA posteriores, creando un ciclo de retroalimentación peligroso. Ahora tenemos un caso documentado que resalta aún más los riesgos en el espacio tecnológico emergente.
Mientras intentaba ilustrar un chatbot de inteligencia artificial que alucinaba con información falsa, un investigador afectó sin darse cuenta la clasificación de los resultados de búsqueda, provocando que otro chatbot alucinara. Este incidente demuestra la necesidad de mayores salvaguardias a medida que los motores de búsqueda mejorados con IA se vuelven más populares.
El investigador en ciencias de la información Daniel S. Griffin publicó en su blog a principios de este año dos ejemplos de chatbots que proporcionan información incorrecta, en los que participa el influyente científico informático Claude E. Shannon. Griffin también incluyó un descargo de responsabilidad que decía que la información proporcionada por el chatbot era falsa para evitar que los buscadores automáticos indexaran la información, pero eso no fue suficiente.
Griffin finalmente descubrió que varios chatbots, incluidos Bing de Microsoft y Google Bard, confundían sus mensajes alucinatorios con mensajes reales y los clasificaban más arriba en los resultados de búsqueda. Cuando se les hicieron preguntas específicas sobre Shannon, los robots aprovecharon las advertencias de Griffin con una narrativa consistente pero falsa, atribuyéndole a Shannon un artículo que Shannon nunca escribió. Aún más preocupante es que los resultados de búsqueda de Bing y Bard no indicaron que su fuente fuera un LL.M.
Esta situación es similar a cuando las personas citan fuentes fuera de contexto o fuera de contexto, lo que lleva a una investigación errónea. El caso de Griffin demuestra el potencial de los modelos generativos de IA para corregir automáticamente tales errores a una escala aterradora.
Posteriormente, Microsoft corrigió el error en Bing, asumiendo que era más probable que el problema ocurriera al tratar temas con relativamente poco material escrito por humanos en línea. Otra razón por la que este precedente es peligroso es que proporciona un modelo teórico para que los malos actores exploten deliberadamente el LLM para difundir información errónea influyendo en los resultados de búsqueda. Se sabe que los piratas informáticos propagan malware modificando sitios web fraudulentos para obtener las primeras clasificaciones en los resultados de búsqueda.
La vulnerabilidad coincide con una advertencia en junio de que a medida que aparezca más contenido generado por LLM en la web, se utilizará para capacitar a futuros LLM. El circuito de retroalimentación resultante puede debilitar significativamente la calidad y credibilidad de los modelos de IA en un fenómeno conocido como "colapso de modelo".
Las empresas que utilizan IA deben garantizar que la capacitación continúe dando prioridad al contenido generado por humanos. Preservar información y materiales menos visibles producidos por grupos minoritarios puede ayudar a abordar este problema.