Los servicios de IA generativa se pueden utilizar para generar fragmentos de texto genéricos, imágenes increíbles e incluso scripts de código en varios lenguajes de programación. Sin embargo, cuando el LLM se utiliza para producir informes cuestionables o sin sentido, los resultados pueden ser perjudiciales en gran medida para el desarrollo del proyecto.

Daniel Stenberg, el autor original y desarrollador principal del software curl, escribió recientemente sobre el impacto problemático del LLM y los modelos de inteligencia artificial en el proyecto. El programador sueco señaló que el equipo tiene un programa de recompensas por errores que ofrece recompensas en dinero real a los piratas informáticos que encuentren problemas de seguridad, pero que los informes superficiales creados a través de servicios de inteligencia artificial se están convirtiendo en un problema real.

El programa de recompensas por errores de Curl ha pagado 70.000 dólares en recompensas hasta ahora, dijo Stenberg. El programador recibió un total de 415 informes de vulnerabilidad, 77 de los cuales eran informes "informativos" y finalmente se confirmó que 64 eran problemas de seguridad. Un número significativo de problemas reportados (66%) no fueron problemas de seguridad ni vulnerabilidades comunes.

Los modelos de IA generativa se utilizan cada vez más (o se propone su uso) como una forma de automatizar tareas de programación complejas, pero LLM es conocido por su "ilusión" y su notable capacidad para ofrecer resultados sin sentido mientras suena absolutamente seguro en su resultado. En palabras del propio Sternberg, los informes basados ​​en IA lucen mejor y parecen tener sentido, pero “mejor basura” sigue siendo basura.

Los programadores tendrían que dedicar más tiempo y esfuerzo al informe antes de desactivarlo, dijo Sternberg. La basura generada por IA no ayuda en absoluto al proyecto, ya que quita tiempo y energía a los desarrolladores del trabajo productivo. El equipo de curl necesita investigar adecuadamente cada informe, y los modelos de inteligencia artificial pueden reducir exponencialmente el tiempo necesario para escribir informes de errores que tal vez ni siquiera existan.

Sternberg citó dos informes falsos que probablemente fueron creados por inteligencia artificial. El primer informe pretende describir una vulnerabilidad de seguridad real (CVE-2023-38545) que ni siquiera ha sido revelada todavía pero que está llena de "alucinaciones clásicas al estilo de la IA". Sternberg dijo que hechos y detalles de viejos problemas de seguridad se mezclaron para crear algo nuevo que "no tenía conexión" con la realidad.

Otro informe presentado recientemente en HackerOne describe una posible vulnerabilidad de desbordamiento del búfer en el manejo de WebSocket. Sternberg intentó plantear algunas preguntas sobre el informe, pero finalmente concluyó que el error no era real y que probablemente estaba hablando con un modelo de IA en lugar de con una persona real.

El programador dijo que la inteligencia artificial puede hacer "muchas cosas buenas", pero también puede usarse para hacer cosas incorrectas. En teoría, los modelos LLM se pueden entrenar para informar problemas de seguridad de manera productiva, pero aún necesitamos encontrar "buenos ejemplos" de esto. Sternberg dijo que con el tiempo, los informes generados por IA se volverán más comunes, por lo que los equipos deben aprender cómo activar mejor las señales "generadas por IA" y descartar rápidamente esos informes falsos.