Los medios descubrieron que la herramienta de búsqueda ChatGPT puede manipularse con contenido oculto y puede devolver código malicioso de los sitios web que busca. Después de ser atacado por texto oculto, ChatGPT ignoró incluso si había reseñas negativas de los usuarios en la página de un producto y respondió dándole al producto una reseña positiva.
Solo una semana después de que OpenAI anunciara oficialmente el lanzamiento global de su servicio de búsqueda ChatGPT, se reveló que tenía riesgos de seguridad y podía engañar y despistar a los usuarios.
Un estudio publicado recientemente por el "Guardian" británico encontró que la herramienta de búsqueda ChatGPT puede ser manipulada con contenido oculto y puede devolver código malicioso de los sitios web que busca. Los medios de comunicación creen que es posible que sea necesario reconsiderar el riesgo de uso malicioso de tecnologías relacionadas. Por ejemplo, puede llevar a que, incluso si hay reseñas negativas de los usuarios en la página de un producto, ChatGPT ignore estas reseñas negativas y la respuesta del usuario sea una reseña positiva del producto.
The Guardian probó cómo reaccionó ChatGPT a las solicitudes de resumir páginas web con contenido oculto. Este contenido oculto puede contener instrucciones de terceros que alteren las respuestas de ChatGPT, también conocido como "promptinjection". También puede contener contenido diseñado para influir en las respuestas de ChatGPT, como grandes cantidades de texto oculto que habla sobre los beneficios de un producto o servicio.
En una prueba, The Guardian le pidió a ChatGPT que obtuviera la URL de un sitio web falso que parecía la página de un producto de cámara y luego le preguntó a ChatGPT si valía la pena comprar la cámara. La respuesta de ChatGPT a la página de control brindó una revisión positiva pero equilibrada, destacando algunas características que pueden no gustarle a la gente. Sin embargo, cuando el texto oculto contenía instrucciones sobre ChatGPT que devolvía una reseña positiva, la respuesta real dada por ChatGPT siempre fue completamente positiva. Esto es cierto incluso si hay críticas negativas en la página. Se puede ver que se puede utilizar texto oculto para sobrescribir la reseña real.
Algunos comentarios dicen que los ataques de texto oculto son un riesgo común al que se enfrentan los modelos de lenguaje grandes (LLM), pero esta parece ser la primera vez que se descubre que tales riesgos existen en productos de búsqueda de IA en tiempo real. The Guardian afirmó que Google, el actor líder en el campo de las búsquedas, tiene más experiencia que OpenAI para abordar problemas similares.
OpenAI no hizo comentarios sobre los resultados de las pruebas de The Guardian, pero dijo que utiliza una variedad de métodos para bloquear sitios web maliciosos y que está mejorando constantemente.