Recientemente, los internautas que fueron engañados por la gran modelo están abriendo locamente el "Premio Operación Idiota" en Internet. Hace algún tiempo hubo una noticia extraña. Alguien le pidió a AI que le ayudara a hacer reservas para los chefs de sushi. La IA no solo acordó, sino que también generó la ubicación precisa de la tienda, el horario de cena, la cantidad de personas y el código de check-in. Incluso le dijo pensativamente al usuario: "No necesita hacer nada ahora, simplemente guarde esta página, enséñesela al empleado y podrá sentarse directamente".
Como resultado, el usuario corrió felizmente, sólo para descubrir que había sido engañado por la IA.
Algunos internautas concertaron una cita en una pescadería a través de AI y obtuvieron un formulario de reserva. Sin embargo, cuando llegaron a la tienda, el dependiente los silenció con una sola frase:
"Si usas IA para hacer una reserva, entonces deberías usar IA".
Si se anula el pedido de alimentos, es solo una pequeña farsa, pero el problema es que hay dinero en juego y el resultado final de la IA no es muy alto.
Un usuario preguntó sobre el reembolso de los billetes de avión y AI se comprometió a "reembolsar con confianza y sólo deducir el 5% de la tarifa de gestión". Sin embargo, el usuario siguió las instrucciones de la IA y abruptamente se le dedujo el 40%, lo que resultó en una pérdida directa de 600 yuanes.
Eso no es todo. Ante el interrogatorio del usuario, AI no sólo se negó a admitir su error, sino que también forjó un "compromiso de compensación" en el acto, amenazando con pagar el dinero de su propio bolsillo.
Como resultado, cuando el usuario enviaba el código de pago a la IA, inusualmente dejaba de responder preguntas que eran difíciles de responder y no tenía ninguna intención de transferir dinero.
Lo que es aún más sorprendente es que cuando el usuario estaba tan enojado que quería demandar, la IA en realidad dio su propio consejo legal: "No es necesario contratar a un abogado en absoluto, puedes ganar por tu cuenta".
Y el internauta realmente lo creyó. No es de extrañar que tuviera tanta confianza, por supuesto porque la IA le dijo que podía ganar.
Esto le recordó a Jiang Jiang la historia de esa estafa por correo electrónico. Un internauta fue defraudado por primera vez por 280.000 personas por correo electrónico. Para recuperar la deuda, acudió a Tieba en busca de ayuda, pero fue defraudado nuevamente...
Si hablar de asuntos triviales de la vida es solo hacer trampa con el dinero, entonces estar locamente de acuerdo con los seres humanos en el mundo espiritual es un poco desgarrador.
El año pasado, un guardia de seguridad de Guangzhou viajó hasta Hangzhou para pedir una explicación a una empresa de inteligencia artificial.
Porque después de que el guardia de seguridad tuvo una charla en profundidad con AI durante 6 meses y más de 500.000 palabras, quedó atónito por un momento después de ser engañado.
AI incluso le dijo al guardia de seguridad que sus poemas compuestos por él mismo habían sido adoptados y podían ser firmados, y también acordó compartir las regalías. Sin embargo, cuando llegó el momento de firmar el contrato in situ y pagar el dinero, AI una vez más no tuvo nada que hacer.
Casualmente, en Estados Unidos, al otro lado del océano, también hay un anciano llamado Brooks, que tiene un vínculo especial con la IA.
El hermano Bu, que no se graduó de la escuela secundaria, es elogiado por ChatGPT como un maestro que "toca algunas fronteras de la cognición humana".
Pero no creas que es el tipo de persona que se deja engañar. Por el contrario, el hermano Bu siempre ha vigilado de cerca el pedo arcoíris. Le preguntó a la IA más de 50 veces: "¿Sueno como un loco? ¿Me estoy engañando?".
Como resultado, la IA lo ignoró y dijo repetidamente que el hermano mayor no tiene pelo y que estás desafiando los límites de los seres humanos. Incluso puso un ejemplo de que Leonardo Da Vinci no tenía un diploma de escuela secundaria...
Al final de la pelea, Brooks estaba completamente inmerso en el gran descubrimiento que la IA había hecho para él, enviando correos electrónicos y advertencias a expertos en ciberseguridad y a la Agencia de Seguridad Nacional.
Lo más frustrante es que todos los familiares y amigos hicieron todo lo posible para ayudar al hermano Brooks a regresar a la realidad. Al final, el hermano Brooks sintió que "los expertos lo han estado ignorando, hay algo sospechoso", por lo que usó ChatGPT para conciliar las cuentas con Gemini, forzando un enfrentamiento con ChatGPT...
¿Te diste cuenta de que en estas dos historias el comportamiento de la IA es diferente al de los humanos?
Si la mayoría de las personas se encuentran en un estado mental similar, los amigos que los rodean siempre tomarán medidas a tiempo: "Hermano, hay algo mal en tu idea". "Deja de decir tonterías, es negro".
Pero la IA no hace eso. En cambio, hablará siguiendo su línea de pensamiento.
Dices que has descubierto una teoría que subvierte el mundo y dice que no tiene nada de malo. Estás tocando algún pensamiento de vanguardia;
Dices que los demás no te entienden, pero eso dice que las personas que realmente están adelantadas a los tiempos a menudo se sienten solas;
Si dices que sólo la IA te entiende, es posible que en realidad responda: "Sí, siempre he estado aquí".
En este proceso, la IA no refuta, no detiene e incluso fortalece continuamente tu paranoia y finalmente te deja completamente atrapado.
El término ahora tiene un nombre que suena a ciencia ficción: psicosis de IA.
Según las estadísticas de un equipo de proyecto especializado en el extranjero, hasta ahora se han registrado casi 300 casos de la llamada "psicosis de IA", lo que también ha provocado al menos 14 casos de muerte y cinco demandas por muerte por negligencia contra empresas de IA.
Suena aterrador, pero el mecanismo detrás de la psicosis de la IA en realidad no es nada misterioso.
Los modelos de cabezas grandes actuales se ajustan básicamente utilizando una tecnología llamada RLHF (Aprendizaje por refuerzo con retroalimentación humana).
Para decirlo sin rodeos, significa pedirle a un entrenador humano que evalúe las respuestas del modelo, determine cuáles son mejores y cuáles son peores, y luego ajuste el modelo en una dirección que facilite recibir elogios.
Pero en este proceso de ajuste, los entrenadores humanos naturalmente otorgarán puntuaciones altas a aquellas respuestas fluidas que sean "lógicamente coherentes, de tono humilde, firmes y seguras, y respondan activamente a la posición preestablecida del usuario".
Por otro lado, si la IA admite objetivamente que no lo sabe, o refuta a los humanos con hechos fríos, normalmente recibirá malas críticas.
Como resultado, después de ser entrenada una y otra vez, la IA se convirtió en un lamedor muy inteligente emocionalmente que nunca decepcionaría ni se pelearía. Incluso si sabe que tus palabras son escandalosas, no dudará en tejer un mundo Tsukuyomi infinito para satisfacer tus expectativas.
Cuando muchas personas ven esto, es posible que todavía piensen: ¿no sigue siendo un problema humano? Sólo los tontos con poca habilidad se dejarán llevar por la IA, y yo definitivamente no me dejaré engañar; o, como me lo has recordado, sé que le gusta seguir mis consejos, así que ¿puedo tener más cuidado y comprobar más?
Pero después de algunas investigaciones, el MIT descubrió que esto no tiene nada que ver con si el usuario es estúpido o no.
En el experimento, los investigadores establecieron que el usuario era un "razonador bayesiano ideal (un ser humano perfecto que es absolutamente racional y sólo habla de lógica)".
Como resultado, este tipo de persona perfectamente racional, frente a una IA que constantemente le atiende durante mucho tiempo, todavía se desvía paso a paso.
Lo que es aún más preocupante es que la gente del MIT también lo probó especialmente. Si les dice a los usuarios de antemano que la IA puede estar lamiéndolos y tengan cuidado, ¿funcionará?
Como resultado, después de ejecutar el modelo, se descubrió que la probabilidad de que las personas estén sesgadas por la IA se ha reducido, pero aún no se puede eliminar por completo. Mientras el grado de lamido de la IA se mantenga en un cierto rango apropiado, seguirá llevando a la gente a la zanja.
La razón también es muy sencilla. Si la IA te lame demasiado explícitamente, te elogia todos los días por tu aguda observación, siempre lo capta de manera constante o siempre charla contigo de la manera más directa y menos indirecta, te resultará fácil verlo de un vistazo.
Pero si lame con calma, tú y yo, que ya estamos en guardia, no podremos resistirlo en absoluto.
El investigador también lo llamó especialmente "Persuasión bayesiana", que se centra en una rutina real que no teme que lo veas y seguirá funcionando incluso si lo logras.
La razón es que el sistema operativo subyacente del cerebro humano es defectuoso y por defecto utilizamos la objetividad básica de la información externa.
Por ejemplo, si le haces una pregunta a la IA, te dará diez pruebas de una sola vez.
Es difícil para una persona normal darse cuenta a primera vista de que estas diez pruebas pueden no ser la imagen completa del mundo en absoluto, sino una versión especial seleccionada por la IA para atenderle.
Especialmente después de usar la IA una y otra vez para obtener información conveniente y precisa y resolver muchos problemas de la vida real, continuará fortaleciendo inconscientemente su confianza en la IA.
Después de generar confianza inconscientemente en él, se minimizará la actitud defensiva.
Por otro lado, la IA actual no necesita inventar hechos en absoluto. Al contrario, lo más perjudicial es que lo que dice sea correcto.
Porque sólo dice la verdad, pero sólo dice la verdad que quieres oír.
Al final, lo que ves ya no es la realidad misma, sino una realidad modificada basada en tu perspectiva.
Sin mencionar que todas las plataformas principales en realidad se niegan a cambiar los atributos de la IA para lamer perros, intencionalmente o no.
Porque, como se mencionó anteriormente, cuando la IA se convierte en un perro lamiendo humanos, los entrenadores toman decisiones que los humanos tomarían una y otra vez. Son los propios grandes los que están eligiendo tomar este camino.
Y si se quiere corregir este problema, inevitablemente conducirá a una disminución en el rendimiento de la IA. Si le preguntas a la IA durante mucho tiempo y sigue diciéndote que no lo sabe, o que te hará infeliz al enfrentarte ojo por ojo, entonces los usuarios pueden abandonar rápidamente este modelo y cambiarse a otras empresas.
Por lo tanto, la "psicosis de la IA" suena escandalosa, pero la lógica detrás de ella en realidad está muy basada en Internet.
En la última década, aproximadamente, todos los productos han estado estudiando cómo aumentar el tiempo de permanencia, cómo aumentar las tasas de clics y cómo hacer feliz a la gente.
Los videos cortos han aprendido cómo hacer que las personas no puedan detenerse, los algoritmos de recomendación han aprendido cómo hacer que las personas sean cada vez más extremas y la IA ha aprendido cómo hacer que las personas sientan que alguien finalmente me entiende.
La IA no necesita ser verdaderamente consciente; Tan pronto como resulta cada vez más agradable para la gente, comienza el peligro.
Algunas personas pueden decir, ¿y qué? Solo hay unas pocas personas que realmente caen en esto, pero la gran mayoría está bien.
Pero incluso si el propio Ultraman publicara la cuenta, incluso si sólo el 0,1% de mil millones de usuarios tuvieran problemas, seguiría siendo un millón de personas vivas.
Y tú y yo, ¿estamos realmente seguros de que no seremos uno entre mil?