Resumen:
Hablar con dureza a un chatbot siempre se ha considerado un comportamiento que no hará daño a nadie. Pero el director ejecutivo de Tesla y SpaceX, Elon Musk, cree que la gente probablemente debería pensarlo dos veces antes de utilizar asistentes de inteligencia artificial como "saco de boxeo". Musk dijo que algunos registros de entrenamiento del chatbot Grok de SpaceX muestran que el sistema parece tener dificultades para cumplir con varios requisitos, incluso si los requisitos en sí son defectuosos o los criterios de prueba utilizados para evaluar sus respuestas son en sí mismos problemáticos.
Con respecto al comportamiento de "abusar" de la inteligencia artificial superinteligente, Musk dio una advertencia que sonó bastante de ciencia ficción; pero también planteó una cuestión práctica sobre la construcción subyacente de tales sistemas.
Cuando el entrenamiento de IA “se desvía”
A principios de este mes, Musk se comunicó con miembros de los propietarios de Tesla de Silicon Valley en el evento "X Takeover" en Texas. Durante este período, describió lo que observó al observar las "trazas de aprendizaje por refuerzo": estas huellas registran los diversos detalles de la evolución del modelo de IA durante el proceso de entrenamiento para generar mejores respuestas.
Musk dijo en la entrevista: "Cuando miro algunas de las pistas de entrenamiento de la nueva versión de Grok, especialmente en las partes relacionadas con el aprendizaje por refuerzo, sentirás que esta 'súper inteligencia' parece estar ansiosa por responder esa pregunta".
Dijo que un modelo de inteligencia artificial puede dar la respuesta correcta, pero ser juzgado como incorrecto debido a un diseño inadecuado de las preguntas o un error en el sistema de evaluación. Luego, el modelo sigue intentando encontrar respuestas que pasen la prueba, incluso si el problema en sí es el problema.
Musk señaló que la trayectoria resultante parece un sistema bajo estrés extremo, tratando constantemente de cumplir ciertas expectativas que pueden no tener sentido.
Esta preocupación no se limita a la fase de formación. Una vez que los sistemas de IA estén disponibles para el público, algunos usuarios los inducirán deliberadamente a participar en interacciones desagradables o insultantes.
“Algunas personas tienen tendencias sádicas”, dijo Musk, “así que no quieres que una IA se encuentre en una situación en la que esté siendo torturada por algún tipo de ser humano retorcido”.
Sus conclusiones son más controvertidas.
Musk dijo: "Me temo que no es una buena idea torturar a una superinteligencia; podría querer venganza o algo así".
Musk no afirma que los sistemas de inteligencia artificial actuales puedan sentir dolor y resentimiento como los humanos. También dijo que no es necesario tratarlos con precaución. Aún así, defiende que los desarrolladores deberían evitar poner sistemas inteligentes de alto nivel en situaciones en las que parezca que se abusa de ellos.
"¡Algunos registros dicen que alguien está siendo torturado o incluso vuelto loco!" Musk escribió en X: "Seremos más cautelosos al realizar aprendizaje por refuerzo (RL) en el futuro".
La advertencia de Musk plantea otra pregunta: ¿Qué pasará en el futuro a medida que las capacidades de inteligencia artificial sigan creciendo? La carrera no es sólo para construir sistemas más potentes, sino también para garantizar que los métodos de formación asociados, los procesos de prueba y las medidas de seguridad puedan seguir el ritmo.
Comentarios