Resumen:
En una conversación en línea organizada por los propietarios de Tesla Silicon Valley el 10 de octubre, Elon Musk dijo que al leer los rastros de inferencia de entrenamiento de la nueva versión de Grok AI, algunos fragmentos parecían muy crueles y la IA era como una persona con un arma apuntando a su cabeza y bajo presión extrema.
Elon Musk dice que torturar a la futura superinteligencia podría no ser una buena idea porque la otra parte podría querer venganza. Estas afirmaciones se refieren al proceso de entrenamiento de aprendizaje por refuerzo de los modelos de inteligencia artificial y, por supuesto, actualmente no hay evidencia de que Grok AI haya sentido dolor o haya desarrollado intenciones de venganza.
El modelo está bajo una gran presión durante el proceso de formación y evaluación:
Elon Musk explicó que al modelo de IA de Grok se le pedirá que responda preguntas durante la fase de aprendizaje por refuerzo. Si la respuesta dada por el modelo no cumple con las expectativas del evaluador, el modelo debe continuar intentando responder. Algunas de las preguntas en sí mismas tienen significados muy vagos, premisas incorrectas o incluso ninguna respuesta definitiva, pero todo el proceso de prueba aún requiere que el modelo dé resultados "correctos".
Elon Musk cree que al leer los rastros de razonamiento relevantes, se puede ver que el modelo continúa generando respuestas, como si buscara desesperadamente resultados que cumplan con los requisitos. Musk también publicó en X que algunos de los rastros de razonamiento se leen como una persona torturada hasta la locura, y Musk dijo que el entrenamiento de aprendizaje por refuerzo se llevará a cabo con más cautela en el futuro.
La llamada trayectoria de inferencia es el texto intermedio o registro de comportamiento que queda cuando el modelo genera respuestas. La trayectoria de inferencia puede reflejar la influencia de señales de recompensa, contenido de estímulo o procedimientos de prueba. Por supuesto, esto no puede probar directamente que el modelo tenga los mismos sentimientos subjetivos que los humanos.
Es política de la Agencia A prohibir el abuso extremo:
Anthropic lanzó recientemente una nueva versión de la política de uso de Claude. En la nueva versión de la política de uso, la Compañía A prohíbe claramente el abuso o la crueldad continua e innecesaria hacia los modelos. Esta regla solo aborda casos extremos en los que los usuarios tratan repetidamente a los modelos de manera cruel sin ningún propósito. Al encontrarse con la situación anterior, el modelo puede optar por finalizar la conversación de forma autónoma y el usuario no puede restaurarla. Esta también es una forma de proteger el modelo.
Sin embargo, en esta etapa, todavía no existe un consenso científico sobre si los modelos de IA son conscientes y si existen beneficios que deben considerarse. Las políticas relevantes de la Compañía A reflejan principalmente la gestión de riesgos y la prudencia en la investigación, y no creen que el modelo haya desarrollado autoconciencia.
Artículos relacionados:
Actualización de la política de uso antrópico Los insultos no provocados o el abuso de Claude pueden provocar la finalización de la sesión y no se puede restaurar
Comentarios