Resumen:
El 4 de noviembre, Addy Osmani, ingeniero del equipo Claude Code de Anthropic y ex ejecutivo de tecnología de Google, publicó recientemente un extenso artículo en la plataforma social que llama a este fenómeno
"rendición cognitiva"
(Entrega Cognitiva).
Osmani ha trabajado en Google durante más de 14 años y ha sido responsable de la experiencia de los desarrolladores de Chrome y de los negocios relacionados con Google Cloud AI. Actualmente está trabajando en Claude Code en Anthropic.
Osmani dijo que es un firme partidario del flujo de trabajo de los agentes de IA y, a menudo, ejecuta varios agentes al mismo tiempo en su trabajo diario. Pero descubrió un cambio que merece vigilancia:
A medida que los modelos de IA continúan mejorando, hay cada vez menos errores obvios en los resultados, lo que dificulta que los humanos permanezcan alerta.
En el pasado, las personas generalmente necesitaban pasar por el proceso de recopilación de información, análisis, juicio, etc. para obtener la respuesta, pero ahora, este proceso puede comprimirse a unos pocos segundos. El contenido generado por IA suele estar bien estructurado, expresado con fluidez y correcto en la mayoría de los casos, lo que hace cada vez más fácil para los usuarios saltarse el pensamiento independiente y la verificación.
Dividió el estado del uso humano de la IA en tres niveles: el primero es
"descarga cognitiva"
(Descarga cognitiva), lo que significa que la tarea se entrega a la IA para que la complete, pero sigue siendo responsable de los resultados; el segundo es"posponer el juicio"
(Aplazamiento), es decir, el resultado de la IA ya no se considera una hipótesis que debe verificarse, sino que se utiliza directamente como base para el siguiente paso del trabajo; el último es"Entrega cognitiva"
,Es decir, el resultado de la IA se convierte gradualmente en el propio juicio del usuario, y el usuario ya ni siquiera piensa que es necesario verificarlo.
Entre ellos, el concepto de "rendición cognitiva" fue propuesto por primera vez por los investigadores de la Escuela Wharton Steven Shaw y Gideon Nave.
Osmani cree que
esta transformación a menudo no ocurre repentinamente, sino que se forma gradualmente en el proceso de uso continuo de la IA
.
Los usuarios pueden leer atentamente el primer informe de IA, echar solo un vistazo rápido al segundo e incluso comprobar el resumen del tercero. Con el tiempo, cuando se les pregunta sobre una conclusión específica, es posible que los usuarios se encuentren incapaces de explicar la lógica.Vincula este fenómeno con la "deuda cognitiva". En el campo del desarrollo de software, la IA puede generar una gran cantidad de código y todas las pruebas pueden pasar, pero la comprensión de los miembros del equipo sobre la arquitectura del sistema y la lógica de implementación disminuye constantemente. No fue hasta un día en que fue necesario modificar el sistema que los desarrolladores descubrieron que nadie entendía realmente cómo funcionaban ciertas funciones.
Sin embargo, Osmani no cree que los desarrolladores necesiten recordar todos los detalles de una enorme base de código. Señaló que el equipo de Claude Code también utilizará la IA para restablecer la comprensión de módulos de código específicos cuando sea necesario. Lo realmente importante no es saberlo todo todo el tiempo, sino saber lo que no sabes y tener la capacidad de volver a comprenderlo.
En cuanto a cómo evitar la "capitulación cognitiva", sugirió Osmani:
Antes de hacer preguntas complejas a la IA, los humanos deberían formar sus propias suposiciones preliminares en lugar de depender completamente de la IA para proporcionar respuestas.
Incluso si la suposición inicial no es precisa, puede ayudar a los usuarios a conservar una base para realizar un juicio independiente al recibir los resultados de la IA.También sugirió que
los usuarios deberían buscar activamente evidencia que pueda anular la conclusión de la IA, en lugar de simplemente preguntarle al modelo qué tan seguro está de su respuesta.
Para cuestiones controvertidas, diferentes modelos pueden presentar argumentos desde posiciones opuestas, y luego los humanos pueden emitir juicios integrales.En el campo del desarrollo de software, Osmani cree que el cuello de botella en la era de la IA está pasando de escribir código a verificar si el código es correcto.
Actualmente, los agentes de IA pueden escribir código de forma independiente, ejecutar pruebas, leer mensajes de error y modificarlos repetidamente hasta que pase la prueba. Pero el problema es que las pruebas en sí también pueden ser escritas por IA. Si la lógica y el código de la prueba tienen los mismos errores, incluso si todas las pruebas pasan, no puede probar que el software no tiene problemas.
Por lo tanto, enfatizó que los desarrolladores no solo deben prestar atención a si la prueba pasa, sino que también deben aclarar qué demuestra la prueba y qué riesgos no están cubiertos. Para los resultados entregados por la IA, los criterios de aceptación deben ser evidencia verificable, como resultados de pruebas reales, registros de operaciones, capturas de pantalla, etc., en lugar de un resumen aparentemente razonable generado por la IA.
Osmani también propuso que los desarrolladores deberían exigir que el Agente enumere claramente las decisiones que tomó de forma autónoma durante la ejecución de la tarea, los supuestos que adoptó y las condiciones que ignoró, porque estos contenidos generalmente no aparecen en el resumen final del trabajo.
A medida que la IA es capaz de realizar cada vez más tareas simultáneamente, comienza a surgir otro problema. Osmani lo llama
"impuesto de orquestación"
(Impuesto de Orquestación), es decir, la brecha entre la velocidad a la que la IA genera resultados y la velocidad a la que los humanos pueden revisarlos cuidadosamente y estar dispuestos a asumir la responsabilidad de ellos.Cuando los resultados del trabajo generados por la IA continúen acumulándose y los humanos ya no tengan tiempo suficiente para revisarlos, seguir aumentando la cantidad de Agentes no resolverá el problema. Él cree que en este caso, el equipo debería mejorar el mecanismo de verificación automática o reducir adecuadamente la velocidad de generación de tareas.
Osmani también advirtió que
el alto grado de automatización de la IA puede hacer que los humanos dejen gradualmente de practicar sus habilidades originales.
Recomienda que los desarrolladores intenten escribir código sin usar IA cada semana, revisar las habilidades que dejaron de practicar cada mes y juzgar qué habilidades aún vale la pena conservar.También citó la investigación de Anthropic sobre el uso de la IA por parte de ingenieros e investigadores internos, señalando que existe una "paradoja de la supervisión": supervisar a Claude requiere habilidades de programación, pero el uso excesivo de la IA puede degradar estas habilidades.
Osmani enfatizó que estas opiniones no significan que se deba reducir el uso de la IA. No hay ningún problema en tareas donde el costo del error es bajo y se entregan completamente a la IA, pero cuando se trata de inversiones, elecciones profesionales, seguridad de productos o decisiones importantes que afectan a otras personas, los humanos aún deben conservar derechos de juicio clave.
En su opinión, los futuros modelos de IA pueden ser mejores que los humanos para encontrar errores, pero esto no elimina la responsabilidad humana.
Decidir qué productos desarrollar, por qué vale la pena desarrollarlos, a quién afectarán y qué precio están dispuestos a pagar por ello todavía requiere decisiones humanas.
Concluyó al final del artículo: "
Puedes entregar el trabajo y la mayoría de las tareas de revisión a AI, pero no puedes entregarle la responsabilidad también.
”
Comentarios