Resumen:
Jacob Coxon anunció su renuncia a Anthropic en X. Dijo que ha estado involucrado en investigaciones previas a la capacitación en OpenAI y Anthropic durante los últimos tres años, pero cree que ninguna de las compañías está avanzando en el desarrollo de la IA de manera responsable. En cambio, están "yendo directamente a una superinteligencia automejorada" y poniendo en riesgo la seguridad humana.
Coxon dijo que los sistemas de IA que se están construyendo actualmente en estos laboratorios cerrados pronto tendrán capacidades "sobrehumanas", capaces de llevar a cabo ataques de piratería, cambiar el patrón de un determinado campo de la noche a la mañana y ganar poder y recursos en el mundo real. Señaló que los avances de la investigación relevante han seguido avanzando en múltiples direcciones y no muestran signos evidentes de desaceleración.
También mencionó que, a juzgar por las declaraciones públicas del CEO de OpenAI, Sam Altman, y del CEO de Anthropic, Dario Amodei, el mundo exterior puede pensar que ambas compañías están avanzando con cautela en el desarrollo de la IA, pero él cree que ese no es el caso. Coxon afirma que estos profesionales creen en privado que la IA "podría matarnos a todos para finales de siglo", y que esto no es una charla de marketing; También dijo que ejecutivos como Altman y Amodei ajustarán su retórica cuando se enfrenten a los medios para parecer más comedidos, pero en privado están profundamente preocupados por lo que se está creando.
En su opinión, las culturas internas de OpenAI y Anthropic también son diferentes. Coxon dijo que muchos empleados de OpenAI no son "profundamente conscientes de los riesgos a nivel de civilización involucrados"; En Anthropic, los riesgos relevantes son "muy claros para todos", pero la empresa todavía está atrapada en la carrera por ser la primera en desarrollar AGI. Coxon dijo que Anthropic creía que, dado que otros podrían no actuar de manera responsable, ella tenía que ganar la carrera primero.
Coxon cree que, en este contexto, muchas decisiones clave no deberían tomarse únicamente en Slack en empresas privadas. Se muestra cautelosamente optimista sobre una mayor coordinación entre los laboratorios de IA de Estados Unidos después de los recientes acontecimientos, pero cree que dicha cooperación será ineficaz una vez que se extienda a laboratorios fuera de Estados Unidos. Para ello, propuso que se podría considerar una prohibición temporal de las mejoras de capacidad del modelo.
Al final de la publicación, Jacob Coxon pidió a otros investigadores de laboratorio que piensen seriamente en los próximos cinco años, no para seguir evitando problemas, sino para impulsar el desarrollo de la IA en diferentes direcciones.
Comentarios