Según el Wall Street Journal, la startup de IA Anthropic pidió a los principales laboratorios de IA del mundo que consideren reducir el ritmo de la investigación y el desarrollo con el argumento de que los sistemas de IA actuales están avanzando demasiado rápido y pronto podrán mejorarse sin intervención humana, lo que plantea importantes riesgos sociales. Anthropic dijo en una publicación de blog el jueves que si pudiera ralentizar el ritmo del desarrollo global de la IA, eso "probablemente sería algo bueno". El artículo también reveló datos internos de Anthropic, que muestran cuán rápido han mejorado las capacidades de sus modelos de IA más avanzados.
Este artículo fue escrito por el jefe de investigación y políticas internas de Anthropic. Dice,El desarrollo de modelos parece estar avanzando en la dirección de una "superación personal recursiva", donde los sistemas de IA pueden mejorarse a sí mismos sin intervención humana.Algunos en la industria de la IA ven este umbral como una señal de peligro potencial y de enorme malestar social.
"Creemos que sería bueno si el mundo pudiera optar por ralentizar o pausar temporalmente el desarrollo de la IA de vanguardia para permitir que la estructura social y la investigación de alineación sigan el ritmo de los avances tecnológicos", escriben los autores Marina Favaro y Jack Clark. El artículo propone un acuerdo global sobre cómo se podría frenar el desarrollo de la IA, así como un mecanismo de verificación para verificar si los competidores se adhieren al acuerdo.
El artículo advierte que la superación personal recursiva aún no se ha producido y no es inevitable, "pero puede llegar antes de lo que la mayoría de las organizaciones están preparadas".
El blog de Antrópico
Anthropic completó recientemente una ronda de financiación que valoró a la empresa en casi 1 billón de dólares y ha presentado documentos confidenciales para comenzar el proceso de cotización pública de sus acciones. La compañía se ha convertido recientemente en líder en la feroz competencia con OpenAI por la supremacía de la IA. También se espera que OpenAI presente pronto documentos relacionados con la IPO.
La compañía ha enfatizado la seguridad de la IA desde sus inicios, pero durante mucho tiempo ha sido criticada por el mundo exterior, creyendo que su propuesta de política es en realidad un intento de frenar el progreso de la investigación y el desarrollo de la IA de los competidores. David Sacks, un capitalista de riesgo y asesor informal del presidente Trump, ha acusado al liderazgo de Anthropic de perseguir una “agenda de captura regulatoria” que utiliza la regulación para reprimir a los competidores.
En un podcast reciente, Sacks dijo que esta "agenda de captura regulatoria" en Washington podría conducir en última instancia a una prohibición del llamado modelo de código abierto. Estos modelos suelen ser menos costosos y más fáciles de implementar y desarrollar para empresas e instituciones por sí solos.
Otros creen que las advertencias de Anthropic sobre el peligroso potencial de sus propias herramientas también podrían verse como una estrategia de marketing.Estos escépticos señalan la decisión de Anthropic de limitar el lanzamiento de su poderoso modelo de ciberseguridad "Mythos", que puede encontrar vulnerabilidades y problemas en el código, como una inteligente estrategia promocional para promocionar las capacidades de su producto.
En este sentido, la dirección de Anthropic afirmó que la empresa se toma en serio las cuestiones de seguridad de la IA y está comprometida a promover un mayor debate social sobre los riesgos relacionados.