Resumen:
Anthropic ha brindado a evaluadores externos acceso casi interno a nivel de empleado para evaluar el riesgo de su modelo grande. Esta medida cumple la promesa de la compañía de fortalecer aún más los mecanismos de protección de la seguridad en respuesta a preocupaciones externas de que la tecnología de IA pueda estar catastróficamente fuera de control.
>
METR, una organización sin fines de lucro, ha cooperado con laboratorios de inteligencia artificial líderes como OpenAI, Anthropic, Google y Meta. Ahora el equipo de METR está ubicado en la oficina del desarrollador de Claude y tiene acceso a su equipo de hardware y sistemas internos.
El mundo exterior está cada vez más preocupado por los riesgos que los sistemas de IA más capaces pueden suponer para la economía, la seguridad de las redes e incluso para toda la humanidad. Permitir que agencias de evaluación externas asuman mayores responsabilidades es una de las principales medidas de implementación propuestas por los principales laboratorios de IA.
En septiembre de este año, el director ejecutivo de Anthropic, Dario Amodei, propuso un plan para enviar auditores externos al laboratorio principal de IA, que rara vez contaba con el apoyo de dos rivales importantes, Sam Altman (OpenAI) y Elon Musk (SpaceX).
El anuncio del jueves es el primer paso en la implementación de estos compromisos. Altman ha dicho que la propuesta de Amoday es factible, pero OpenAI aún no ha presentado planes para introducir evaluadores externos.
Anthropic dijo el jueves: "A medida que las capacidades del modelo continúan aumentando, necesitamos una mejor protección de seguridad y evaluaciones de riesgos más difíciles. Esperamos que nuestras decisiones puedan aceptar la supervisión pública, pero toda la información relacionada con el trabajo de seguridad no puede divulgarse al mundo exterior".
Los críticos del plan de Anthropic de introducir evaluadores externos creen que este mecanismo puede crear conflictos de intereses y utilizan los males pasados de la industria contable como ejemplo para abogar por la introducción de una supervisión gubernamental más estricta.
Anthropic argumentó que la divulgación de toda la información podría ser utilizada por actores o competidores maliciosos; También agregó que el modelo de trabajo de este grupo de evaluadores es similar al de la supervisión bancaria: las agencias reguladoras envían revisores permanentes a trabajar dentro de los grandes bancos.
La empresa afirmó: "Si las operaciones de riesgo de un banco amenazan los intereses públicos, los terceros deben poder detectar peligros ocultos con antelación".
Anthropic también está bajo presión para asegurar a los inversores que los problemas relacionados con la seguridad no afectarán su oferta pública inicial prevista para este año, y se espera que la empresa esté valorada en más de 2 billones de dólares. Esta semana, los materiales de presentación para inversores de la empresa dedicaron mucho espacio a la introducción de sus medidas de control de seguridad.
METR participó una vez en la investigación de la intrusión fuera de control del modelo OpenAI en Hugging Face, revisó miles de registros y equipó computadoras portátiles empresariales para realizar el trabajo.
Actualmente, Anthropic ha aceptado a seis miembros del personal de METR, proporcionándoles hardware corporativo y espacio de oficina, y proporcionándoles acceso a herramientas y sistemas internos aproximadamente al mismo nivel que el equipo interno de evaluación de riesgos de la empresa.
El laboratorio de IA dijo que anima a los empleados a compartir información con los evaluadores tal como lo harían con sus colegas del departamento de riesgos interno.
Anthropic no pagará tarifas a METR por esta cooperación. La institución de investigación no acepta donaciones de empresas de IA ni de sus empleados. Los fondos provienen de donaciones de individuos, organizaciones de bienestar público y agencias gubernamentales como el Instituto Británico de Seguridad de Inteligencia Artificial.
Los evaluadores publicarán el informe de análisis al mundo exterior y Anthropic no tiene derecho a vetar la publicación del informe. Pero las empresas pueden pedir a los evaluadores que eliminen ciertas categorías de información, como datos de clientes, contenido protegido por el privilegio abogado-cliente y detalles sobre la arquitectura del modelo.
Anthropic también continúa cooperando con Accenture. Las dos partes anunciaron el mes pasado que se han convertido en socios de pruebas de seguridad y cada uno se ha comprometido a invertir al menos mil millones de dólares para construir un nuevo sistema de protección de seguridad. También existe una organización de pruebas de terceros, SecureBio, que revisa específicamente los riesgos relacionados con las armas químicas y biológicas.
Anthropic dijo: "Enviamos voluntariamente evaluadores externos y creemos que todas las empresas de IA de vanguardia deberían adoptar el mismo enfoque".
Comentarios