Resumen:
El 28 de septiembre, según Bloomberg,
Nvidia lanzó un nuevo sistema de seguridad de IA de dos capas
. La compañía dijo que el incidente podría haberse evitado si el modelo de inteligencia artificial de OpenAI se hubiera implementado en el sistema cuando ocurrió la intrusión de Hugging Face.
Huang Renxun
Nvidia ha estado expandiendo rápidamente su línea de productos más allá de los chips y actualmente está lanzando dos herramientas de seguridad de software de código abierto que pueden ejecutarse en su hardware. Están diseñados para controlar en tiempo real a qué puede acceder un agente de IA y cerrarlo si infringe las reglas.
El nuevo sistema, llamado Open Agent Security Platform, tiene como objetivo proporcionar una forma de prevenir intrusiones sin ralentizar el desarrollo de la IA.
Justin Boitan, vicepresidente de IA empresarial de Nvidia, dijo en una reunión informativa con periodistas antes de anunciar el sistema el lunes que el ataque a Hugging Face podría haberse evitado si los principales laboratorios de IA hubieran utilizado la tecnología para evaluar sus modelos de IA desde el principio.
"Según la información que tenemos ahora, esta nueva plataforma de seguridad podría haber evitado esa intrusión", dijo. En la actualidad, el comportamiento inadecuado de los agentes autónomos de IA ha causado conmoción en la industria de la IA y ha llevado a algunos a pedir que se ralentice el proceso de desarrollo de la tecnología de IA.
Boitano no comentó si OpenAI o su competidor Anthropic planeaban usar este nuevo sistema para monitorear el proceso de capacitación del modelo, pero pidió a los periodistas que preguntaran a estas empresas.
Anteriormente, el director ejecutivo de Nvidia, Jensen Huang, ha estado minimizando el riesgo de que la IA pierda el control humano. En los últimos días, Huang ha descrito los problemas de seguridad de la IA como un desafío de ingeniería en lugar de una cuestión que requiere una mayor regulación o coordinación global. Se unió al presidente estadounidense Trump para refutar las afirmaciones de algunos desarrolladores de IA de que la tecnología podría conducir a la extinción humana, pero también destacó que la IA debe someterse a rigurosas pruebas de seguridad.
La solución de ingeniería de Huang Renxun para los problemas de seguridad de la IA consta de dos partes.
Primero, OpenShell es un producto de software que Nvidia presentó en su conferencia de tecnología exclusiva en marzo y se ejecuta en la unidad central de procesamiento Vera de Nvidia. Permite a los usuarios establecer reglas sobre el contenido al que pueden acceder los agentes de IA y hacer cumplir estas reglas en tiempo real. El software es de código abierto, lo que significa que se puede utilizar y adaptar libremente.Mientras tanto, Nvidia Sentry es un nuevo producto que puede ejecutarse en la unidad de procesamiento de datos BlueField de Nvidia. NVIDIA dijo que este producto está diseñado para proporcionar una capa adicional de mecanismo de monitoreo de IA para supervisar el comportamiento de los agentes de IA e intervenir y aislar a los agentes cuando se encuentre un comportamiento sospechoso.
Comentarios