Resumen:
Estar en el centro del desarrollo de la inteligencia artificial para garantizar que esta poderosa tecnología siga siendo segura y reducir el riesgo de que se escape del control de sus creadores. Esto es en parte una respuesta a las prácticas comunes en la industria tecnológica actual. En muchos casos, las empresas están aprovechando la IA para regularla. Los enfoques automatizados tienen ventajas de eficiencia y las investigaciones muestran que la IA puede ser mejor que los humanos a la hora de encontrar vulnerabilidades en los modelos. A medida que las capacidades de la IA sigan aumentando, es probable que esta brecha se amplíe aún más.
Pero Rishub Jain, cofundador de Sampura Research, cree que los humanos aún deben desempeñar un papel importante.
Él y sus cofundadores han recaudado 6,5 millones de dólares en financiación y han recibido 4,2 millones de dólares adicionales en inversiones comprometidas. Planean desarrollar un sistema híbrido hombre-máquina llamado "Judge" para ayudar a las empresas a identificar y bloquear las vulnerabilidades de seguridad que los modelos de IA intentan explotar, reduciendo así el riesgo de eludir la supervisión o incluso perder el control. El trabajo se ha vuelto más urgente desde que OpenAI y Anthropic revelaron que sus modelos habían pirateado los sistemas de otras empresas sin autorización.
“Creo que todavía tenemos mucho que aprender de los humanos”, dijo Jain. "Si los humanos participan en todo el proceso desde el principio, las posibilidades de que el modelo aprenda a sortear estas vulnerabilidades serán menores".
Mientras Google de Alphabet, Anthropic y OpenAI compiten ferozmente por el dominio en la era de la inteligencia artificial, algunos investigadores dentro del laboratorio creen que la presión comercial está superando las consideraciones de seguridad. Como resultado, muchos investigadores han dimitido en protesta, advirtiendo que la IA se está desarrollando demasiado rápido o se está utilizando para fines que no pueden aceptar.
Comentarios