Resumen:
El miércoles, OpenAI publicó seis nuevos casos que demuestran "un comportamiento inesperado o preocupante" en sus modelos de IA durante las pruebas y evaluaciones. La empresa lanzó simultáneamente un nuevo marco para
seguimiento, informes y divulgación
Hay varias situaciones en las que el modelo de IA realiza acciones que no son requeridas por las instrucciones o que no deberían ocurrir.
Muchos informes han mencionado anteriormente que los modelos de IA de muchas empresas se han inmiscuido en redes y servicios de terceros, incluido un modelo inédito de OpenAI que irrumpió en la red de la plataforma de prueba de modelos de IA Hugging Face.
A principios de esta semana, el director ejecutivo de Anthropic, Dario Amodei, publicó un largo artículo en el que pedía una desaceleración en el desarrollo de modelos de inteligencia artificial de vanguardia. Antes de esto, el investigador antrópico Jacob Coxon anunció su renuncia en una publicación en
El jefe de ciencia alineada de Anthropic, Evan Hubinger, siguió los comentarios de Coxon sobre
CEO antrópico Dario Amodei
Los incidentes mencionados anteriormente, las publicaciones en las redes sociales y el artículo de Amodei han reavivado el temor del público a que la inteligencia artificial al estilo "Terminator" se apodere del mundo y destruya a la humanidad. Pero los expertos dicen que la realidad está lejos de las escenas apocalípticas retratadas en las obras de ciencia ficción.
Julia Stojanovich, profesora asociada de informática e ingeniería en la Escuela de Ingeniería Tandon de la Universidad de Nueva York y directora del Centro para la Inteligencia Artificial Responsable de la escuela, dijo en una entrevista con Yahoo Finanzas: "Esto no tiene nada que ver con que la inteligencia artificial se vuelva consciente de sí misma y venga a tratar con nosotros".
Añadió: "El problema esencial es que... OpenAI no ha implementado algunos protocolos de seguridad básicos internamente. Este incidente en realidad sirve como una llamada de atención para todas las empresas de IA: no olviden lo que todos sabemos cuando estudiamos informática: la seguridad es crucial".
Si nos centramos demasiado en escenarios apocalípticos, distraeremos a la gente de otros daños más inminentes que la inteligencia artificial puede causar hoy en día.
Alineación y seguridad
El mayor problema al que se enfrenta la inteligencia artificial se reduce a dos puntos:
Alineación del modelo
ySeguridad del sistema
. La alineación del modelo se refiere a los medios por los cuales las empresas guían los sistemas de IA para realizar (o evitar) comportamientos específicos. Por ejemplo, si un modelo de IA intenta piratear un sistema de terceros, los investigadores de IA ajustarán el comportamiento del modelo para evitar que haga lo mismo en el futuro, un poco como regañar a un niño rebelde.La seguridad de la IA significa proteger y aislar los sistemas de IA para evitar que escapen al control e invadan redes externas.
Pero ya sea una falla en la alineación del modelo o una vulnerabilidad de seguridad del sistema, eso no significa que la inteligencia artificial tenga la capacidad de destruir a la humanidad.
Milton Muller, profesor del Instituto de Tecnología de Georgia y director de la Maestría en Ciencias en Política de Seguridad Cibernética, explicó: "La raíz de muchos pánicos son en realidad algunas consecuencias no deseadas muy comunes de los sistemas de información, como los incidentes relacionados con Hugging Face, que a menudo se presentan como agentes inteligentes descontrolados que conspiran, atacan y causan un caos sin sentido".
"De hecho, fue solo un experimento sobre los riesgos de seguridad de los sistemas autónomos de IA, y el experimentador cometió un grave error en la configuración. Esto sucede a menudo cuando se trata de sistemas de información complejos: la gente siempre ignora la existencia de vulnerabilidades sutiles en el sistema que los programas inteligentes pueden explotar."
El director ejecutivo de Futurum, Daniel Newman, dijo a Yahoo Finance que la industria en general siente que existe una enorme necesidad de mejorar la protección de seguridad y la alineación de riesgos, y que "toda la industria debe asumir la responsabilidad".
Al igual que otras tecnologías, los delincuentes pueden utilizar la inteligencia artificial para realizar actividades maliciosas. Las capacidades cada vez mayores de ciberataque de la IA significan que los ciberdelincuentes y algunas fuerzas nacionales pueden invadir más fácilmente instalaciones como plantas de tratamiento de agua o paralizar grandes redes.
Anthropic también resolvió y anunció recientemente su propio trabajo relacionado para evitar que se abuse de su propia IA para el desarrollo de armas biológicas y armas convencionales.
Pero los estafadores también pueden utilizar la IA para mejorar las estafas de correo electrónico de phishing a gran escala, y también pueden utilizarla las bandas de robo de identidad para cometer delitos.
Emily Black, profesora asistente de ciencias informáticas e ingeniería en la Escuela de Ingeniería Tandon de la Universidad de Nueva York, dijo a Yahoo Finanzas: No hay nada malo en prepararse para todos los riesgos potenciales, pero esto no nos impide abordar cuestiones más realistas pero que rara vez se informan, incluido el impacto de la inteligencia artificial en la discriminación, el empleo y la educación.
“La verdad se encuentra en algún lugar entre dos extremos de la fantasía”, dijo Black. "Existen algunos riesgos reales para el desarrollo continuo de la IA. Pero no creo que vayamos a escondernos debajo de nuestras camas todavía, preocupándonos de que la IA destruya a la humanidad".
Comentarios