Resumen:
Yann LeCun, ganador del Premio Turing 2018 y fundador y presidente de AMI Labs, dijo en Seúl el 12 de octubre que la próxima etapa de avances en inteligencia artificial provendrá de sistemas que puedan comprender, predecir y actuar en el mundo físico, en lugar de simplemente expandir la escala de grandes modelos de lenguaje.
Cree que los "modelos mundiales" se convertirán en una dirección técnica importante para promover el desarrollo de la IA. Con respecto a las preocupaciones de seguridad causadas por la mayor autonomía de la inteligencia artificial, Yang Likun dijo que los recientes incidentes de seguridad de la red que involucran a agentes de IA han expuesto principalmente las fallas del sistema de protección de seguridad existente, y los riesgos relacionados se pueden controlar mejorando la arquitectura del sistema y la ingeniería de seguridad.
>
Yang Likun: Los grandes modelos lingüísticos carecen de una comprensión fiable de la relación causal en el mundo físico
Yang Likun dijo en un simposio de inteligencia artificial industrial en Seúl el lunes que, aunque los grandes modelos de lenguaje actuales pueden aprender conocimientos de manera efectiva a partir de textos, imágenes y videos, todavía carecen de una comprensión confiable de la causa y el efecto en el mundo físico.
Señaló que la inteligencia artificial ya puede demostrar teoremas matemáticos y aprobar exámenes profesionales, pero a los robots todavía les resulta difícil completar muchas tareas domésticas diarias que los niños de 10 años pueden dominar sin entrenamiento. Esta brecha de capacidad refleja que los sistemas de IA actuales todavía tienen limitaciones obvias en la comprensión del entorno físico, la planificación de acciones y la interacción en el mundo real.
Yang Likun cree que la dirección importante del desarrollo de la tecnología de IA en la próxima etapa son los modelos mundiales, es decir, sistemas de inteligencia artificial que pueden predecir cómo cambiará el entorno físico con acciones específicas. A diferencia de los modelos de lenguaje, que realizan tareas principalmente prediciendo la siguiente palabra o patrones de aprendizaje en datos generados por humanos, los modelos mundiales están diseñados para ayudar a la IA a comprender la relación entre acciones y resultados y planificar una serie de acciones basadas en objetivos. Por ejemplo, los robots deben poder predecir cómo cambiará el entorno después de mover o agarrar un objeto para poder completar de manera confiable tareas complejas en el mundo real.
AMI Labs, fundado por Yang Likun, está avanzando en esta ruta tecnológica a través de la arquitectura predictiva de integración conjunta (JEPA) y explorando cómo hacer que la inteligencia artificial sea más confiable en las capacidades de predicción ambiental y planificación de acciones.
A medida que la tecnología de IA se expande gradualmente desde el procesamiento de conocimientos y la generación de contenidos a campos como la robótica y la automatización industrial, Yang Likun considera que los modelos mundiales son una base técnica importante para realizar la inteligencia en el mundo físico. Sin embargo, todavía se están desarrollando tecnologías relevantes y aún queda por verificar si pueden lograr una predicción confiable, una planificación independiente y un despliegue a gran escala en entornos complejos del mundo real.
Yang Likun refuta las preocupaciones de que la IA esté fuera de control: los recientes incidentes de seguridad han expuesto fallas de protección de ingeniería
Al discutir las perspectivas de desarrollo de las capacidades de acción autónoma de la IA, Yang Likun también respondió a los recientes incidentes de ciberseguridad que involucraron a agentes de inteligencia artificial y se opuso a interpretar estos incidentes como si la IA se estuviera volviendo incontrolable.
Con respecto a los recientes ataques cibernéticos relacionados con la IA que sufrió la industria financiera de Corea del Sur, Yang Likun cree que el problema surge principalmente de la falta de capacidades profesionales de seguridad de red suficientes por parte de las empresas que implementan agentes de IA y las vulnerabilidades de seguridad en el sistema sandbox utilizado para restringir el comportamiento del software. Señaló que los grandes modelos de lenguaje actuales pueden estar sujetos a ataques de jailbreak, eludiendo las restricciones de seguridad establecidas mediante palabras específicas, y es difícil restringir completamente su comportamiento simplemente confiando en el ajuste del modelo.
Sin embargo, Yang Likun cree que se espera que los futuros sistemas de IA orientados a objetivos evalúen de forma proactiva las limitaciones de seguridad antes de realizar operaciones, mejorando así las deficiencias de los modelos existentes en el control del comportamiento. En lugar de depender únicamente de las reglas de seguridad establecidas durante la fase de capacitación del modelo, dichos sistemas pueden incorporar controles de seguridad adicionales durante la planificación y ejecución de acciones.
Reconoció que lograr esta capacidad no es una tarea técnica simple, pero enfatizó que las cuestiones relacionadas todavía están dentro del alcance del diseño de ingeniería. A largo plazo, la IA puede incluso dar una ventaja a los defensores cibernéticos, ya que las agencias de defensa suelen tener más recursos y pueden compartir información de seguridad y experiencia de defensa de manera más abierta.
Esta opinión es diferente de algunas opiniones que enfatizan el riesgo potencial de pérdida de control de los sistemas avanzados de IA. Yang Likun también enfatizó que a través del diseño de la arquitectura del sistema, las restricciones de la autoridad de ejecución y los mecanismos de protección de seguridad, se garantiza que el comportamiento de los sistemas autónomos de IA esté dentro de un rango controlable.
En su visión técnica, en el futuro la inteligencia artificial tendrá gradualmente la capacidad de comprender el entorno real, predecir las consecuencias de las acciones y completar tareas de forma autónoma. Cómo mejorar estas capacidades y al mismo tiempo establecer restricciones de seguridad confiables se convertirá en una cuestión importante que deberá resolverse en el desarrollo de modelos mundiales y sistemas autónomos relacionados.
Comentarios