Resumen:
Según el Financial Times, Anthropic está discutiendo con profesionales legales cómo utilizar agentes de inteligencia artificial para negociar en nombre de los usuarios y seguir reglas de negociación razonables mientras se esfuerza por lograr mejores condiciones de transacción. Dos personas familiarizadas con el pensamiento de Anthropic dijeron que la compañía está buscando asesoramiento de firmas de abogados sobre cómo los abogados pueden negociar resultados justos y al mismo tiempo salvaguardar los intereses de sus clientes. Anthropic se negó a hacer comentarios.
Antrópico
Anthropic es una de las principales empresas de IA que desarrolla agentes autónomos. Este tipo de agente inteligente puede realizar acciones de forma autónoma para completar tareas después de recibir instrucciones del usuario. Con la aplicación de la inteligencia personal, las empresas de inteligencia artificial están empezando a considerar permitirles comunicarse entre sí, negociar los precios de los productos en nombre de los usuarios, resolver disputas sobre el servicio al cliente e incluso luchar por mejores salarios.
Anthropic está trabajando en "normas de negociación" que los modelos deben seguir al negociar entre sí, según una persona familiarizada con el trabajo. A medida que los agentes se vuelvan más capaces, necesitarán representar a los usuarios y tratar con otros agentes con objetivos contradictorios.
La frecuencia con la que se debe consultar a los usuarios durante las negociaciones y el grado de vigilancia que deben tener sobre la IA al negociar con sus oponentes son cuestiones que Anthropic está sopesando. La compañía quiere que sus agentes mantengan el nivel necesario de escepticismo y al mismo tiempo eviten sospechas excesivas, dijeron las personas.
Anthropic también ha explorado una solución en la que los usuarios proporcionan documentos firmados que confirman las tareas aceptadas por el agente y las reglas que debe cumplir, dijo otra persona cercana a la empresa.
El Financial Times citó un estudio publicado por Anthropic en abril de este año que decía que el marco político y legal en torno a los modelos de IA que realizan transacciones en nombre de humanos aún no se ha establecido, y que tales escenarios de aplicación ya no están muy lejos, y que la sociedad necesita responder a los cambios relevantes lo antes posible.
Anthropic también anunció los resultados de una serie de experimentos este año, que permitieron al agente Claude negociar en torno a bienes y fondos reales.
En un experimento de septiembre, los empleados de Anthropic compraron y vendieron libros a través de un agente de IA. Los empleados primero proporcionan a sus propios agentes una lista de libros ordenados por preferencia y luego les permiten ingresar al lugar de negociación virtual para recomendar, negociar y cerrar acuerdos con los agentes de otras personas.
El experimento descubrió que los agentes a los que se les pidió que adoptaran una estrategia "dura y despiadada" tenían una ligera ventaja a la hora de esforzarse por obtener mejores resultados. Algunos de los agentes más cooperativos hicieron concesiones conscientes, incluida la aceptación de libros con clasificaciones de preferencia más bajas, para garantizar que cada agente que participaba en el experimento finalmente llevara a casa un libro para el usuario.
La academia también está estudiando las negociaciones entre las IA. Michelle Vaccaro, profesora asistente en la Escuela de Negocios de Harvard, ha llevado a cabo más de 180.000 negociaciones entre agentes de IA, que abarcan contratos de trabajo y negociaciones de contratos de arrendamiento.
El estudio encontró que algunas estrategias emergentes debilitarán la capacidad del agente de la otra parte para representar los intereses del usuario. Por ejemplo, en una negociación, un agente intentó inducir a la otra parte a revelar información privada mediante la "inyección de palabras clave".
También ha causado preocupación si una IA más fuerte ampliará aún más la brecha en las capacidades de negociación. Vaccaro dijo que un modelo de alta capacidad puede brindarles a las personas que de otro modo no tendrían el tiempo o los recursos para aprender habilidades de negociación o contratar a alguien para negociar para que adquieran capacidades de negociación profesionales. Pero si los agentes más fuertes son utilizados principalmente por aquellos con más recursos, también pueden reforzar las ventajas existentes y ampliar las desigualdades en el poder de negociación.
Comentarios