Resumen:
"Desde la perspectiva de la asignación global de recursos, es un acuerdo 'bastante terrible' permitir que todos almacenen la escasa DRAM en sus propias computadoras y la dejen inactiva la mayor parte del tiempo. La memoria debería concentrarse en los centros de datos en la nube".
Eso es todo.
En una entrevista con el canal de YouTube Cheeky Pint el jueves, el CEO de OpenAI, Sam Altman, bebió cerveza y habló en un ambiente relajado sobre el razonamiento local de los grandes modelos de IA y el problema extendido de la memoria insuficiente en las computadoras domésticas, que sin darse cuenta se convirtió en un éxito.
Sabemos que el aumento actual de los precios de la memoria provocado por la ola global de IA ha provocado que los precios de las PC y los teléfonos móviles se disparen, lo que ya es inasequible para los consumidores individuales. Al mismo tiempo, los principales fabricantes de memorias tardarán algún tiempo en ampliar su capacidad de producción. Si bien las empresas de inteligencia artificial de vanguardia están consumiendo la mayor parte de la memoria, han comenzado a discutir si la memoria de las computadoras personales se utiliza por completo.
Altman mencionó la hipótesis de que las personas podrían ejecutar inteligencia artificial local en sus propias computadoras, que pueden ser computadoras que ya poseen o que desean ensamblar debido al auge de la tecnología de modelos grandes de IA. Pensó que era una idea terrible.
“Desde una perspectiva de asignación de recursos global, en realidad es muy malo permitir que todos dejen inactiva la limitada memoria DRAM del mundo en sus propias computadoras con solo una tasa de uso del 5%.”
Dijo Ultraman. "Si quieres trabajar en este tipo de entorno donde el suministro de recursos es extremadamente limitado, entonces debes maximizar la utilización de los recursos en la nube. Pero por alguna razón, la intuición de muchas personas es exactamente lo contrario".El principal negocio de OpenAI hoy en día se basa en un modelo de código cerrado que se ejecuta en centros de datos a gran escala, y la defensa de su modelo de negocio ha provocado un debate en la comunidad de IA.
Esto también ha causado preocupación en muchas personas: en el futuro, puede resultarnos más difícil tener nuestro propio hardware o software, y solo podemos considerar alquilar agentes inteligentes y computadoras en la nube.
Aunque las PC, los teléfonos móviles y las tarjetas aceleradoras de IA comunes utilizan memorias diferentes, su producción competirá por cierta capacidad de producción de obleas. Altman estaba discutiendo la asignación global de recursos DRAM. Cuando se trata de quién está calificado para decidir dónde se utiliza la capacidad de memoria, la mayoría de las veces es naturalmente el usuario quien realiza el pedido mayor.
Parte del argumento de Altman se basa en la suposición de que la construcción del centro de datos no se ralentizará. Además, planteó la hipótesis de que la memoria utilizada las 24 horas del día, los 7 días de la semana en un centro de datos de IA sería más valiosa que la memoria utilizada para hojas de cálculo, navegación web, juegos e incluso la IA local ocasional.
De hecho, esta entrevista fue muy larga. Altman también habló sobre la vulnerabilidad de PHP que provocó el pánico global en las últimas dos semanas, el sandboxing de los modelos de entrenamiento y la investigación de IA en el campo de las matemáticas.
Mira lo que dijo principalmente:
La IA está detonando una ola de vulnerabilidades
Con respecto a las enormes vulnerabilidades de PHP, el juicio de Altman es: la capacidad de los modelos grandes para descubrir vulnerabilidades continúa mejorando rápidamente y la superficie del código en Internet es extremadamente enorme. Cuando la gente empiece a utilizar sistemáticamente la IA para escanear todos los códigos, “nos encontraremos en un mundo donde las vulnerabilidades graves serán mucho mayores de lo esperado”. Él cree que los parches por sí solos no son suficientes, la arquitectura debe ser reconstruida y los enrutadores, los sistemas operativos y las capas de aplicaciones deben rediseñarse para un mundo donde "las vulnerabilidades serán cada vez más inteligentes". Hace dos años, "reescribir toda la pila tecnológica" parecía una locura, pero ahora hay nuevas empresas que quieren construir una nueva pila.
Hizo una autocrítica inusual en la industria: "No creo que hayamos hecho un buen trabajo al explicar a la gente por qué todos los posibles riesgos negativos de esta tecnología valen la pena". Dijo que la narrativa de la industria de la IA es un mal argumento de venta, que promete curar el cáncer y reducir los costos, al tiempo que pinta un futuro de desempleo, pérdida de control y la necesidad de una regulación fuerte. Reiteró la insistencia de OpenAI en el despliegue iterativo y la capacidad excedente con el argumento de que "la gente en unas pocas millas cuadradas en San Francisco no puede tomar todas las decisiones".
Cuando se le preguntó si podría construir una "prisión de máxima seguridad" para el modelo, Ultraman dio una respuesta pesimista: la zona de pruebas solo es efectiva hasta cierto punto, y el monitoreo (incluida la revisión de la cadena de pensamiento y el monitoreo de activación) puede ir más allá, pero al final debe ser altamente confiable y estar alineado.
Preguntó retóricamente, frente a un modelo que es un millón de veces más inteligente que el investigador de seguridad más inteligente y puede descubrir nueva ciencia que los humanos aún no comprenden, ¿realmente te atreves a confiar en esa caja de arena?
Dejó en claro que odia la palabra "enjambres de agentes" porque los enjambres recuerdan a las langostas, insistiendo en llamarlos equipos de agentes (equipos de agentes), y cree que la naturaleza de los controles y equilibrios mutuos entre equipos corresponde al mecanismo para lograr solidez a través del pluralismo, y es una dirección segura digna de avanzar.
La explosión intelectual y el precio del descubrimiento científico
Altman describió una curva: en la era GPT-4, era difícil invertir efectivamente 1 dólar en potencia informática en un solo problema; la cadena de pensamiento permite al modelo "pensar mucho", pero ahora podemos paralelizar a todo el equipo de agentes decenas de miles de veces. La brecha de uso entre los usuarios comunes y los usuarios más avanzados se amplía constantemente.
Con respecto a cómo se asigna la potencia informática dentro de OpenAI, dijo que los empleados disfrutan de mucha libertad, pero el alto consumo de tokens nunca es recompensado. "En realidad, es un poco vergonzoso ocupar un lugar alto en la clasificación de tokens y ciertamente no es un motivo para un ascenso". Usó la prueba de la ecuación de Navier-Stokes como ejemplo: una sola prueba costó alrededor de $10 millones y estuvo "fuera de control durante una semana" porque nadie sabía nada sobre la ley de expansión del equipo de agentes en ese momento. Pero espera que se rehaga a 1/100 del costo en un año utilizando modelos y métodos más inteligentes.
También mostró emociones raras: la situación en ese momento era realmente asombrosa. El fin de semana, cuando se lanzó internamente un nuevo modelo, todos le plantearon los problemas más difíciles a este modelo y pudo resolverlos uno por uno. La gente no esperaba que el modelo hiciera esto en absoluto. Todos fueron testigos de que los problemas de investigación científica más difíciles en las carreras académicas de muchas personas se resolvieron uno por uno mediante este modelo y abarcaron muchos campos diferentes. La escena fue simplemente asombrosa.
"Casi me quedé despierto toda la noche durante dos noches porque estaba tan emocionado que no podía dormir en absoluto. Muchos de los resultados que publicamos más tarde fueron en realidad los problemas que resolvimos en ese momento".
Ultraman se sintió extremadamente emocionado y feliz en ese momento, pero al mismo tiempo también sintió una tristeza inesperada, melancolía y la sensación de que "una era está terminando". No sólo es nostalgia, también hay una especie de empatía por los científicos humanos que "aprenden la verdad por la mañana y mueren por la noche". Insiste en que los seres humanos merecen conocimientos básicos, pero la industria debe una solución a los profesionales de estos campos.
Aunque es demasiado pronto para hablar de superinteligencia, Ultraman cree que billones de pequeños superhumanos son mejores que un billón de coeficiente intelectual:
"Preferiría intuitivamente que un billón de IA con una inteligencia ligeramente sobrehumana se uniera a la sociedad que una IA con un billón de coeficiente intelectual se uniera a la sociedad".
"Intuitivamente, preferiría que un billón de IA con una inteligencia ligeramente sobrehumana se uniera a la sociedad que un billón de IA con un coeficiente intelectual."
Su argumento es que la gran solidez de la sociedad proviene de los controles y equilibrios y la cooperación de un gran número de miembros. El mundo del "un solo cerebro" no tiene este tipo de resiliencia. Pero destacó que esto no sucederá automáticamente y debe promoverse de manera proactiva.
¿La regulación del mercado ya no funcionará en la era de la IA?
En cuanto a la escasez de memoria global, Altman presentó el diseño de OpenAI: chips de desarrollo propio (para mejorar el rendimiento inteligente por vatio), centros de datos de construcción propia, proyectos de robots y un concepto más audaz de "centros de datos autorreplicantes" que utilizan robots controlados por IA para operar fábricas de obleas, construir turbinas y paneles solares, y construir centros de datos. "Tenemos esto bajo control", afirmó.
Al hablar de por qué la "autorregulación del mercado" no se ha realizado durante mucho tiempo, cree que el progreso actual es muy malo y da la lógica del comportamiento de los fabricantes de memorias: Esta industria ha sido durante mucho tiempo un amargo negocio en el que se han invertido 20 mil millones de dólares estadounidenses y se han ganado 1,9 mil millones de gastos de capital. En la historia, muchos gigantes casi han quebrado debido a la construcción excesiva de fábricas. Hoy en día, cada empresa puede ganar unos 100.000 millones de dólares en flujo de caja libre al año, pero los dolorosos recuerdos las han vuelto extremadamente conservadoras a la hora de ampliar la producción. A partir de esto afirma que "la mano invisible ya no funciona".
Distinguió dos tipos de capacidades en la industria de los chips: Litografía "sólo una empresa en el planeta parece saber cómo hacerlo", pero el diseño de chips (el archivo que finalmente se envía a la fábrica) ya es un lugar excelente para la IA.
Al hablar sobre el verdadero nivel de automejora recursiva (RSI), Altman dijo que el modelo actual puede completar tareas como "encontrar una mejora de la eficiencia computacional del 5%", pero nadie sabe cómo permitir que la IA descubra nuevas arquitecturas al nivel del transformador. Lo que falta es un modelo más inteligente. Incluso predijo que la sociedad podría necesitar aceptar limitar el coeficiente intelectual de un solo modelo durante un período de tiempo. "Si no hay suficiente progreso en el futuro, será debido a esta decisión, no a la capacidad de la IA para realizar investigaciones".
Mostró su creencia en la deflación:
El costo total de propiedad actual a cinco años de cada GW de potencia informática de IA líder es de aproximadamente 70 mil millones de dólares estadounidenses. Sería ideal si se pudiera reducir a 20 mil millones. Al mismo tiempo, el rendimiento del modelo debe mejorarse diez veces más cada año. El camino para lograrlo es abaratar la energía y comprimir las ganancias brutas acumuladas entre "desde arena hasta tokens de producción".
En cuanto a la ansiedad presupuestaria simbólica de las empresas, cree que el problema más común actualmente es que la IA no se utiliza lo suficiente, en lugar de usarla en exceso.
¿Cómo valorar la inteligencia personal?
Con respecto a los recientes productos inteligentes personales (como Muse), la opinión actual de Ultraman es que "el momento Macintosh aún no ha llegado". A la gente le gustan estos productos, pero no hasta el punto de "no puedo imaginar la vida sin ellos". El ganador se parecerá al producto actual, pero "simplemente funcionará", será confiable y podrá manejar tareas más complejas. Él cree que el juego del gato y el ratón en el uso de la computadora eventualmente convergerá hasta el punto en que "tienes derecho a dejar que la IA opere tu propia computadora en tu nombre".
En cuanto al método de comercialización de agentes inteligentes, Altman cree que las empresas se apegan a las ventanas emergentes de IA y HTML en sus productos y se preocupan por perder las relaciones con los clientes, pero los consumidores quieren dejar que la IA haga todo por ellos en su aplicación de chat principal. Él cree que los verdaderos obstáculos provienen de las redes de marca, selección y cumplimiento, no de HTML. Reveló proactivamente que elegiría Amazon Pay 10 de cada 10 veces, incluso si el precio fuera más alto. Elogió la red de cumplimiento de Amazon y admitió que la plataforma de cooperación dentro de ChatGPT no era lo suficientemente buena. También calificó todos los formularios web como "trabajo falso" y comparó la situación actual con la era de la App Store.
Es precisamente por esto que al diseñar los precios, OpenAI casi imitó los precios de AWS basados en tareas y abandonó por completo la facturación de tokens. Sin embargo, encontró una fuerte oposición por parte de los clientes: "Necesito saber lo que estoy pagando". Incluso si es más, debe estar en unidades comprensibles, como fichas.
Comentarios