El 23 de febrero, la famosa plataforma de código abierto de modelo grande stable.ai lanzó StableDiffusion3 en su sitio web oficial. En comparación con StableDiffusion2, esta versión se ha mejorado enormemente en términos de comprensión semántica del texto, saturación de color, composición de la imagen, resolución, tipo, textura, contraste, etc., y puede comparar el modelo de código cerrado Midjourney.

Los parámetros de StableDiffusion3 están entre 800 millones y 8 mil millones., Lo que significa que StableDiffusion3 puede desarrollarse específicamente para dispositivos móviles, y el consumo de energía de la computación de IA será menor y la velocidad de inferencia será más rápida.

Actualmente, StableDiffusion3 admite el uso de aplicaciones y el alcance de las pruebas se ampliará en el futuro.

Dirección de la aplicación: https://stability.ai/stablediffusion3


estabilidad.ai no introduce demasiado contenido técnico de StableDiffusion3.Pero señaló que su arquitectura central utiliza Transformer y FlowFMatching.(denominado "FM").

Todo el mundo está familiarizado con Transformer. Muchos modelos famosos como ChatGPT, T5 y BERT se desarrollan en base a esta arquitectura.

FM es un nuevo concepto de tecnología de modelado y capacitación eficiente lanzado por MetaAI y el Instituto de Ciencias Weizmann en octubre de 2022.

Dirección del documento FlowMatching: https://arxiv.org/abs/2210.02747

Una breve introducción a FlowMatching

Actualmente, muchos modelos de diagramas de Vincent utilizan el método de entrenamiento CNF (flujo normalizado continuo), que utiliza principalmente ecuaciones diferenciales ordinarias para modelar el flujo y lograr un mapeo fluido desde una distribución conocida hasta una distribución objetivo.

Sin embargo, dado que el proceso de entrenamiento requiere una gran cantidad de simulaciones de ecuaciones diferenciales,Conducirá a desventajas como un alto costo de la potencia informática, un diseño de modelo complejo y una mala interpretabilidad..

FM abandona la simulación directa de ecuaciones diferenciales y en su lugar implementa un entrenamiento sin simulación mediante una regresión de trayectorias de probabilidad condicional fija. Los investigadores diseñaron los conceptos de distribución de probabilidad condicional y campo vectorial,La trayectoria general de probabilidad objetivo y el campo vectorial se pueden establecer utilizando la combinación de distribución marginal.,Esto elimina el impacto del proceso de simulación en los cálculos de gradiente..


1) Construcción de ruta de probabilidad condicional:FM necesita proporcionar una ruta de probabilidad objetivo que evolucione desde una distribución simple hasta una distribución de datos aproximada. Luego, la ruta objetivo se construye utilizando la ruta de probabilidad condicional, de modo que cada muestra tenga una ruta condicional correspondiente.

2) Capa de transformación:Al constituir la unidad básica de FM, cada capa de transformación es reversible. Esto significa que el mapeo de la entrada a la salida se puede revertir exactamente en cada paso, lo que permite la reducción inversa de la distribución objetivo a la distribución original.

3) Capa de acoplamiento:Divida la entrada en dos partes y aplique la transformación a una parte. La función de transformación puede ser cualquier red neuronal cuyos parámetros estén determinados por la otra parte, asegurando la reversibilidad de la transformación.

En la actualidad, la tecnología FM se ha utilizado ampliamente en generación y superresolución de imágenes, comprensión de imágenes, reparación y llenado de imágenes, generación de imágenes condicionales, transferencia y síntesis de estilos de imágenes, procesamiento de video y otros campos.

Pantalla de caja StableDiffusion3

Esta página de lanzamiento también es generada por StableDiffusion3. Palabra clave: estilo artístico de anime épico. Un mago se encuentra en la cima de una montaña por la noche y lanza un hechizo al cielo oscuro. En él está escrito el texto "StableDiffusion3" generado por energía coloreada.


Hay una manzana roja sobre la mesa del aula, estilo película, con las palabras "Hazlo a lo grande o vete a casa" escritas con tiza en una pizarra al fondo.


Un astronauta monta un cerdo con un tutú y sostiene un paraguas rosa. En el suelo, junto al cerdo, hay un petirrojo con sombrero de copa, con las palabras "StableDiffusion" escritas en la esquina.


Un camaleón, fondo negro, estilo fotográfico.


Toma nocturna de un auto deportivo con "SD3" escrito en el costado, el auto conduciendo a alta velocidad en una pista y una enorme señal de tráfico con el texto "Faster" escrito en él.


Fotografía con lente ojo de pez de olas rompiendo contra un faro escocés, olas negras.