Hoy, Google anunció código abierto un nuevoAbrir modelo de incrustación EmbeddingGemma. Este modelo es pequeño y amplio, con308 millones de parámetros, diseñado paraIA del lado del dispositivoDiseñado para respaldar la implementación de recuperación de generación mejorada (RAG), búsqueda semántica y otras aplicaciones en computadoras portátiles, teléfonos móviles y otros dispositivos.


Una característica importante de EmbeddingGemma es su capacidad paraGenere vectores de incrustación de alta calidad con buena privacidad., incluso enDesconectadoPuede funcionar normalmente incluso en circunstancias normales y su rendimiento está a la par con Qwen-Embedding-0.6B, que tiene el doble de tamaño.


▲ Captura de pantalla de la página de código abierto de Hugging Face

Dirección de cara de abrazo:

https://huggingface.co/collections/google/embeddinggemma-68b9ae3a72a82f0562a80dc4

Según Google, EmbeddingGemma tiene los siguientes aspectos destacados:

1. El mejor de su clase:En el Massive Text Embedding Benchmark (MTEB), EmbeddingGemma ocupa el puesto más alto entre los modelos abiertos de incrustación de texto en varios idiomas por debajo de 500 millones. EmbeddingGemma se basa en la arquitectura Gemma 3 y ha sido entrenado para más de 100 idiomas. Es pequeño y puede funcionar con menos de 200 MB de memoria después de la cuantificación.


▲ Puntuación MTEB: el rendimiento de EmbeddingGemma es comparable al de los mejores modelos con el doble de tamaño

2. Diseñado para un trabajo flexible fuera de línea:Pequeño, rápido y eficiente, proporciona un tamaño de salida personalizable y una ventana de contexto de token de 2K, y puede ejecutarse en dispositivos cotidianos como teléfonos móviles, portátiles y de escritorio. Está diseñado para funcionar con Gemma 3n, trabajando juntos para desbloquear nuevos casos de uso para canalizaciones RAG móviles, búsqueda semántica y más.

3. Integre con herramientas populares:Para que a los usuarios les resulte más fácil comenzar con EmbeddingGemma, ya funciona con las herramientas favoritas de los usuarios, como sentencias-transformers, llama.cpp, MLX, Ollama, LiteRT, transformadores.js, LMStudio, Weaviate, Cloudflare, LlamaIndex, LangChain y más.

1. Puede generar vectores de incrustación de alta calidad y el RAG del extremo genera respuestas más precisas.

EmbeddingGemma generará vectores de incrustación. En el contexto de este artículo, puede convertir texto en vectores numéricos y representar la semántica del texto en un espacio de alta dimensión; cuanto mayor sea la calidad del vector de incrustación, mejor será la representación de los matices del lenguaje y las características complejas.


▲EmbeddingGemma generará vectores de incrustación

Hay dos etapas clave en la construcción de un proceso RAG: recuperar el contexto relevante basado en las aportaciones del usuario y generar respuestas bien fundadas basadas en ese contexto.

Para implementar la función de recuperación, los usuarios pueden primero generar un vector de incrustación de la palabra solicitada y luego calcular la similitud entre este vector y los vectores de incrustación de todos los documentos en el sistema; de esta manera, se pueden obtener los fragmentos de texto más relevantes para la consulta del usuario.

Luego, los usuarios pueden introducir estos fragmentos de texto, junto con la consulta original, en un modelo generativo como Gemma 3 para generar respuestas contextualmente relevantes. Por ejemplo, el modelo puede entender el número de teléfono necesario para llamar a un carpintero para arreglar un piso dañado.

Para que este proceso RAG sea eficaz, la calidad del paso de búsqueda inicial es fundamental. Los vectores de incrustación de mala calidad pueden dar lugar a que se recuperen documentos irrelevantes, lo que dará lugar a respuestas inexactas o sin sentido.

La ventaja de rendimiento de EmbeddingGemma se refleja en esto: puede proporcionar representación (texto) de alta calidad y brindar soporte central para aplicaciones finales precisas y confiables.

2. Qwen-Embedding-0.6B, que tiene un rendimiento que casi duplica su tamaño pero es de tamaño pequeño.

EmbeddingGemma proporciona capacidades de comprensión de textos de última generación acordes con su escala, con un rendimiento particularmente sólido en la generación de incrustaciones multilingües.

En comparación con otros modelos de incrustación populares, EmbeddingGemma funciona bien en tareas como recuperación, clasificación y agrupación.

EmbeddingGemma se ha puesto al día por completo con el modelo gte-multilingual-base del mismo tamaño en las pruebas de Media (Tarea), Recuperación, Clasificación, Agrupación y otras. Los resultados de sus pruebas también se acercan a Qwen-Embedding-0.6B, que tiene el doble de tamaño.


▲ Estado de evaluación de EmbeddingGemma

El modelo EmbeddingGemma tiene 308M de parámetros, compuestos principalmente por aproximadamente 100M de parámetros de modelo y 200M de parámetros de incrustación.

Para lograr una mayor flexibilidad, EmbeddingGemma aprovecha Matryoshka Representation Learning (MRL) para proporcionar múltiples tamaños de incrustación en un solo modelo. Los desarrolladores pueden utilizar el vector completo de 768 dimensiones para obtener la mejor calidad o truncarlo a dimensiones más pequeñas (128, 256 o 512) para aumentar la velocidad y reducir los costos de almacenamiento.

Google ha acortado el tiempo de inferencia integrado (256 tokens de entrada) a <15 ms en EdgeTPU, rompiendo el límite de velocidad, lo que significa que la función de IA del usuario puede proporcionar una respuesta en tiempo real y lograr una interacción fluida e instantánea.

Utilizando el entrenamiento consciente de la cuantificación (QAT), Google redujo significativamente el uso de RAM a menos de 200 MB manteniendo la calidad del modelo.

3. Se puede utilizar sin conexión a Internet y puede ejecutarse con menos de 200 MB de memoria.

EmbeddingGemma permite a los desarrolladores crear aplicaciones en el dispositivo flexibles y centradas en la privacidad. Genera documentos incrustados directamente en el hardware del dispositivo, lo que ayuda a mantener seguros los datos confidenciales del usuario.

Utiliza el mismo tokenizador que Gemma 3n para el procesamiento de texto, lo que reduce la huella de memoria de las aplicaciones RAG. Los usuarios pueden utilizar EmbeddingGemma para desbloquear nuevas funciones, como:

Busque archivos personales, mensajes de texto, correos electrónicos y notificaciones, todo al mismo tiempo sin conexión a Internet.

Chatbots de soporte personalizados, específicos de la industria y fuera de línea con RAG y Gemma 3n.

Clasifique las consultas de los usuarios en llamadas a funciones relevantes para ayudar a la comprensión de los agentes móviles (necesidades del usuario).

La siguiente imagen es una demostración interactiva de EmbeddingGemma, que visualiza texto incrustado en un espacio tridimensional. El modelo se ejecuta íntegramente en el dispositivo.


▲ Demostración interactiva de EmbeddingGemma (Fuente: Joshua del equipo de Hugging Face)

Dirección de la experiencia de demostración:

https://huggingface.co/spaces/webml-community/semantic-galaxy)

Conclusión: El tamaño pequeño y las grandes capacidades aceleran el desarrollo de la inteligencia final

El lanzamiento de EmbeddingGemma marca un nuevo avance para Google en miniaturización, multilenguaje e IA en el lado del dispositivo. No sólo está cerca de los modelos más grandes en rendimiento, sino que también equilibra velocidad, memoria y privacidad.

En el futuro, a medida que aplicaciones como RAG y la búsqueda semántica continúen extendiéndose a los dispositivos personales, EmbeddingGemma puede convertirse en una piedra angular importante en la promoción de la popularización de la inteligencia del lado del dispositivo.