Es posible que Microsoft se haya asociado con OpenAI y su modelo de lenguaje a gran escala GPT para ayudar a crear servicios de IA generativa como Copilot (anteriormente la herramienta de chat Bing). Pero la empresa también está desarrollando su propio modelo lingüístico. Esta semana, Microsoft Research anunció el lanzamiento de Orca2, la segunda versión de su lenguaje Orca.

Microsoft dijo en una publicación de blog que Orca2 está diseñado para LM a pequeña escala, pero aún puede usarse para responder preguntas complejas como LLM. Orca2 viene en dos tamaños (7 mil millones y 13 mil millones de parámetros) y está construido en parte usando Llama2LLM, que Microsoft ayudó a Meta a lanzar a principios de este año. La empresa perfeccionó el modelo basado en Llama2 "basándose en datos sintéticos de alta calidad y hechos a medida".

Microsoft dice que esto hace que el modelo Orca2 sea comparable a otros modelos de lenguaje "entre 5 y 10 veces más grandes" en la resolución de problemas:

Orca2 se entrena utilizando un conjunto de datos sintéticos extendido y altamente personalizado. La generación de estos datos de entrenamiento le enseña a Orca2 varias técnicas de razonamiento, como procesamiento paso a paso, recuperación y luego generación, recuperación-inferencia-generación, extracción-generación y respuesta directa, y también le enseña a elegir diferentes estrategias de solución para diferentes tareas.

El modelo Orca2 ha realizado una serie de pruebas comparativas con modelos de lenguajes grandes como Llama2 y WizardLM. El contenido de la prueba incluye "comprensión del lenguaje, razonamiento de sentido común, razonamiento de varios pasos, resolución de problemas matemáticos, comprensión lectora", etc.

El blog oficial de Microsoft decía: Los resultados de nuestras pruebas preliminares muestran que el rendimiento de Orca2 supera significativamente el de modelos de tamaño similar. También logró niveles de rendimiento similares o mejores que los de modelos al menos 10 veces más grandes, lo que demuestra el potencial de equipar modelos más pequeños con mejores capacidades de inferencia.

Si bien Microsoft reconoce que Orca2 tiene limitaciones, las pruebas realizadas hasta el momento muestran "el potencial para futuros avances". Microsoft lanzará Orca2 como un proyecto de código abierto para que otros puedan desarrollarlo.