En agosto de 2023, Meta Company lanzó CodeLlama, un modelo de lenguaje a gran escala especialmente diseñado para tareas de programación, basado en el modelo Llama2 anterior. Hoy, la compañía lanzó una "versión nueva y más potente": CodeLlama70B.

CodeLlama70B ha sido entrenado en 500 mil millones de bytes de código y datos relacionados. Puede procesar y generar secuencias de código más largas gracias a una ventana de contexto de 100.000 frases.

Según Meta, CodeLlama70B utiliza una tecnología llamada autoatención para comprender la estructura del código. Puede implementar algoritmos, clasificación, búsqueda y otras funciones basadas en mensajes de texto o fragmentos, y es adecuado para múltiples lenguajes como Python, C++, Javascript y Java.

Esta herramienta impulsada por IA incluye variantes ajustadas para tareas específicas. Una de esas variantes es CodeLlama-70B-Instruct, que está entrenado para comprender instrucciones en lenguaje natural. También hay una versión centrada en Python llamada CodeLlama-70B-Python. Según Meta, a través de capacitación adicional sobre 100 mil millones de tokens de código Python, genera código Python con "fluidez y precisión incomparables".

"Escribir y editar código se ha convertido en uno de los usos más importantes de los modelos de inteligencia artificial en la actualidad", escribió el director ejecutivo de Meta, Mark Zuckerberg, en una publicación de Facebook. "Resulta que la capacidad de codificación también es muy importante para que los modelos de IA procesen información en otros campos de manera más rigurosa y lógica".

CodeLlama70B está disponible para descarga gratuita bajo la misma licencia abierta que los modelos anteriores de CodeLlama:

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Meta dice que esta licencia permite a los usuarios académicos y comerciales modificar el modelo.

GitHub, propiedad de Microsoft, lanzó CopilotChat en julio de 2023. Los desarrolladores pueden hacerle preguntas a Copilot sobre su código, obtener explicaciones de partes específicas del código e incluso hacer que Copilot corrija errores en el código. Recientemente, Google también lanzó DuetAI y GeminiPro, herramientas de generación y finalización de código impulsadas por inteligencia artificial.