Resumen:
Recientemente ha ocurrido un episodio dramático en el círculo de la IA: un tweet de anuncio oficial de DeepSeek, antes de que todos tuvieran tiempo de estudiar detenidamente los detalles técnicos, salió del círculo por primera vez debido al texto de portada.
Algunos internautas descubrieron que la portada del artículo de la cuenta pública "DeepSeek Open Source Inference Framework: Towards a Truly Inclusive Future" escribió por error "Putt & Whitney" como "HP", lo que chocó con la conocida marca de computadoras Hewlett-Packard (HP).
Muchos internautas bromearon diciendo que DeepSeek estaba enviando sin querer una ola de anuncios de tráfico a HP de forma gratuita; algunos también bromearon diciendo que los ejecutivos de HP aprovecharían la oportunidad para venir a discutir la cooperación.
Este interesante error fue descubierto rápidamente por el funcionario. La imagen de portada ha sido modificada urgentemente y el texto ha sido restituido a "Hacia un futuro verdaderamente inclusivo". El pequeño oolong terminó con éxito.
Bromas aparte, el peso de este artículo en sí es el verdadero foco de este incidente. DeepSeek lanzó recientemente oficialmente un tweet anunciando que su marco de inferencia central interno DeepInfer es completamente de código abierto.
Los desarrolladores que están familiarizados con el ritmo de DeepSeek saben que este equipo ha seguido aumentando sus esfuerzos en el ámbito del código abierto y anteriormente ha lanzado varios modelos grandes, cadenas de herramientas de compilación TileLang y bibliotecas de operadores de inferencia de soporte.
Esta vez, revelaron directamente al mundo exterior el motor de inferencia subyacente que admite servicios en línea a gran escala y presentaron un plan de implementación completo pulido en el entorno de producción, mostrando su sinceridad.
La cita oficial "hazlo por el bien y hazlo por todos, hazlo por habilidad y hazlo por todos" para aclarar la intención original.
En pocas palabras, si se va a implementar un modelo grande, no solo los parámetros sólidos del modelo son suficientes, sino que el marco de inferencia es la clave para determinar el rendimiento, la latencia y las facturas de energía informática.Muchos equipos y empresas pequeñas y medianas han obtenido grandes modelos de código abierto, pero están estancados en el proceso de implementación: no se pueden manejar muchas solicitudes simultáneas, los retrasos fluctúan mucho, la sobrecarga de potencia informática sigue siendo alta y el costo de la implementación privatizada y el lanzamiento de la nube pública ha desanimado a muchos jugadores.
DeepInfer es de código abierto y apunta a este punto débil.
DeepSeek espera compartir la experiencia de optimización de inferencias a gran escala acumulada en la práctica interna con toda la comunidad para ayudar a los desarrolladores y empresas a optimizar los indicadores de servicios en línea, aumentar el rendimiento, reducir los retrasos en la respuesta y construir sin problemas servicios de IA en la nube pública o privatizada.
Una vez implementada la optimización, los gastos generales de potencia informática y el consumo de energía disminuirán simultáneamente, y el umbral para el uso de servicios de IA se reducirá, lo que permitirá que más industrias y más usuarios utilicen servicios modelo grandes con mayor costo y rendimiento y, en última instancia, lograr el objetivo de una "IA inclusiva".
Comentarios