Los grandes modelos de IA de código abierto de las series DeepSeekV3 y R1 han demostrado un rendimiento excelente en la comprensión de varios idiomas y en tareas de razonamiento complejas. No sólo promueven la popularización y el desarrollo de la tecnología de IA, sino que también hacen grandes contribuciones a la comunidad de código abierto. En la actualidad, varios gigantes tecnológicos han comenzado a respaldar e implementar DeepSeek, y el hardware nacional también está acelerando el soporte.
Como empresa nacional de innovación de GPU con todas las funciones, Moore Thread ha implementado rápidamente una implementación eficiente de los servicios de inferencia del modelo de destilación DeepSeek, lo que permite a más desarrolladores innovar aplicaciones de IA basadas en la GPU con todas las funciones de Moore Thread.
Dirección de experiencia con un clic:
https://playground.mthreads.com
también,Los usuarios también pueden realizar una implementación de inferencia del modelo de destilación DeepSeek-R1 basado en las tarjetas gráficas MTTS80 y MTTS4000 de hilo Moore.
De hecho, ya el 28 de enero, ya había un propietario del sitio B UP completando manualmente la práctica en Moore Thread MTTS80:
https://www.bilibili.com/video/BV18YfQYEEs2
A través del modelo de destilación proporcionado por DeepSeek, las capacidades de los modelos a gran escala se pueden migrar a versiones más pequeñas y más eficientes para lograr inferencias de alto rendimiento en GPU nacionales.
Moore Thread se basa en una GPU con todas las funciones de desarrollo propio e implementa rápidamente la implementación de servicios de inferencia para el modelo de destilación DeepSeek a través de soluciones de código abierto y de doble motor de desarrollo propio.
Adaptación del marco de código abierto:
Basado en el marco de código abierto de Ollama, Moore Thread completó la implementación del modelo de destilación DeepSeek-R1-Distill-Qwen-7B y demostró un rendimiento excelente en una variedad de tareas chinas, verificando la versatilidad y compatibilidad CUDA de la GPU con todas las funciones de desarrollo propio de Moore Thread.
Aceleración del motor de desarrollo propio:
A través del motor de inferencia de alto rendimiento desarrollado independientemente por Moore Threads, combinado con tecnología de optimización colaborativa de software y hardware, y aceleración personalizada del operador y administración de memoria, la eficiencia informática y la utilización de recursos del modelo mejoran significativamente.
Este motor no solo respalda el funcionamiento eficiente del modelo de destilación DeepSeek, sino que también brinda soporte técnico para la implementación de más modelos a gran escala en el futuro.
por fin,Moore Thread está a punto de abrir su clúster de computación inteligente KUAE GPU de diseño propio, que admite totalmente la implementación distribuida de los modelos DeepSeekV3, R1 y modelos de destilación de nueva generación.
El clúster Kua'e integra tecnología de razonamiento avanzada y un marco informático distribuido para garantizar un funcionamiento eficiente y estable de modelos a gran escala y ayudar a los desarrolladores a implementar rápidamente la implementación comercial.