DeepSeek anuncia la NSA para entrenamiento e inferencia ultrarrápidos en contextos prolongados. Según él, la NSA es un mecanismo de atención dispersa, coherente con el hardware y entrenable de forma nativa, para un entrenamiento e inferencia ultrarrápidos en contextos prolongados.
Con un diseño optimizado para hardware moderno, NSA acelera la inferencia y al mismo tiempo reduce los costos de capacitación previa sin comprometer el rendimiento.
Coincide o supera a los modelos de atención total en puntos de referencia generales, tareas de contexto prolongado y razonamiento basado en instrucciones.
Editor a cargo: Liu Mingliang