MarkTechPostPublicación de la fuente

Nace AI Open-Sources Drex Max v1: Un modelo de decisión de 27B que se ejecuta localmente en Apple Silicon

Nace AI ha lanzado Drex Max v1 con pesos abiertos. Drex Max es su modelo de decisión más capaz, y ahora funciona en su propio hardware.

Nace AI ha lanzado Drex Max v1 con pesos abiertos. Drex Max es su modelo de decisión más capaz, y ahora funciona en su propio hardware. El lanzamiento incluye pesos bf16, un Q8_0 GGUF, un checkpoint affine Q4 y forks de llama.cpp y Ollama. Para desarrolladores, los pesos abiertos de Drex Max significan que el enrutamiento, la clasificación y las verificaciones de políticas pueden mantenerse en una máquina local.

TL;DR

  • Tamaño: Parámetros densos de 27B, ventana de 262,144 tokens (16,384 por defecto), hasta 255 opciones por pregunta.
  • Funciona en: GPU NVIDIA con Python (H100 bf16, o L40S 48 GB en 8-bit). Macs Apple Silicon con 24 GB+ (affine Q4) o 48 GB (Q8_0 GGUF). CPU a través de llama.cpp y Ollama.
  • Rendimiento: 67.52 en el índice de decisión público 0.4, 6.27 puntos por encima de Drex v2.0 (auto-reportado).
  • Mejor: 97.3 en habilidad en InfographicVQA. El área de herramientas alcanza 81.9. Un modelo de decisión de primera categoría que ahora se puede ejecutar sin conexión en un Mac.

¿Qué es Drex Max?

Drex Max es un modelo de decisión de Nace.AI que responde a preguntas escritas sobre un contexto dado. Se pasa un estado (texto, JSON o imágenes) más preguntas con nombre. El modelo devuelve una probabilidad para cada opción en una sola pasada hacia adelante. No se genera nada.

Las preguntas se dividen en 3 tipos: elección entre opciones nombradas, sí/no y un puntaje ordinal. Esto las hace adecuadas para el enrutamiento de agentes, la triaje de tickets y las verificaciones de guardrails. La versión alojada se utiliza en los enrutamientos, la clasificación y las verificaciones de políticas.

¿Cómo funciona Drex Max?

La tarjeta de modelo describe un eje denso de 27B con 64 capas. 48 son capas de atención lineal Gated DeltaNet que se extienden de izquierda a derecha. Las 16 restantes son capas de atención completa, colocadas cada cuarta capa, y no son causales. Cada token puede atender toda la secuencia.

Las imágenes pasan por una torre de visión nativa y son visibles para cualquier pregunta en una solicitud. Una cabeza de lectura de 255 vías luego convierte el último estado oculto en probabilidades de opción. El config lista un tipo de modelo qwen3_5 con una ventana de 262,144 posiciones.

¿Cómo se desempeña Drex Max en los benchmarks?

Todas las figuras a continuación son informadas por sí mismas por Nace AI,

  • Índice de decisión 0.4 (texto público): 67.52. La puntuación de Drex v2.0 es 61.25 y la puntuación de Jev 1.13.0 es 57.96.
  • Habilidad de área: Herramientas 81.9, Lenguaje 72.2, Búsqueda 68.8, Conocimiento y Razonamiento 57.1, Artes 53.4.
  • Índice de visión pública: 73.92 en 11 puntos de referencia y 12,210 filas.
  • Índice de Decisión de Análisis Artificial: 64, lo que, según Nace, lo posiciona en el 4º lugar de los 18.
  • JevBench: 92.2% (213/231). Decision Bench v4: 94.30% (1010/1071).

El conjunto de resultados abarca 140,620 solicitudes. Las solicitudes sin respuesta se consideran incorrectas.

¿Cómo ejecuta Drex Max localmente?

Nacen documentos 5 de runtime. Todos ellos sirven a la misma API POST /v1/systemone.

Tiempo de ejecuciónHardwarePunto de controlImágenes
PythonGPU NVIDIAbf16 (~49 GB) o 8-bit (~26 GB)Sí
llama.cpp forkApple Metal, CPUQ8_0 GGUF (27.25 GB)No
Ollama forkApple Metal, CPUQ8_0 GGUFNo
Kapitsa v0.2.25+Silicio AppleQ8_0 GGUF o affine Q4No
MLXSilicio Applearchivo afín Q4 (14.45 GB)No

El checkpoint affine Q4 funciona en Macs con 24 GB o más. El Q8_0 GGUF necesita 48 GB. En un Mac de 48 GB, Nace recomienda –contexto 2048 para Kapitsa.

Los usuarios de Ollama configuran num_gpu 40 para descargar 40 capas a Metal. Al establecer num_gpu 0, se ejecuta en la CPU. La fork de Ollama necesita una línea de decisión CAPABILITY en el archivo Modelfile.

La cuantización sigue siendo efectiva en las pruebas de Nace. En un Apple M5 Pro de 48 GB, el Q8_0 GGUF coincidió con el H100 bf16 dentro de un margen de 0.02 por probabilidad. El Q4 afín se mantuvo dentro del rango de 0.0329 respecto a Q8_0, sin cambios en las elecciones.

Drex Max contra otros modelos de decisión

Drex Max v1Drex v2.0Drex v1.5Jev 1.13.0
Parámetros27B denso35B MoE, ~3B activo9BNo publicado
Max contexto262,144131,072131,072No divulgado
EntradasTexto, JSON, imágenesTexto (torre de visión descartada)TextoNo divulgado
PesosAbierto, Nace.AI Open RAIL-MAbierto, Nace.AI Open RAIL-MAbierto, Nace.AI Open RAIL-MCerrado, alojado
Archivo local más pequeñoAffine Q4, 24 GB+ en MacQ8_0, 36.9 GBQ8_0, ~9.5 GBNo aplicable
Índice de Decisión Pública67.52 (v0.4)61.25 (v0.3.1)58.08 (v0.3.1)57.96
JevBench92.2%85.7%No divulgado86.6%
Índice de Decisión AA6458No está en la lista58
Precio alojado$0.03 / 1K decisiones (lanzamiento)$0.06 / 1K decisiones$0.04 / 1K decisiones$42 / 1M tareas

El equipo de AI afirma que el Índice de Decisión 0.4 utiliza la misma suite pública que 0.3.1.

Conclusiones clave

  • Los pesos de Drex Max v1 ahora son públicos en Nace.AI Open RAIL-M.
  • Obtiene un puntaje de 67.52 en el Índice de Decisión 0.4, por encima de Drex v2.0 (61.25).
  • Una compilación de 4 bits funciona en Macs Apple Silicon de 24 GB mediante Kapitsa o MLX.
  • Q8_0 en un M5 Pro con H100 bf16, dentro de 0.02.
  • Los caminos locales de Mac y CPU son solo texto por ahora.

Revisa los pesos del modelo, Q8_0 GGUF, código y documentación, Tweet y consola en la nube.


Gracias al equipo de Nace AI por el liderazgo de pensamiento y los recursos para este artículo. Este artículo está patrocinado por Nace AI.

El artículo Nace AI Open-Sources Drex Max v1: Un modelo de decisión de 27B que se ejecuta localmente en Apple Silicon apareció primero en MarkTechPost.

Fuente original

MarkTechPost

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original