Pre-release / compilación continua: esta es una compilación experimental, no una versión estable.
model : Granite switch decision 256 options (#30693) * feat(convert): Intento de crear 256 marcadores de opción semánticos de un solo token Cada modelo switch necesita identificar una colección de marcadores de opción de un solo token que puedan mapearse a sus respectivos logits para la distribución de probabilidad de salida. El simple conjunto de mayúsculas/minúsculas/números solo produce 66 marcadores únicos, pero el modelo puede admitir hasta 255. El desafío es que qué combinaciones de caracteres resultan en marcadores de un solo token es específico del modelo, por lo que hacemos un ejercicio de descubrimiento en el momento de la conversión revisando el vocabulario del modelo específico en busca de secuencias de un solo token de cadenas de 1+ letras simples (por ejemplo `A`, `AA`, `BB`, etc). Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * docs: Nota sobre granite-switch con 256 marcadores de opción Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * style: Eliminar salto de línea extra Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * feat(convert): Usar las etiquetas calculadas en la plantilla para que el lado de c++ sea la fuente de verdad Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart * feat: Usar caso LEV para GRANITE_SWITCH con etiquetas calculadas Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart * docs: Consolidar g-s en el cubo de 255 Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe GoodhartSitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/56911978
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - bibliotecas CUDA 12.8 - Ubuntu x64 (CUDA 13) - bibliotecas CUDA 13.4 - Ubuntu arm64 (CUDA 13) - bibliotecas CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI