Pre-release / build continuo: esta es una compilación experimental, no una versión estable.
llama : escalar la proyección down de moe por token de experto (#30861) * llama : escalar la proyección down de moe por token de experto Reemplazar el reescalado global de amax para la proyección down del MoE con un factor por token de experto calculado mediante una reducción max de POOL_1D a lo largo de la dimensión intermedia. Deshacer el escalado en la salida con el mismo factor exacto potencia de dos. Manejar POOL_1D en la lógica de split-state de Meta para que una división a lo largo del eje 0 se convierta en un resultado parcial replicado por dispositivo, habilitando el paralelismo de tensores. Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) * cont : simplificar comentarios Co-authored-by: Georgi Gerganov * llama : refactorizar el resultado del escalado src1 de amax Devolver la activación reescalada y el tensor de escala opcional a través de una pequeña estructura en lugar de un puntero de salida. Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) * cont : añadir TODO + limpiezaSitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/58090560
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs de CUDA 12.4 - Windows x64 (CUDA 13) - DLLs de CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs de CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DESACTIVADO - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI