llama.cpp ReleasesMis à jour le

[Pré-version / build continu] b11707

[Pré-version / build continu] model : Granite switch decision 256 options (#30693) * feat(convert): Tentative de production de 256 marqueurs d'option sémantiques à token unique Chaque modèle switch doit identifier une…

Pré-version / build continu : il s'agit d'un build expérimental, pas d'une version stable.

model : Granite switch decision 256 options (#30693) * feat(convert): Tentative de production de 256 marqueurs d'option sémantiques à token unique Chaque modèle switch doit identifier une collection de marqueurs d'option à token unique qui peuvent être mappés à leurs logits respectifs pour la distribution de probabilité en sortie. Le simple ensemble majuscules/minuscules/chiffres ne produit que 66 marqueurs uniques, mais le modèle peut en prendre en charge jusqu'à 255. Le défi est que les combinaisons de caractères qui donnent des marqueurs à token unique sont spécifiques au modèle, donc nous faisons un exercice de découverte au moment de la conversion en parcourant le vocabulaire du modèle spécifique à la recherche de séquences à token unique de chaînes de 1+ lettres simples (par ex. `A`, `AA`, `BB`, etc). Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * docs: Note granite-switch avec 256 marqueurs d'option Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * style: Supprimer la ligne vide supplémentaire Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * feat(convert): Utiliser les étiquettes calculées dans le template pour que le côté c++ soit la source de vérité Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart * feat: Utiliser la casse LEV pour GRANITE_SWITCH avec les étiquettes calculées Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart * docs: Consolider g-s dans le compartiment 255 Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart

Site Web : - https://llama.app

Attestations : - https://github.com/ggml-org/llama.cpp/attestations/56911978

macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - XCFramework iOS

Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, Adreno GPU, Hexagon NPU) - guide d'installation

Android : - Android arm64 (CPU) - Android arm64 (Snapdragon : CPU, Adreno GPU, Hexagon NPU) - guide d'installation

Windows : - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs CUDA 12.4 - Windows x64 (CUDA 13) - DLLs CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)

openEuler : - DÉSACTIVÉ - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)

UI : - UI

Source originale

llama.cpp Releases

À propos du contenu

La publication originale et les droits appartiennent à la source.

Traduction automatique · Consultez l’original