llama.cpp ReleasesMis à jour le

[Pré-release / build continu] b11712

[Pré-release / build continu] tests : donner au générateur de modèles aléatoires une table de remplissage par tenseur (#30674) * tests : donner au générateur de modèles aléatoires une table de remplissage par tenseur…

Pré-release / build continu : il s'agit d'un build expérimental, pas d'une version stable.

tests : donner au générateur de modèles aléatoires une table de remplissage par tenseur (#30674) * tests : donner au générateur de modèles aléatoires une table de remplissage par tenseur Muse Spark fait échouer test-llama-context sur state_load, cp_h et cp_d pour environ six pour cent des graines aléatoires, avec un NMSE de 1.0e-05 à 1.4e-05 contre un seuil de 1.0e-05. C'est la fenêtre glissante qui l'expose : un état restauré conserve la fenêtre seule, si bien que l'attention d'une couche SWA réduit sur une disposition de cellules différente et la suite n'est pas exacte au bit. Chaque modèle SWA porte cela, à 1e-08. Muse Spark le portait à 1e-05. C'est le générateur qui transforme 1e-08 en 1e-05. Une porte résiduelle préservant la norme vérifie alpha^2 + beta^2 == 1 et la conversion déduit les deux poids d'un seul poids brut, tandis que le générateur tire chaque tenseur indépendamment. La paire a ensuite mis à l'échelle le flux et la branche indépendamment, le flux a perdu un facteur arbitraire à chaque couche, et le modèle est devenu un amplificateur. Les poids sur lesquels le test a tourné n'étaient pas un Muse Spark. Les règles par tenseur vivaient dans le chemin d'écriture, où un drapeau choisissait les valeurs d'un tenseur dans chacune des deux branches qui les stockent, si bien qu'une nouvelle règle signifiait un nouveau drapeau passé dans les deux. Le fichier demande dans un TODO qui lui est propre de s'en débarrasser. Donnez à chaque règle un remplisseur, choisissez-en un dans une table indexée sur une sous-chaîne du nom du tenseur, et conservez un unique chemin d'écriture derrière. Mamba entre dans la table et Muse Spark le rejoint : le remplisseur de la porte tire le poids brut une fois par bloc et déduit alpha et beta comme le fait la conversion. Sur plus d'un millier de graines sur un build CPU, le pire cas passe de 1.36e-05 à 2.48e-06 et la médiane de 4.10e-06 à 5.48e-07, sans aucune graine au-dessus du seuil. Les 131 autres modèles sortent identiques au bit, car aucune autre architecture ne porte ces tenseurs. ctest est vert sur un build CPU et sur un build CUDA. * tests : tirer chaque remplisseur de tenseur de fill_normal Les remplisseurs répétaient le générateur et la distribution à chaque fois. Le tirage normal utilise désormais sa clé et les autres remplisseurs transforment ses valeurs, si bien que le générateur vit à un seul endroit. Les modèles générés sont identiques au bit.

Site Web : - https://llama.app

Attestations : - https://github.com/ggml-org/llama.cpp/attestations/56958015

macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - iOS XCFramework

Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation

Android : - Android arm64 (CPU) - Android arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation

Windows : - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs CUDA 12.4 - Windows x64 (CUDA 13) - DLLs CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)

openEuler : - DÉSACTIVÉ - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)

UI : - UI

Source originale

llama.cpp Releases

À propos du contenu

La publication originale et les droits appartiennent à la source.

Traduction automatique · Consultez l’original