Pre-Release / Continuous-Build: Dies ist ein experimenteller Build, keine stabile Version.
tests : MoE-Router-Auswahl unabhängig vom Backend-Rauschen machen (#30818) * tests : MoE-Router-Auswahl unabhängig vom Backend-Rauschen machen Die Router-Scores liegen im Bereich [0, 1), daher kann eine zufällige Ziehung dazu führen, dass der letzte Experte (oder die letzte Expertengruppe) noch ausgewählt bleibt und der erste innerhalb des Rauschens zwischen den Backends gleichauf liegt. Sie routen dann einen Token an verschiedene Experten, und die Logits weichen um 4e-3 ab statt um die üblichen 5e-7. Beam ist hier die einzige Architektur mit einem echten Top-k (8 Experten, 2 verwendet) und einem Gruppen-Top-k (4 Gruppen, 2 verwendet), also die einzige, bei der das auftritt: 2 von 20 Seeds schlugen auf einem M2 Ultra fehl, die anderen MoE-Architekturen wählen 2 von 2 und können nicht gleichauf liegen. Fülle den Selection-Bias mit einer Rampe der Schrittweite 2, um jedem Experten einen eigenen Score-Bereich zu geben, wodurch das Top-k zu einer Funktion allein des Experten-Index wird. Der Bias wirkt sich nur auf die Auswahl aus, die Gewichte stammen weiterhin aus den unverzerrten Probs, sodass die MoE-Ausgabe ihre Größenordnung behält. Beam stimmt nun innerhalb von 4e-7 mit der CPU-Referenz für alle 160 Seeds überein. Assisted-by: pi:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : CPU und GPU eines Apple-SoC in der Gerätetabelle unterscheiden Beide Geräte melden dieselbe Beschreibung (hier "Apple M2 Ultra"), daher hatte die Gerätspalte der Testtabelle zwei nicht unterscheidbare Zeilen, und eine fehlgeschlagene Zeile sagte nicht, ob das Metal-Gerät oder die Host-CPU sie erzeugt hatte. Füge den Gerätenamen hinzu, was auch das ist, was -b entgegennimmt, sofern die Beschreibung nicht bereits der Name ist. Assisted-by: pi:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB)Webseite: - https://llama.app
Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/57707819
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8-Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA 13.4-Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA 13.4-Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Setup-Anleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Setup-Anleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DEAKTIVIERT - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
Benutzeroberfläche: - Benutzeroberfläche