llama.cpp ReleasesAktualisiert

[Pre-Release / Continuous Build] b11596

[Pre-Release / Continuous Build] tests: Konsolidierung der Kontextzustands-Tests in test-llama-context (#30023) * tests: die Kontextzustands-Tests werden in test-llama-context konsolidiert test-save-load-state…

Pre-Release / Continuous Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.

tests: Konsolidierung der Kontextzustands-Tests in test-llama-context (#30023) * tests: die Kontextzustands-Tests werden in test-llama-context konsolidiert test-save-load-state, test-recurrent-state-rollback und test-state-restore-fragmented prüfen dasselbe Objekt von drei Stellen aus: den KV-Cache und den rekurrenten Zustand eines llama_context, gespeichert, geladen, kopiert, zurückgerollt. Jeder hatte sein eigenes main, seine eigene Schleife über die Modelle, seine eigene Kopie der Token- und Vergleichs-Helfer, und ein Lauf aller drei lud dieselben Modelle mehrfach. Sie sind jetzt eine Binärdatei, und der Fall ist die Einheit des Tests: tests/llama-context/test-case.h die Schnittstelle, die ein Fall implementiert tests/llama-context/cases-kv.cpp die Fälle des KV-Cache tests/llama-context/cases-rs.cpp die Fälle des rekurrenten Zustands tests/llama-context/test-util.cpp Tokens, Generierung, Vergleich tests/llama-context/test-runner.cpp die Modelle eines Falls, auf Threads tests/llama-context/test-log.cpp die Logdatei eines Modells Ein Lauf ist eine Tabelle: eine Zeile pro Modell, eine Spalte pro Fall, eine Zelle enthält das Urteil dieses Paares. Die Modelle laden auf mehreren Threads (-j, --threads, standardmäßig min(cores, 4)), die Tabelle wird ausgegeben, wenn sie vollständig ist, und das Log eines fehlgeschlagenen Modells wird danach ausgegeben, in der Reihenfolge der Zeilen. Ein Fall liefert ein Urteil und den Grund dafür, und der Runner ist der Einzige, der berichtet - der Test verwendet tests/testing.h nicht, ein Lauf über 130 Modelle ist eine Matrix von Urteilen und kein Baum von Subtests. Staging reist nicht mehr durch die Umgebung: llama_model_set_attn_rot ersetzt die Variable LLAMA_ATTN_ROT_DISABLE, die ein in einem Thread geladenes Modell früher für die Modelle änderte, die die anderen Threads luden, und llama_memory_get_buffers wird für die Fälle hinzugefügt, die die Puffer eines Speichers kopieren. common_log_set_stdo hält die Konsole still, während die Tabelle aufgebaut wird. ggml_aligned_malloc alloziert mit posix_memalign, wenn der Thread Sanitizer aktiv ist. Unter macOS alloziert er mit der Mach-VM, die der Sanitizer nicht abfängt, sodass er nie sieht, dass ein Seitenbereich den Besitzer wechselt, und den ersten Schreibzugriff in wiederverwendeten Speicher als Race meldet - 30 davon in diesem Test, und jeder Einzelne war falsch. Assisted-by: pi:llama.cpp/Qwen3.8-Flash-Next * cont: standardmäßig single-threaded laufen * cont: versuchen, die Tests auf allen Plattformen zu bauen * cont: etwas überflüssigen Ballast entfernen * cont: Fix * cont: die Korrektur korrigieren

Website: - https://llama.app

Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/55569169

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DISABLED - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries - Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries - Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung

Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung

Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)

openEuler: - DEAKTIVIERT - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)

UI: - UI

Originalquelle

llama.cpp Releases

Hinweise zum Inhalt

Originalveröffentlichung und Rechte liegen bei der Quelle.

Maschinelle Übersetzung · Original beachten