사전 릴리스 / 연속 빌드: 이것은 실험적인 빌드이며 안정 릴리스가 아닙니다.
tests: 랜덤 모델 생성기에 텐서별 filler 테이블 추가 (#30674) * tests: 랜덤 모델 생성기에 텐서별 filler 테이블 추가 Muse Spark는 무작위 시드의 약 6퍼센트에서 state_load, cp_h 및 cp_d에 대해 test-llama-context를 실패하게 하며, 임계값 1.0e-05에 대해 NMSE가 1.0e-05에서 1.4e-05에 이릅니다. 이를 드러내는 것은 슬라이딩 윈도우입니다: 복원된 상태는 윈도우만 유지하므로, SWA 레이어의 어텐션이 서로 다른 셀 레이아웃에 대해 리덕션을 수행하고 연속 실행이 비트 단위로 정확하지 않습니다. 모든 SWA 모델이 1e-08 수준에서 이를 지니고 있습니다. Muse Spark는 1e-05 수준에서 지니고 있었습니다. 1e-08을 1e-05로 바꾸는 것은 생성기입니다. 노름을 보존하는 잔차 게이트는 alpha^2 + beta^2 == 1을 유지하며 변환은 하나의 raw weight에서 두 가중치를 모두 해석하는 반면, 생성기는 모든 텐서를 독립적으로 추출합니다. 그리면 이 쌍은 스트림과 브랜치를 독립적으로 스케일링하고, 스트림은 각 레이어에서 임의의 인자를 잃으며, 모델은 증폭기가 됩니다. 테스트가 실행된 가중치는 Muse Spark가 아니었습니다. 텐서별 규칙은 쓰기 경로 내부에 존재했으며, 거기서 플래그가 이를 저장하는 두 브랜치 각각 내부의 텐서 값을 골랐으므로 새 규칙은 양쪽에 스레딩되는 새 플래그를 의미했습니다. 이 파일은 자체 TODO에서 그것의 제거를 요청합니다. 각 규칙에 filler를 부여하고, 텐서 이름의 부분 문자열을 키로 하는 테이블에서 하나를 골라, 그 뒤에 단일 쓰기 경로를 유지하십시오. Mamba는 테이블로 옮겨지고 Muse Spark가 그 곳에 합류합니다: 게이트 filler는 블록당 raw weight를 한 번 추출하고 변환이 그러하듯 alpha와 beta를 해석합니다. CPU 빌드에서 천 개가 넘는 시드에 걸쳐 최악의 경우가 1.36e-05에서 2.48e-06으로, 중앙값은 4.10e-06에서 5.48e-07로 떨어지며, 임계값을 넘는 시드는 없습니다. 다른 131개 모델은 이러한 텐서를 지닌 아키텍처가 없으므로 비트 단위로 동일하게 나옵니다. CPU 빌드와 CUDA 빌드에서 ctest는 녹색입니다. * tests: 모든 텐서 filler를 fill_normal에서 추출 filler들은 매번 생성기와 분포를 반복했습니다. 이제 정규 추출은 자신의 키를 받고 다른 filler들은 그 값을 변환하므로, 생성기는 한 곳에 존재합니다. 생성된 모델은 비트 단위로 동일합니다.웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56958015
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우: - 윈도우 x64(CPU) - 윈도우 arm64(CPU) - 윈도우 arm64(OpenCL Adreno) - 윈도우 x64(CUDA 12) - CUDA 12.4 DLL - 윈도우 x64(CUDA 13) - CUDA 13.4 DLL - 윈도우 arm64(CUDA 13) - CUDA 13.4 DLL - 윈도우 x64(Vulkan) - 윈도우 arm64(Vulkan) - 윈도우 x64(OpenVINO) - 윈도우 x64(SYCL) - 윈도우 x64(ROCm 10.0)
openEuler: - DISABLED 지원 환경: - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI