إصدار ما قبل النشر / بناء مستمر: هذا بناء تجريبي، وليس إصداراً مستقراً.
model: add Muse Spark Open (text, vision and audio) (#30616) * model: add Muse Spark Open (text, vision and audio) Muse Spark Open هو نموذج MoE في الفضاء الكامن: يبقى التدفق المتبقي عند 8192 بينما يعيش الخبراء الـ256 في 4096، مع إسقاط للأسفل وللأعلى حولهم، وتوجيه سيغمويد لأفضل 8 مع انحياز تصحيحي. يتناوب الانتباه بين ثلاث طبقات منزلقة بنافذة 2048 مع rope لطبقة عامة واحدة بدون rope، مع بوابة خرج سيغمويد وتطبيع QK بلا وزن. المتبقيات تحافظ على التطبيع، وبوابتها تُدمَج وقت التحويل. الرؤية تعيد استخدام برج Muse Glimmer. الصوت هرم التفافي سببي بدون انتباه وبدون مطياف، بأربع مراحل تطوي 16 و6 و5 و4 عينات في بعد القناة، وتضمين واحد لكل 80 مللي ثانية بتردد 24 كيلوهرتز. يحفظ المُكمِّم الإسقاطات الكامنة وبوابة الانتباه عند Q8_0، أي ما يزيد قليلاً عن 1% من الأوزان، إذ يمر التدفق المتبقي بالكامل عبرها لأن أنواع البتات المنخفضة حوّلت المخرجات إلى حلقة متكررة. يكتب حافظ النموذج إبسيلون التطبيع اللاحق، والبنية مسجلة في test-llama-archs. Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca * Muse Spark: drop the redundant forward expand * Muse Spark: drop the redundant forward expand and tighten the comments * Update src/llama-quant.cpp Co-authored-by: Sigbjørn Skjæret * Update src/llama-graph.cpp Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca Co-authored-by: Sigbjørn Skjæretالموقع الإلكتروني: - https://llama.app
الشهادات (Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56481361
ماك OS/iOS: - ماك OS Apple Silicon (arm64) - ماك OS Apple Silicon (arm64، مع تمكين KleidiAI) معطّل - ماك OS Intel (x64) - إطار XCFramework الخاص بـ iOS
لينكس: - Ubuntu x64 (معالج CPU) - Ubuntu arm64 (معالج CPU) - Ubuntu s390x (معالج CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - مكتبات CUDA 12.8 - Ubuntu x64 (CUDA 13) - مكتبات CUDA 13.4 - Ubuntu arm64 (CUDA 13) - مكتبات CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: معالج CPU، كرت Adreno GPU، شريحة Hexagon NPU) - دليل الإعداد
أندرويد: - Android arm64 (معالج CPU) - Android arm64 (Snapdragon: معالج CPU، كرت Adreno GPU، شريحة Hexagon NPU) - دليل الإعداد
ويندوز: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - ملفات CUDA 12.4 DLLs - Windows x64 (CUDA 13) - ملفات CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - ملفات CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - معطّل - openEuler x86 (310p) - openEuler x86 (910b، ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b، ACL Graph)
واجهة المستخدم: - واجهة المستخدم