إصدار ما قبل الإطلاق / بناء مستمر: هذا بناء تجريبي، وليس إصداراً مستقراً.
model : إضافة دعم Kolibri-1 (Aleph-Alpha) (#30673) * model : إضافة دعم Kolibri-1 (Aleph-Alpha) Kolibri-1 هو نموذج استدلال MoE ثنائي اللغة (الألمانية/الإنجليزية) بـ 78B معلمة و3.46B نشطة لكل رمز: 50 طبقة، و384 خبير موجَّهًا بالإضافة إلى خبير مشترك واحد. يتشابك الانتباه بين أربع طبقات منزلقة بنافذة 513 مع طبقة كاملة واحدة. الطبقات المنزلقة تدور باستخدام NeoX RoPE، بينما الطبقات الكاملة من نوع NoPE. يعمل GQA بـ 48 رأس استعلام مقابل 4 رؤوس KV عند head_dim 128 مع QK-RMSNorm، وكل كتلة تحمل أربع RMSNorms، بحيث يُطبَّق التطبيع على مخرجات الانتباه وMLP قبل أن يعودا إلى تيار البقايا. التوجيه يختار الخبراء من logits + expert_bias ويزِنهم بسِغمويد للـ logits غير المتحيزة، دون إعادة تطبيع. يعيد المحوِّل استخدام AfmoeModel لتخطيط نقطة التحقق لكل خبير وانحياز اختيار الخبراء، ويكتب الخبير المشترك ونمط النافذة المنزلقة لكل طبقة. نقطة التحقق FP8 الصادرة لا تحتاج إلى كود خاص، إذ تمر عبر المسار العام weight_scale_inv. تتم إضافة ثلاثة أسماء لموترات إلى التعيين (post_attn_norm, post_ffn_norm, moe.router.expert_bias) والمفردات البالغة 128k تسجّل قِطّاع qwen2 القبلي بالهاش. تُسجَّل البنية في test-llama-archs، مع GQA ونمط النافذة المنزلقة. Assisted-by: DeepSeek Harness (DeepSeek V4.1 Flash) * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret * Add fusion records for kolibri1 * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Sigbjørn Skjæretالموقع الإلكتروني: - https://llama.app
إثباتات المصدر (Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56945604
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64، مع تفعيل KleidiAI) معطَّل (DISABLED) - macOS Intel (x64) - إطار XCFramework لنظام iOS
لينكس: - أوبونتو x64 (CPU) - أوبونتو arm64 (CPU) - أوبونتو s390x (CPU) - أوبونتو x64 (Vulkan) - أوبونتو arm64 (Vulkan) - أوبونتو x64 (CUDA 12) - مكتبات CUDA 12.8 - أوبونتو x64 (CUDA 13) - مكتبات CUDA 13.4 - أوبونتو arm64 (CUDA 13) - مكتبات CUDA 13.4 - أوبونتو x64 (ROCm 10.0) - أوبونتو x64 (OpenVINO) - أوبونتو x64 (SYCL FP32) - أوبونتو x64 (SYCL FP16) - لينكس arm64 (Snapdragon: CPU، Adreno GPU، Hexagon NPU) - دليل الإعداد
أندرويد: - أندرويد arm64 (CPU) - أندرويد arm64 (Snapdragon: CPU، Adreno GPU، Hexagon NPU) - دليل الإعداد
ويندوز: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - معطّل - openEuler x86 (310p) - openEuler x86 (910b، ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b، ACL Graph)
واجهة المستخدم: - واجهة المستخدم