إصدار ما قبل الإطلاق / بناء مستمر: هذا بناء تجريبي، وليس إصدارًا مستقرًا.
graph: تخطي رأس LM للتمثيلات المجمّعة (#30445) * graph: تخطي رأس LM للتمثيلات المجمّعة السياق الذي يستخرج تمثيلات مجمّعة يُخرج متجهًا واحدًا لكل تسلسل، لكن كل نموذج كان لا يزال يوسّع رأس LM الخاص به، بحيث حساب المخطط logits بحجم n_vocab لكل رمز واحتفظ السياق بذاكرة مؤقتة على المضيف لها. الآن تعلن النماذج t_logits فقط، ويوسّعها set_outputs() ما لم يكن السياق يستخرج تمثيلات بنوع تجميع غير NONE. وبما أن هذا التبديل يغيّر شكل المخطط لسياق مجمّع، فإن set_embeddings() تجدول إعادة حجز في تلك الحالة. * graph: إسقاط توسيع t_embd الزائد استجابةً لمراجعة @CISC: عند تفعيل التمثيلات، يوسّع build_pooling() مخرجه لكل نوع تجميع أصلًا، ومخطط فك الترميز بدون تمثيلات لا يقرأ t_embd، لذا يوسّع set_outputs() t_logits فقط. * graph: إضافة build_logits() لمخرج رأس LM استجابةً لمراجعة @ggerganov: يُوسَّع رأس LM بواسطة دالة مخصصة build_logits()، تُستدعى من llama_model::build_graph() مثل build_pooling()، وتكتفي set_outputs() بوضع علامة على المخرجات مرة أخرى. * graph: استدعاء build_logits() قبل build_sampling() استجابةً لمراجعة @ggerganov: تقرأ build_sampling() قيمة t_logits، لذا يُبنى رأس LM أولًا. بعدها يتخطى السياق المجمّع طبقات أخذ العينات أيضًا، إذ لا توجد لديه logits لأخذ عينات منها. * nitالموقع الإلكتروني: - https://llama.app
شهادات التصديق: - https://github.com/ggml-org/llama.cpp/attestations/55574302
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64، مع تفعيل KleidiAI) معطّل - macOS Intel (x64) - iOS XCFramework
لينكس: - أوبونتو x64 (CPU) - أوبونتو arm64 (CPU) - أوبونتو s390x (CPU) - أوبونتو x64 (Vulkan) - أوبونتو arm64 (Vulkan) - أوبونتو x64 (CUDA 12) - مكتبات CUDA 12.8 - أوبونتو x64 (CUDA 13) - مكتبات CUDA 13.4 - أوبونتو arm64 (CUDA 13) - مكتبات CUDA 13.4 - أوبونتو x64 (ROCm 10.0) - أوبونتو x64 (OpenVINO) - أوبونتو x64 (SYCL FP32) - أوبونتو x64 (SYCL FP16) - لينكس arm64 (Snapdragon: CPU، Adreno GPU، Hexagon NPU) - دليل الإعداد
أندرويد: - أندرويد arm64 (CPU) - أندرويد arm64 (Snapdragon: CPU، Adreno GPU، Hexagon NPU) - دليل الإعداد
ويندوز: - ويندوز x64 (CPU) - ويندوز arm64 (CPU) - ويندوز arm64 (OpenCL Adreno) - ويندوز x64 (CUDA 12) - ملفات CUDA 12.4 DLLs - ويندوز x64 (CUDA 13) - ملفات CUDA 13.4 DLLs - ويندوز arm64 (CUDA 13) - ملفات CUDA 13.4 DLLs - ويندوز x64 (Vulkan) - ويندوز arm64 (Vulkan) - ويندوز x64 (OpenVINO) - ويندوز x64 (SYCL) - ويندوز x64 (ROCm 10.0)
openEuler: - معطّل - openEuler بنظام x86 (310p) - openEuler بنظام x86 (910b، ACL Graph) - openEuler بنظام aarch64 (310p) - openEuler بنظام aarch64 (910b، ACL Graph)
واجهة المستخدم: - واجهة المستخدم