llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K(在两台 Mac Studio 上)。
干得好 @finkd & @johnternus!
推文展示Muse-Spark-Open-816B-A42B的Q2_K量化版通过llama.cpp在两台Mac Studio上本地运行。全文仅一条命令,无性能数据或模型细节。
llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K(在两台 Mac Studio 上)。
干得好 @finkd & @johnternus!
原始发布及相关权利归来源方。
机器翻译 · 请以原文为准