Clément Delangue · X

llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K(在两个 Mac Studio 上)。

推文展示Muse-Spark-Open-816B-A42B的Q2_K量化版通过llama.cpp在两台Mac Studio上本地运行。全文仅一条命令,无性能数据或模型细节。

llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K(在两台 Mac Studio 上)。

干得好 @finkd & @johnternus!

原始出处

Clément Delangue · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准