プレリリース / 継続的ビルド: これは実験的なビルドであり、安定版リリースではありません。
model : K2 Horizon のdenseおよびMoVAサポートを追加 (#29535) * model: K2 Horizon のgguf変換コード * model: k2-horizon.cpp でのhparamsとテンソルの読み込み * model: K2 Horizon 計算グラフ * model: K2 Horizon 計算グラフの調整とトークナイザーの登録 * model: K2 Horizon チャットテンプレートとsafetensors命名への対応 * unicode : K2-Horizon プレトークナイザースプリッターの追加 K2-Horizon の正規表現には unicode_regex_split_custom に対応するアームがなく、一般的な std::regex フォールバックに落ちていましたが、これには2つの問題がありました。 MSVCでは std::regex が \p{...} を拒否するため、Windowsでは K2-Horizon のGGUFはまったく読み込めません: llama-quantize、llama-imatrix、llama-perplexity のすべてが、トークンが1つ生成される前に regex_error(error_escape) で異常終了します。 フォールバックがコンパイルできる場合でも、依然として誤りです。unicode_regex_split はマッチングの前に各 コードポイントをそのUnicodeカテゴリ名を表す1バイトに畳み込みますが、U+200C/U+200D は Control カテゴリであり、k_ucat_cpt にエントリがないため、両方とも 0xD0 のフォールバック バイトになります。その結果、K2の正規表現内のリテラルおよびの代替パターンは決してマッチせず、 すべてのZWNJまたはZWJが文字の連なりを終了させてしまいます。 スプリッターは既存のllama3のものを1つのルールだけ拡張したものです。K2の正規表現がllama3のものと 異なるのは、文字の連なりがマーク、ZWNJ、ZWJも取り込む点だけだからです。 tests/test-unicode.cpp にこれに対するケースを追加しました: 変更前は [Amy] [ZWNJ khaham] で 失敗し、変更後は連なりが保たれたままパスします。 * tests: K2 Horizon unicodeスプリッターのカバレッジを拡充 * unicode: K2 Horizon のケースフォールディングと空入力への対応 Assisted-by: Codex * jinja : selectattr と rejectattr でのシーケンスインデックスのサポート Assisted-by: Codex * model : K2 Horizon のdenseおよびMoVAサポートの追加 ifm-ai/llama.cpp による K2 Horizon 実装に、コンバーター、テンソル並列、モデルの保存/再読み込みの修正を含めて取り込みます。 Assisted-by: Codex * chat : K2 Horizon の推論とツール呼び出しのサポート Assisted-by: Codex * conversion: 廃止された K2 Aurora エイリアスの削除 Assisted-by: Codex * k2-horizon: レスポンスの スキーマの強制と YaRN ベータの読み込み 推論後の最終JSONを制約し、柔軟なJSONツールエンベロープを受け入れ、 XML方言を強制し、繰り返しまたは交互の思考マーカーを処理します。 デフォルト値を保持する代わりに YaRN ベータのメタデータを読み込みます。 スキーマ、ストリーミング、継続、モデル再読み込みのリグレッションを追加します。 CUDAおよびCPUビルドと、0.9B、4B、MoVAの会話/ツールのラウンドトリップを検証します。 Assisted-by: Codex * テンプレートフィクスチャの改名 * cisc のフォローアップへの対応 * パーサーの改善 / aldehir のコメントへの対応 * test-chat のクリーンアップ * フォールバックの削除: モデルは主にhighで学習されているため * k2 attn_v_exp tn分割とmetal fusionベースラインの修正 * k2-horizon : 合計の前にexpandビューを転送 * k2-horizon: TPを修正するためgroup normの前にembdsをコピー * テンソル並列の無効化 --------- Co-authored-by: Ryandito Diandaru Co-authored-by: WestWaters Co-authored-by: Natani L. Mayday <71436458+TaskPuppyNatani@users.noreply.github.com> Co-authored-by: West <100190545+WestWaters@users.noreply.github.com> Co-authored-by: aaryamonvikram Co-authored-by: aaryamonvikram <96529820+aaryamonvikram@users.noreply.github.com>ウェブサイト: - https://llama.app
アテステーション: - https://github.com/ggml-org/llama.cpp/attestations/53326308
macOS/iOS： - macOS Apple Silicon（arm64）向け - macOS Apple Silicon（arm64、KleidiAI を有効にしたもの） ディセーブル - macOS Intel（x64）向け - iOS 向け XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド
Windowsの場合: - Windows x64(CPU)ビルド - Windows arm64(CPU)ビルド - Windows arm64(OpenCL Adreno)ビルド - Windows x64(CUDA 12)ビルド - CUDA 12.4用のDLL - Windows x64(CUDA 13)ビルド - CUDA 13.4用のDLL - Windows arm64(CUDA 13)ビルド - CUDA 13.4用のDLL - Windows x64(Vulkan)ビルド - Windows arm64(Vulkan)ビルド - Windows x64(OpenVINO)ビルド - Windows x64(SYCL)ビルド - Windows x64(ROCm 10.0)ビルド
openEuler: - DISABLED - openEuler（オープンオイラー）x86（310p） - openEuler（オープンオイラー）x86（910b、ACL Graph） - openEuler（オープンオイラー）aarch64（310p） - openEuler（オープンオイラー）aarch64（910b、ACL Graph）
UI: - UI