プレリリース / 継続的ビルド: これは実験的なビルドであり、安定版リリースではありません。
graph: プールドされた埋め込みのためにLMヘッドをスキップする (#30445) * graph: プールドされた埋め込みのためにLMヘッドをスキップする プールドされた埋め込みを抽出するコンテキストはシーケンスごとに1つのベクトルを出力しますが、 すべてのモデルが依然としてLMヘッドを展開していたため、グラフはトークンごとに n_vocab 個の ロジットを計算し、コンテキストはそれらのためのホストバッファを保持していました。 モデルは現在 t_logits のみを宣言し、コンテキストが NONE 以外のプーリングタイプで 埋め込みを抽出する場合を除いて set_outputs() がそれを展開します。 このトグルがプールされたコンテキストのグラフ形状を変更するため、 set_embeddings() はその場合に再リザーブをスケジュールします。 * graph: 冗長な t_embd の展開を削除 @CISC からのレビュー対応: 埋め込みが有効な場合、build_pooling() がすべての プーリングタイプについてすでに出力を展開しており、埋め込みなしのデコーダーグラフは t_embd を読み込まないため、set_outputs() は t_logits のみを展開します。 * graph: LMヘッド出力のために build_logits() を追加 @ggerganov からのレビュー対応: LMヘッドは専用の build_logits() によって展開されます。 これは build_pooling() と同様に llama_model::build_graph() から呼び出され、 set_outputs() は出力のマークを再度行うだけです。 * graph: build_sampling() の前に build_logits() を呼び出す @ggerganov からのレビュー対応: build_sampling() は t_logits を読み込むため、 LMヘッドが先に構築されます。プールされたコンテキストは、サンプリング対象のロジットを 持たないため、サンプリングレイヤーもスキップします。 * nitウェブサイト: - https://llama.app
Attestations(証明): - https://github.com/ggml-org/llama.cpp/attestations/55574302
macOS および iOS： - macOS Apple Silicon（arm64）向け - macOS Apple Silicon（arm64、KleidiAI が有効化されたもの） 無効（DISABLED） - macOS Intel（x64）向け - iOS 向け XCFramework
Linux: - Ubuntu x64(CPU) - Ubuntu arm64(CPU) - Ubuntu s390x(CPU) - Ubuntu x64(Vulkan) - Ubuntu arm64(Vulkan) - Ubuntu x64(CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64(ROCm 10.0) - Ubuntu x64(OpenVINO) - Ubuntu x64(SYCL FP32) - Ubuntu x64(SYCL FP16) - Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU) - セットアップガイド
Android: - Android arm64(CPU) - Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU) - セットアップガイド
Windows版： - Windows x64(CPU)版 - Windows arm64(CPU)版 - Windows arm64(OpenCL Adreno)版 - Windows x64(CUDA 12)版 - CUDA 12.4 DLLファイル - Windows x64(CUDA 13)版 - CUDA 13.4 DLLファイル - Windows arm64(CUDA 13)版 - CUDA 13.4 DLLファイル - Windows x64(Vulkan)版 - Windows arm64(Vulkan)版 - Windows x64(OpenVINO)版 - Windows x64(SYCL)版 - Windows x64(ROCm 10.0)版
openEuler: - DISABLED - openEuler x86 (310p) での構成 - openEuler x86 (910b、ACL Graph) での構成 - openEuler aarch64 (310p) での構成 - openEuler aarch64 (910b、ACL Graph) での構成
UI: - UI