预发布 / 持续构建版本:这是一个实验性构建版本,并非稳定版本。
log, server: 自包含的颜色, 在路由模式下将子命令与日志分离 (#29895) * log, server: 让路由子进程的行携带自己的颜色 日志器在末尾换行符之后写入颜色重置码,因此重置码会开启下一行。在路由子进程的共享管道上,它会落在下一条状态命令之前,路由器因此错过该命令,而为规避此问题所做的换行处理会在每次进度更新时显示为一行空日志。 现在重置码被放在末尾换行符之前,因此每一行都是自包含的,命令恢复其普通格式。路由器将其有效的颜色设置传递给子进程,子进程的输出最终进入其终端,并且在重新加载比较预设时忽略该选项。 * log: 在 Windows 控制台上启用 ANSI 颜色 Windows 控制台只有在虚拟终端模式下才渲染 ANSI 序列,而没有任何东西为日志器启用该模式,因此 llama-server 在 Windows 10 控制台上打印原始转义码,而控制台代码已启用该模式的 llama-cli 则能显示颜色。日志器现在在启用颜色时会在 stdout 和 stderr 上启用虚拟终端模式,并在控制台无法渲染颜色时保持颜色关闭。管道和文件则原样接收这些序列。 * server: 将路由子进程的命令与其日志分离 子进程将其状态命令与其日志发送到同一管道上,因此路由器不得不通过行前缀从日志流中挑出它们,而命令前面的任何未终止的写入都会导致路由器错过该命令。这解决了生成时那个要求分离 stdout 和 stderr 的 TODO。 子进程现在保留 stdout 用于命令,并在写入任何内容之前将所有其他原本写到 stdout 的内容指向 stderr。路由器读取两个管道,处理来自 stdout 的命令,并将 stderr 作为日志转发,同时对命令管道上的任何其他行发出警告。 * server: 回应 ngxson 的评审意见 现在单一 server_child 首先在入口点创建,其构造函数保留 stdout 用于 命令,因此该流成为实例的成员而非静态变量,并且 init() 被移除。实例被向下传递给 server,而 CLI 入口点创建自己的实例。 * Update tools/server/server.cpp --------- Co-authored-by: Xuan-Son Nguyen网站: - https://llama.app
证明: - https://github.com/ggml-org/llama.cpp/attestations/52670797
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, 启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework
Linux： - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 库 - Ubuntu x64 (CUDA 13) - CUDA 13.4 库 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 库 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU） - 安装指南
Android： - Android arm64 (CPU) - Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU） - 安装指南
Windows 平台： - Windows x64（CPU）版本 - Windows arm64（CPU）版本 - Windows arm64（OpenCL Adreno）版本 - Windows x64（CUDA 12）版本 - CUDA 12.4 DLL 文件 - Windows x64（CUDA 13）版本 - CUDA 13.4 DLL 文件 - Windows arm64（CUDA 13）版本 - CUDA 13.4 DLL 文件 - Windows x64（Vulkan）版本 - Windows arm64（Vulkan）版本 - Windows x64（OpenVINO）版本 - Windows x64（SYCL）版本 - Windows x64（ROCm 10.0）版本
openEuler： - DISABLED - openEuler x86 架构（310p） - openEuler x86 架构（910b，ACL Graph） - openEuler aarch64 架构（310p） - openEuler aarch64 架构（910b，ACL Graph）
UI： - UI