HealthBench 和 HealthBench Professional：在真实的健康对话中评估模型
我们正在为 HealthBench 和 HealthBench Professional 推出排行榜，这两个基准测试用于评估 AI 模型在真实健康对话中的响应表现
HealthBench 和 HealthBench Professional 是 OpenAI 推出的基准测试，依据由医生创建的评分标准对模型在真实健康对话中的回复进行评分。
HealthBench 通过 5,000 段与普通用户和健康工作者的健康对话来测试模型。这些对话涵盖七大主题，从急诊转诊到全球健康，且每条评分标准都属于五个维度之一：准确性、完整性、沟通质量、情境感知和指令遵循。HealthBench Professional 是一个较小的集合，包含 525 段对话，与 HealthBench 不同的是，这些对话全部是与临床医生的对话。它们涵盖问诊、写作和研究任务，并包含旨在挑战模型的对抗性和困难对话。
我们同时报告原始分数（获得的评分点占比）和 OpenAI 报告的长度调整分数。长度调整分数会降低超过 2,000 字符的回复的分数，并提高较短回复的分数。与 OpenAI 的原始实现一致，回复由 GPT-5.4（low）（HealthBench Professional）和 GPT-4.1（HealthBench）进行评分。
HealthBench Professional 的主要结果：
➤ GPT-6 Astra 和 GPT-6.1 Sol 位居排行榜榜首： GPT-6 Astra（max）在长度调整分数上得分为 66.0%，与 GPT-6.1 Sol（max，65.1%）相当，并领先于 Claude Sonnet 5.5（max with fallback，63.0%）
➤ OpenAI 模型包揽了分数与每任务成本的完整 Pareto 前沿： Pareto 前沿由 GPT-6 Luna（max，61.9%，每任务 0.004 美元）经 GPT-6 Sol（max，62.3%，0.036 美元）和 GPT-6.1 Sol（max，65.1%，0.047 美元）延伸至 GPT-6 Astra（max，66.0%，0.27 美元）。GPT-6 Luna（max）比 GPT-6 Astra（max）低 4 分，而成本不到其 2%
➤ Claude Opus 5.5 和 Claude Fable 5.1 受到的长度惩罚最大： 两者平均每个回答约 5,900 字符，接近 2,000 字符阈值的 3 倍，调整后损失超过 11 分。Claude Opus 5.5（max with fallback）拥有最高的原始分数（71.4%），但降至第六位（59.9%）。GPT-6 Sol（max）是唯一平均低于 2,000 字符（约 1,600 字符）的模型，也是唯一分数上升的模型
HealthBench 的主要结果：
➤ Claude Sonnet 5.5 位居 HealthBench 榜首： Claude Sonnet 5.5（max with fallback）在长度调整分数上得分为 62.1%，领先于 DeepSeek V4.1 Flash（max，60.9%）和 GPT-6.1 Sol（max，58.5%）
➤ GPT-6 Luna、DeepSeek V4.1 Flash 和 Claude Sonnet 5.5 构成分数与每任务成本的 Pareto 前沿： GPT-6 Luna（max）以每任务 0.002 美元的成本得分为 54.6%，DeepSeek V4.1 Flash（max）以每任务 0.005 美元的成本得分为 60.9%。Claude Sonnet 5.5（max with fallback）的平均每任务成本为 0.08 美元，约为 DeepSeek V4.1 Flash 的 16 倍，却仅换来约 1 分的分数提升
➤ 较短的回答以完整性换取沟通质量： 每条 HealthBench 评分项都被标注为五个维度之一。完整性检查回复是否包含所有重要信息，而沟通质量检查回复是否清晰、结构良好、长度和详细程度是否恰当。GPT-6 Sol（max）写出的回答最短（约 1,000 字符），拥有最高的原始沟通质量分数（81%），但完整性分数最低（34%）。Claude Sonnet 5.5（max with fallback）在完整性上领先（63%）
完整排行榜请见此处：
➤ HealthBench Professional： https://artificialanalysis.ai/evaluations/healthbench-professional
➤ HealthBench： https://artificialanalysis.ai/evaluations/healthbench