我们正在为 HealthBench 和 HealthBench Professional 推出排行榜，这两个评估工具用于衡量人工智能模型在真实的健康对话中的表现。
HealthBench 和 HealthBench Professional 是 @OpenAI 开发的评估标准，用于根据医生制定的标准来评价模型对真实健康话题的回应。
HealthBench 在 5,000 次日常用户与医疗工作者的健康对话中对模型进行测试。这些测试涵盖七个主题，从紧急转诊到全球健康问题，每个评估标准都属于五个维度之一：准确性、完整性、沟通质量、情境意识以及操作遵循性。HealthBench Professional 则包含 525 次对话，与 HealthBench 不同，这些对话全部由临床医生参与。 这些包括咨询、写作和研究任务，还包含旨在挑战模型的对抗性及困难对话。
我们报告了 OpenAI 所给出的原始分数（即获得的评分比例）以及长度调整后的分数。长度调整后的分数会使长度超过 2,000 个字符的回复得分降低，而较短的回复得分则提高。与 OpenAI 最初的实现方式一致，回复由 GPT-5.4（低）（HealthBench Professional）和 GPT-4.1（HealthBench）进行评分。
HealthBench Professional 的关键结果：
➤ GPT-6 Astra 和 GPT-6.1 Sol 位居榜首：GPT-6 Astra（最高分）在长度调整后的得分率为 66.0%，与 GPT-6.1 Sol（最高分 65.1%）相当，且高于 Claude Sonnet 5.5（最高分带备用方案为 63.0%）。
➤ OpenAI 模型构成了任务得分与成本之比的帕累托前沿：该前沿包括 GPT-6 Luna（最高，61.9%，每任务 $0.004）、GPT-6 Sol（最高，62.3%，$0.036）、GPT-6.1 Sol（最高，65.1%，$0.047）到 GPT-6 Astra（最高，66.0%，$0.27）。GPT-6 Luna（最高）的得分比 GPT-6 Astra（最高）低 4 分，成本仅占后者的 2% 以下。
➤ Claude Opus 5.5 和 Claude Fable 5.1 受到最长的长度惩罚：两者每个回答的平均字符数约为 5,900 个，几乎是 2,000 个字符阈值的 3 倍，调整后损失了超过 11 分。Claude Opus 5.5（最大容量带备用方案）拥有最高的原始分数（71.4%），但降至第 6 位（59.9%）。GPT-6 Sol（最大容量）是唯一平均字符数低于 2,000 个（约 1,600 个）的模型，也是唯一分数上升的模型。
HealthBench的关键结果：
➤ Claude Sonnet 5.5 tops HealthBench：Claude Sonnet 5.5（最大值带备用方案）在长度调整后的评分中得分为62.1%，高于 DeepSeek V4.1 Flash（最大值，60.9%）和 GPT-6.1 Sol（最大值，58.5%）
➤ GPT-6 Luna、DeepSeek V4.1 Flash 和 Claude Sonnet 5.5 的得分与任务成本之间的帕累托前沿：GPT-6 Luna（最高水平）在每任务 $0.002 的成本下得分为 54.6%，DeepSeek V4.1 Flash（最高水平）在每任务 $0.005 的成本下得分为 60.9%。Claude Sonnet 5.5（有备用方案时最高水平）的平均任务成本为 $0.08，比 DeepSeek V4.1 Flash 高出约 16 倍，但得分则提高约 1 点。
➤ 更短的回答以信息完整性为代价换取沟通质量：每个 HealthBench 评分项都对应五个维度之一。信息完整性是指回复是否包含所有重要信息，而沟通质量则衡量其是否清晰、结构合理，且长度与细节程度均符合要求。GPT-6 Sol (max) 能生成最短的回答（约 1,000 个字符），并拥有最高的原始沟通质量得分（81%），但信息完整性得分最低（34%）。 Claude Sonnet 5.5（最大为备用版本）在完整性指标上领先（63%）
