WisedocsのMedical Long Context ReasoningベンチマークのリーダーボードであるMLCR-AAを更新し、Claude Sonnet 5.5とGPT-6 Astraが現在1位のスコアで同点となりました
MLCR-AAの@wisedocsaiのベンチマークにおけるプロンプトと採点方法を更新し、実際の診療記録レビューの運用をより正確に反映するようにしました。モデルは診療記録レビュー担当者としてプロンプトされ、質問の各部分について、結論と記録からの裏付けとなるエビデンスを1段落で回答するよう求められます。回答は新設の3モデル審査パネルによって採点され、60件すべての専門家参照回答を出典記録と照合して見直し、15件を修正しました。
@AnthropicAIのClaude Sonnet 5.5(max with fallback)と@OpenAIのGPT-6 Astra(max)が41.7%で首位に並び、GPT-6.1 Sol(max)が38.3%で続いています。@Alibaba_QwenのQwen3.8 2.4T A95Bは30.6%で、オープンウェイトモデルの中で首位です。
更新後のMLCR-AAの主な結果:
➤ 診療記録レビューは依然として解決済みには程遠い:回答は完全性と正確性の両方を満たした場合のみ合格となり、42%を超える問題に合格したモデルはなく、中央値のモデルは15%未満
➤ Anthropicのモデルは完全性で首位、適切な医学的推論をもって専門家の結論に到達:テストしたすべてのモデルおよび推論レベルを通じて、Claudeモデルが完全性スコアの上位18位を独占しており、首位はClaude Sonnet 5.5(max with fallback)の64.8%。最高位の非AnthropicモデルはGPT-6 Astra(max)の42.2%
➤ OpenAIのモデルは正確性で首位、誇張やハルシネーションなしで記録を引用:OpenAIモデルは正確性スコアの上位27位を独占しており、首位はGPT-6.1 Sol(max)の96.7%。ただし完全に回答できる問題は少なく、GPT-6.1 Sol(max)は40.0%の問題でのみ完全な回答となっています
MLCRを構築し、Artificial Analysisへの提供にご協力いただいたWisedocsに感謝いたします