更新されたMLCR-AA方式の仕様は以下のとおりです:
➤ モデルには、タスクを診療記録のレビューとして位置付けるシステムプロンプトが与えられ、質問は約25k〜64kトークンの診療記録全体の後に配置されます
➤ 質問が独自の形式を指定していない場合、モデルは質問の各部分に1段落で回答し、結論と診療記録からの裏付けとなる証拠を示します。回答の長さがモデル間で一貫するようになったため、簡潔性テストは廃止しました
➤ 採点には、GPT-6.1 Sol、Claude Opus 5.5、Grok 4.7の3モデル審査パネルを使用し、すべてmedium effortで実行します。各審査員は、診療記録と矛盾する主張、および回答が漏れている模範解答の要点を列挙し、過半数の審査員がいずれも列挙しなかった場合に回答は合格となります。3人の審査員全員が同じ判定を下す割合は、回答の69%で、以前のパネルでの48%から上昇しました
➤ すべての質問は3回実行され、繰り返し間の平均値を報告します
更新されたリーダーボードのスコアは、以前のMLCR-AAの結果と直接比較することはできません。MLCR-AAはArtificial Analysis Intelligence Indexの構成要素ではありません。