タスクを一度解けたからといって、モデルが一貫して答えられるとは限らず、一貫性は最先端モデルが…における優位性の重要な部分である。

タスクを一度解けたからといって、モデルが一貫して答えられるとは限らず、一貫性は最先端モデルがVIALSにおいて優位に立つための重要な要素である。

Kimi K3.1 Proは3回の試行のうち少なくとも1回正解したタスクが161問中119問であるのに対し、GPT-6 Astraは161問中118問である。3回すべての試行で成功することを求めると様相は変わる:Kimiは73問(45%)に合格するが、Astraは101問(63%)に合格する。