Quítales sus herramientas, y Claude Fable 5.2 puntúa por debajo de Claude Haiku 5.5 con herramientas en VIALS-AA; entre los modelos, el uso de herramientas casi duplica las puntuaciones, de ~25% a ~47% en promedio
VIALS-AA es nuestra implementación del benchmark VIALS de @joinHandshakeAI para razonamiento visual en investigación de ciencias de la vida. Por defecto, los modelos trabajan como agentes: piensan, ejecutan código y ven imágenes en un sandbox. Reejecutamos VIALS-AA en un formato de una sola vez: una petición con la pregunta y las imágenes, y sin herramientas.
Los modelos de menor coste en un entorno de agentes pueden superar a los modelos grandes de una sola pasada tanto en coste como en rendimiento en razonamiento visual e interpretación de artefactos científicos.
Claude Fable 5.2 (max) lidera VIALS-AA con 67% con herramientas, a un coste de $4.20 por tarea; sin herramientas puntúa 44% a $0.73 por tarea. Claude Haiku 5.5 (max) puntúa 49% con herramientas, a $0.07 por tarea: más alto que Fable sin herramientas, a aproximadamente una décima parte del coste.