Subquadratic ha lanzado SubQ Snap 1.1, empatando con d1-ultra y Elephant 9B en el primer puesto del Artificial Analysis Decision Index v1.0, impulsado por una baja tasa de alucinaciones
SubQ Snap 1.1 es el nuevo modelo de decisión de @subquadratic. Tiene un precio de $0.04 por 1M de tokens de entrada y admite una ventana de contexto de 384K tokens, en comparación con 32K para d1-ultra y 16K para Elephant 9B.
Conclusiones clave:
➤ SubQ Snap 1.1 obtiene 65 puntos en el Artificial Analysis Decision Index v1.0, empatado con d1-ultra y Elephant 9B: los tres modelos van 8 puntos por delante del siguiente modelo, Jev 1.14 (57).
➤ El resultado de SubQ Snap 1.1 en AA-Omniscience-Decision está impulsado por una baja tasa de alucinaciones: su tasa de no alucinación del 86% solo es superada por Elephant 9B (93%), por delante de d1-ultra (85%). Su precisión es del 20%, en comparación con el 32% de d1-ultra y el 12% de Elephant 9B. La tasa de no alucinación es la proporción de preguntas no respondidas correctamente en las que el modelo eligió "I don't know".
➤ SubQ Snap 1.1 obtiene un 18% en HLE-MultiChoice: al mismo nivel que Elephant 9B (18%) y por delante de d1-ultra (15%). HLE-MultiChoice es el subconjunto de opción múltiple solo de texto de Humanity's Last Exam.
➤ SubQ Snap 1.1 cuesta $30 por 1M de tareas: comparable a d1-ultra ($32), y ~3.6 veces el costo de Elephant 9B ($8.4), que obtiene los mismos 65 puntos.