OpenRouter BlogPublicación de la fuente

Presentamos los nuevos routers Auto y Auto Code

Hoy lanzamos la siguiente generación de Auto Router. Tomando todo lo que hemos aprendido al ejecutar Auto Router durante los últimos 3 años, lo reconstruimos desde cero sobre una base técnica completamente nueva que supera al router anterior hasta 4× según el benchmark, con un paso de enrutamiento 3× más rápido en el p90 en nuestra prueba en vivo (0.65s frente a 1.96s).

Hoy lanzamos la siguiente generación de Auto Router. Tomando todo lo que hemos aprendido al ejecutar Auto Router durante los últimos 3 años, lo reconstruimos desde cero sobre una base técnica completamente nueva que supera al router anterior hasta 4× según el benchmark, con un paso de enrutamiento 3× más rápido en el p90 en nuestra prueba en vivo (0.65s frente a 1.96s).

Es más fácil para un router obtener buenos puntajes en benchmarks que funcionar bien en la práctica. Auto Router procesa más de 2.5T tokens de más de 100k personas cada mes, así que tiene que mantenerse en el mundo real.

Este lanzamiento incluye un router completamente nuevo especializado en trabajo de programación, Auto Code (openrouter/auto-code), junto con nuestro Auto Router (openrouter/auto).

insignia de propósito general. Pruébalo ahora configurando model to openrouter/auto o openrouter/auto-code en cualquier solicitud, o abre Auto Router en el chatroom. Consulta la documentación de Auto Router para ver todos los detalles.

Novedades de esta generación

El Auto Router anterior se basaba en un par de señales imprecisas, como el tipo de tarea, para impulsar la selección de modelos, una limitación necesaria para mantener la latencia baja y los juicios consistentes. El nuevo Auto Router y Auto Code eligen modelos ponderando once factores sobre cada solicitud y combinándolos con precios en vivo, salud de proveedores y estado de caché.

Este nuevo proceso permite que Auto Router funcione con cualquier conjunto de modelos. Puedes aplicar cualquier política de gobernanza, incluidos guardrails, requisitos de retención cero de datos, restricciones de proveedores, listas de modelos permitidos y claves BYOK. Auto Router hace elecciones eficientes entre los modelos disponibles para ti.

Introdujimos el nuevo router Auto Code basándonos en comentarios sobre lo que significaba usar un router de propósito general en un harness de programación. Este router está afinado desde cero para rendimiento en programación al incluir un nivel superior de modelos de programación y optimizar la latencia. En los cinco benchmarks a continuación, Auto Code puntúa en línea con Claude Opus 5.5 mientras cuesta 74% menos por tarea.

En la generación anterior, también observamos que la notable eficiencia de los modelos de menor costo había hecho que Auto router derivara hacia un menor costo por tarea, dejando fuera muchos modelos excepcionales. Tomamos la decisión en esta versión de volver a precios más cercanos a donde estaba Auto hace unos meses para introducir una mayor variedad de modelos. Si preferías el comportamiento anterior, puedes establecer el cost_tier en low para obtener un rendimiento de costo similar.

Consulta el razonamiento detrás de las decisiones de enrutamiento en el chatroom

La manera más fácil de empezar a aprender cómo funcionan estos nuevos routers es elegir Auto Router o Auto Code en el chatroom. Aparece un panel de información de enrutamiento junto a cada respuesta que muestra por qué el router eligió ese modelo. El mismo análisis está disponible a través de la API cuando habilitas router metadata.

Observa la mezcla de enrutamiento en vivo en cada página de modelo

Los routers Auto Router y Auto Code las páginas de modelos ahora muestran qué modelos elige cada router con mayor frecuencia, desglosados por tipo de sesión, y cómo cambia la mezcla a medida que aumenta la dificultad.

Compare el rendimiento con otros routers y modelos individuales

Los resultados de los benchmarks de Auto Router y Auto Code están publicados en la página de benchmarks de enrutamiento de modelos junto con los otros routers en OpenRouter y las líneas base de modelos individuales. Los volvemos a ejecutar periódicamente, para que pueda seguir cómo se mantiene cada router a medida que se lanzan nuevos modelos.

Construido sobre años de lecciones de la operación de Auto Router

Auto Router está por cumplir su tercer aniversario. Si configuró openrouter/auto en un agente hace años, todavía está obteniendo la opción más reciente óptima en costos hoy. Hemos aprendido mucho sobre dónde falla la selección automática de modelos, y construimos la nueva generación para evitar esos problemas. Algunos ejemplos:

Separamos Auto Code para optimizarlo para harnesses. La queja más común sobre las versiones anteriores de Auto Router era cómo funcionaba en harnesses de programación. Auto Code favorece un nivel de modelos ligeramente más caro cuyas fortalezas coinciden con el trabajo de programación. Pondera la velocidad con más peso porque la capacidad de respuesta importa mientras usted construye. También penaliza los fallos con más severidad, por lo que corrige el rumbo más rápido en trabajos donde el éxito y el fracaso están claramente definidos.

Es moderado al cambiar de modelo para proteger los beneficios del caché. Cambiar de modelo cuesta extra mientras el nuevo modelo reconstruye el caché de tokens de entrada. Auto Router favorece un cambio en el esfuerzo de razonamiento cuando eso es suficiente, y cambia solo cuando la ganancia vale el caché que sacrifica. En nuestro período beta se mantuvo en el mismo modelo durante casi nueve de cada diez turnos de agente.

Se adapta a los fallos. Cuando una sesión va mal de maneras que apuntan al modelo, como que el mismo error vuelve a aparecer o que las pruebas fallan tras una edición, esas señales aumentan la probabilidad de un cambio. Eso hace que sea mucho menos probable que una sesión se quede atascada con un modelo que fue la elección equivocada desde el principio.

Está ajustado tanto en base al uso real como a benchmarks. Auto Router mejora con cada ejecución de benchmark y con cada decisión de enrutamiento real que ve. A través de typesafe/jev-router y openrouter/auto-beta ya lo hemos verificado en cargas de trabajo de producción, respetando en todo momento la retención cero de datos. En nuestra beta, frente al router anterior, las llamadas a herramientas inválidas fueron 4 veces menores y las respuestas agénticas se cortaron la mitad de las veces.

Model Routing construido sobre la destacada base de Provider Routing

Los routers de modelos como Auto Router y Auto Code eligen qué modelo procesará la solicitud. El enrutamiento de proveedores elige quién servirá ese modelo. OpenRouter lo ha hecho para cada solicitud desde el principio: una vez que se elige el modelo, el router de proveedores escoge entre los proveedores que lo alojan usando sus preferencias de proveedor, el tiempo de actividad y la latencia en vivo, el precio, y si un proveedor ya tiene su caché de prompts.

Un router de modelos solo puede ser tan bueno como el router de proveedores subyacente. Construimos Auto Router para que tenga en cuenta todo nuestro catálogo, por lo que se adapta a las restricciones de gobernanza, a los resultados de benchmarks y a las señales del mercado de lanzamientos de nuevos modelos a medida que ocurren. Cada uno de los más de 600 modelos en OpenRouter entra en el conjunto de consideración el día en que se añade, y los benchmarks y las señales de popularidad deciden si se gana un lugar en el conjunto costo-óptimo.

Cómo se mueve una solicitud a través de Auto Router

  1. Auto Router reduce el conjunto de modelos. Las salvaguardas, la retención cero de datos, las capacidades del modelo, las restricciones de proveedores, las claves BYOK y cualquier lista de modelos permitidos o excluidos deciden qué modelos se consideran.

  2. Un modelo de decisión rápido procesa la solicitud. En una sola llamada evalúa once cosas, como qué tipo de tarea es, si la tarea acaba de cambiar, qué tan difícil es, si la velocidad importa, si necesita visión o conocimiento de una base de código, y si un modelo más grande, más razonamiento o un modelo más barato serviría mejor.

  3. La política de enrutamiento elige el modelo. Pondera los precios en vivo, el estado de la caché y el rendimiento en benchmarks para elegir tanto el modelo como el esfuerzo de razonamiento.

  4. La solicitud pasa por el mismo enrutamiento de proveedores que pasaría una solicitud directa a ese modelo, por lo que aterriza en el mejor proveedor para ese modelo.

  5. Los resultados de cada turno informan la selección de modelo del siguiente turno. El router lleva señales como si el modelo está teniendo dificultades y qué está ya en caché hacia la siguiente decisión.

Routers frente a modelos únicos

Los benchmarks muestran consistentemente que ningún router del mercado supera al mejor modelo frontera único en todos los puntos de la curva de costo y calidad. El nuevo Auto Router no es la excepción, y publicamos sus benchmarks para mostrar sus fortalezas y debilidades con claridad.

Los routers ganan su lugar cuando el trabajo es variado, cuando una organización necesita mantener los costos estables, y para las personas que no tienen el tiempo ni el interés de seguir el flujo constante de lanzamientos de modelos. Elegir Auto Router o Auto Code en lugar de un solo modelo intercambia un poco de rendimiento máximo por un rendimiento consistente y eficiente en costos a lo largo del tiempo.

Si conoces el modelo que funciona mejor para tu trabajo específico, sigue usándolo. Si prefieres elegir una vez y concentrarte en el trabajo mismo, un router es la manera de hacerlo.

Comienza

Auto Router y Auto Code funcionan dondequiera que pondrías una cadena de modelo:

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openrouter/auto-code",
    "messages": [{"role": "user", "content": "Add a retry with backoff to fetchUser in api/users.ts"}]
  }'

Lee la documentación de Auto Router para ver todos los ajustes, o abre Auto Router en el chat y envíale el prompt que normalmente elegirías un modelo a mano. Dinos qué hace bien y qué hace mal en #feedback en Discord.

Preguntas frecuentes

¿Qué necesito cambiar para pasar del antiguo Auto Router?

Nada en absoluto. El slug sigue siendo openrouter/auto y la configuración del auto-router plugin cost_tier, allowed_models, y excluded_models siguen funcionando.

¿Cuál es la diferencia entre Auto Router y Auto Code?

Ambos funcionan con el mismo motor de enrutamiento. Auto Router es el enrutador de propósito general para tráfico mixto y agentes generales, y favorece un nivel de modelos rentable en cuanto a coste. Auto Code está especializado en agentes de programación y harnesses, empieza en un nivel de coste más alto, y pondera la tasa de éxito medida, la velocidad y el coste por tarea resuelta entre modelos y niveles de razonamiento.

¿El enrutamiento de modelos es lo mismo que el enrutamiento de proveedores?

No. El enrutamiento de modelos elige qué modelo atiende una solicitud; el enrutamiento de proveedores elige qué proveedor sirve ese modelo. Auto Router y Auto Code hacen lo primero, y luego el enrutamiento de proveedores de OpenRouter hace lo segundo con tus preferencias de proveedor, datos de disponibilidad y estado de la caché de prompts.

¿Los enrutadores respetan mis políticas de seguridad y de datos?

Sí. Las políticas de protección, los requisitos de retención cero de datos, las restricciones de proveedores, las listas de modelos permitidos y excluidos, y las claves BYOK definen el conjunto de modelos, y el enrutador elige el modelo de coste óptimo dentro de él.

¿Un enrutador cuesta extra?

No. Pagas el precio estándar del modelo que atienda la solicitud, y el campo model de la respuesta te indica cuál fue.

¿Qué es openrouter/auto-beta?

Auto Router Beta es el canal de lanzamiento de la próxima versión de Auto Router. Los nuevos cambios de enrutamiento se publican primero en openrouter/auto-beta y se consolidan en openrouter/auto una vez que demuestran su eficacia, así que úsalo para ver de antemano lo que viene. Si lo pruebas, dinos qué acierta y qué falla en #feedback en Discord.

Fuente original

OpenRouter Blog

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original