OpenAIActualizado el

LegalOn reduce a la mitad los costos de Codex mientras mantiene la velocidad de desarrollo

LegalOn redujo un 65% los costos diarios estimados de Codex mientras mantenía la velocidad de desarrollo. Asignó Astra, Sol y Luna a las tareas según su complejidad y gestionó los presupuestos de manera estratégica.

Fuente de la imagen · OpenAI

LegalOn Technologies ofrece Professional AI a nivel global, utilizando la IA para respaldar el trabajo legal y otras funciones clave del negocio. Al combinar experiencia en el dominio con la IA, permite a las personas centrarse en juicios y decisiones complejas. Su objetivo es una gestión impulsada por la IA que mejore la calidad y la velocidad de la toma de decisiones empresariales.

Este enfoque va más allá de sus productos hasta convertir la propia organización en nativa de la IA. La empresa integró Codex en su proceso de desarrollo y amplió su adopción en toda la organización mediante el uso cotidiano.

A medida que la adopción prendía, surgió un nuevo desafío: el control de costos. El uso ilimitado de modelos de alto rendimiento podía disparar el gasto, mientras que las restricciones generalizadas ponían en riesgo las ganancias de productividad que la IA había permitido.

¿Cómo podía reducir costos sin frenar el desarrollo? LegalOn Technologies abordó este desafío seleccionando entre GPT‑6 (Astra, Luna) y GPT‑6.1 Sol según la complejidad de la tarea y la etapa de desarrollo, y alineando los presupuestos con la etapa de crecimiento de cada negocio. La empresa redujo a la mitad los costos manteniendo la velocidad de desarrollo.

Optimizar los modelos para mantener la velocidad de desarrollo y reducir costos

Inicialmente, la empresa dio a los desarrolladores acceso ilimitado a su modelo principal, GPT‑5.5 en modo Fast. Ampliaron su uso al diseño, la implementación y el trabajo cotidiano, aprendiendo mediante la experimentación cómo dividir mejor las responsabilidades entre personas e IA.

Sin embargo, seguir usando modelos de alto rendimiento sin límites inevitablemente excedería el presupuesto anual. El Centro de Excelencia de Desarrollo impulsado por IA de la empresa (AID CoE) comenzó a elaborar directrices para la selección de modelos. AID CoE probó y monitoreó los modelos, mientras que los gerentes compartían sus hallazgos con sus equipos. Esto permitió que cada ingeniero eligiera de manera independiente el modelo más adecuado para cada tarea.

Asignar modelos a las tareas y distribuir recursos de forma estratégica

Las nuevas directrices hicieron que la empresa pasara de usar el modelo de mayor capacidad para todas las tareas a elegir el modelo adecuado para cada trabajo. Los equipos comenzaban con un modelo ligero y pasaban a modelos más capaces a medida que aumentaba la complejidad de la tarea.

Para apoyar la gobernanza, la empresa también introdujo controles de sistema mediante la configuración de administrador, con límites mensuales de uso para departamentos e individuos. AID CoE monitorea el uso y ajusta los límites según lo requieran las necesidades del negocio.

Las pruebas internas bajo estos controles ayudaron a hacer los criterios de selección más específicos. GPT‑6 Luna, el modelo más ligero, maneja la implementación de código con requisitos claros; GPT‑6.1 Sol respalda el diseño estándar, el análisis de datos y la preparación de documentos; y GPT‑6 Astra, el modelo más capaz, maneja juicios avanzados, incluido el diseño de arquitectura. Asignar modelos a las tareas se convirtió gradualmente en una práctica compartida entre los equipos.

Elegir entre tres modelos para distintas tareas

GPT-6 Luna

Ejecución e implementación cotidianas; ejecución de automatizaciones cotidianas; delegación de tareas y análisis relativamente simples; implementación de código, principalmente como subagente.

GPT-6.1 Sol

Diseño y análisis estándar; diseño de software relativamente simple; análisis numérico rutinario y creación de documentos; tareas que requieren tiempos de finalización más cortos que con Luna.

GPT-6 Astra

Análisis, diseño y orquestación complejos; análisis y creación de documentos complejos; diseño de software complejo; coordinación de agentes como orquestador.

Junto con la selección de modelos, la empresa comenzó a restringir el modo Fast de forma predeterminada, permitiendo solicitudes individuales solo cuando fuera necesario. Aunque el cambio generó preocupaciones sobre la velocidad de desarrollo, los equipos usaron enfoques como la ejecución de tareas en paralelo para mantener el rendimiento y hacer una transición fluida.

También introdujo topes presupuestarios para el gasto en IA a nivel de departamento, grupo e individuo. Se pidió al negocio consolidado de LegalOn que mejorara la eficiencia de costos hasta en aproximadamente un 20%, mientras que los nuevos negocios en fase de lanzamiento recibieron presupuestos generosos para fomentar el uso activo de la IA.

Yuta Tokitake, Senior Engineering Manager en LegalOn Technologies, explica que los nuevos negocios priorizaron la velocidad del negocio sobre la eficiencia de costos. El objetivo era usar la IA de manera extensa para aumentar la producción y, en última instancia, impulsar el crecimiento del negocio.

En conjunto, la selección de modelos, las restricciones de funciones y los presupuestos adaptados a cada negocio redujeron los costos diarios estimados en aproximadamente un 65%. Este enfoque mantuvo el presupuesto general bajo control al tiempo que dirigía recursos hacia los negocios que la empresa quería hacer crecer.

Resultados de un vistazo

La optimización de modelos y la asignación estratégica de recursos arrojaron los siguientes resultados:

  • Un cambio de usar el modelo más capaz para cada tarea a seleccionar GPT‑6 Astra, GPT‑6.1 Sol o GPT‑6 Luna según la complejidad de la tarea y la etapa de desarrollo.

  • Rendimiento de desarrollo mantenido tras restringir el modo Fast de forma predeterminada, respaldado por prácticas de equipo como la ejecución paralela de tareas.

  • Topes presupuestarios que combinaron aproximadamente un 20% más de eficiencia en los negocios maduros con inversión activa en los nuevos negocios.

  • Una reducción del 65% en los costos diarios estimados en comparación con GPT‑5.5 al elegir entre los modelos GPT‑6 y 6.1.

Medir el verdadero ROI de la inversión en IA a través de los lanzamientos de funciones

Mediante la optimización de modelos, la empresa redujo costos sin sacrificar la velocidad ni la calidad del desarrollo. Los equipos también están viendo cómo la IA acorta constantemente el ciclo desde el desarrollo hasta el lanzamiento.

Pero la empresa mira más allá. ¿El desarrollo más rápido, por sí solo, hace que la inversión en IA sea un éxito? La conexión entre un desarrollo más rápido y el valor para el cliente seguía siendo poco clara. «Es casi un hecho que la IA puede acelerar el desarrollo y la actualización de sistemas», dice Tokitake. «Lo que realmente queremos entender es si ese desarrollo más rápido se traduce efectivamente en valor para los clientes.»

Esta pregunta llevó a la empresa a desarrollar su propia métrica, cambiando la base para evaluar la inversión en IA de la velocidad de desarrollo y el volumen de uso al valor para el cliente.

Tokitake explica: «Al usar IA, podemos rastrear el costo de tareas individuales, pero el costo total de un trabajo completo, el lanzamiento de una funcionalidad, a menudo sigue siendo una caja negra. Por eso diseñamos la medición en torno a cada lanzamiento de funcionalidad como una unidad única. Al vincular el valor para el cliente que ofrece ese lanzamiento con los costos reales de IA invertidos en él, buscamos hacer visible y precisa el retorno de la inversión.»

La empresa está construyendo actualmente el pipeline para calcular esta métrica. Una vez completado, hará visible el ROI real en términos de valor para el cliente. LegalOn Technologies está yendo más allá de la gestión de costos de IA para conectar directamente la inversión tecnológica con el valor del negocio.

Construyendo una organización y una gobernanza para la era de la IA

El siguiente objetivo es convertir el conocimiento de IA de los ingenieros individuales en una capacidad de toda la organización. Como primer paso, la empresa planea construir una base de conocimientos para recopilar y compartir la experiencia práctica. Capturará conocimientos como las mejores combinaciones de modelos para el diseño, la implementación y la revisión, y convertirá rápidamente los éxitos individuales en mejores prácticas para toda la empresa.

Estos cambios, impulsados por la experiencia práctica de los equipos, también están moldeando la organización y la contratación. Los aumentos de productividad impulsados por la IA están llevando a la empresa a replantearse fundamentalmente cómo se divide el trabajo entre personas e IA, así como sus planes de plantilla. Ya ha comenzado a enfatizar las habilidades de IA en la contratación, a medida que evolucionan su estrategia de inversión y su estructura organizativa.

Convertir la adopción de IA en una ventaja competitiva duradera requiere refinar continuamente el equilibrio entre la gobernanza y la libertad de acción de los equipos. AID CoE y el equipo de seguridad están trabajando juntos para optimizar el rendimiento, el costo y el riesgo desde múltiples perspectivas, construyendo un marco flexible que respalde la experimentación en toda la organización.

«Las restricciones excesivas mediante reglas y presupuestos pueden socavar el impulso de una organización. Lo que necesitamos es un modelo operativo flexible que equilibre eficazmente el control de riesgos con la velocidad que los equipos necesitan.»
Yuta Tokitake, Senior Engineering Manager, LegalOn Technologies

OpenAI <3 startups

Únete a la comunidadEmpieza a construir(se abre en una nueva ventana)
Fuente original

OpenAI

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original