Deepseek ha publicado como código abierto DeepInfer, su framework de inferencia interno, bajo la Apache License 2.0. La inferencia es la forma en que un modelo de IA entrenado gestiona las solicitudes y genera respuestas. DeepInfer es el software de servicio que permite al modelo V4.1-Flash de Deepseek producir respuestas rápidamente a gran escala.
El framework se basa en vLLM con kernels de cómputo optimizados, procesamiento distribuido entre múltiples chips y técnicas más rápidas de generación de texto. El código de los futuros modelos de Deepseek también se publicará como código abierto. Deepseek también lanza deepseek-recipe, que replica el procesamiento de tokens de la API oficial de Deepseek para que las configuraciones autohospedadas se comporten de la misma manera.
Los modelos de Deepseek ya son extremadamente baratos. DeepInfer cierra el último hueco para ejecutarlos aún más barato. El objetivo es "ayudar a la comunidad a reducir los costes de cómputo, disminuir el consumo de energía y hacer que la IA sea más asequible", dijo la empresa en X. Pero el lanzamiento también añade presión de precios sobre proveedores occidentales como OpenAI y Anthropic. Dada la carrera de IA entre China y EE. UU., el movimiento también podría estar motivado políticamente. Si las empresas occidentales de IA no cumplen sus objetivos de crecimiento, eso es un riesgo para la economía estadounidense y más allá.Anuncio
Fuente: Deepseek | Github