Deepseek는 자사의 내부 추론 프레임워크인 DeepInfer를 Apache License 2.0으로 오픈소스화했습니다. 추론(inference)이란 훈련된 AI 모델이 요청을 처리하고 응답을 생성하는 방식을 말합니다. DeepInfer는 Deepseek의 V4.1-Flash 모델이 대규모로 빠르게 답변을 생성할 수 있게 해주는 서빙 소프트웨어입니다.
이 프레임워크는 기반으로 하며 vLLM 최적화된 컴퓨팅 커널, 여러 칩에 걸친 분산 처리, 더 빠른 텍스트 생성 기술을 갖추고 있습니다. 향후 Deepseek 모델의 코드 역시 오픈소스로 제공될 예정입니다. Deepseek는 또한 공식 Deepseek API의 토큰 처리 방식을 재현하여 자체 호스팅 환경이 동일하게 동작하도록 하는 deepseek-recipe, 공식 Deepseek API의 토큰 처리 방식을 복제하여 자체 호스팅 환경이 동일하게 작동하도록 합니다.
Deepseek의 모델은 이미 매우 저렴합니다. DeepInfer는 이를 더욱 저렴하게 실행하는 마지막 공백을 메웁니다. 그 목표는 "커뮤니티가 컴퓨팅 비용을 낮추고, 에너지 사용을 줄이며, AI를 더 저렴하게 이용할 수 있도록 돕는 것"이라고 회사는 X에서 밝혔습니다. 하지만 이번 공개는 OpenAI와 Anthropic 같은 서양 업체들에 가격 압박을 더합니다. 중국과 미국 간의 AI 경쟁 을 고려하면, 이 조치는 정치적 동기에서 비롯되었을 수도 있습니다. 서양 AI 기업들이 성장 목표를 달성하지 못하면 그것은 미국 경제와 그 이상의 범위에 대한 리스크가 됩니다.Ad
출처: Deepseek | Github