DeepSeek는 10월 20일 내부 추론 프레임워크 DeepInfer를 전면 오픈소스화한다고 발표했으며, 이는 이전에 오픈소스화한 시리즈 대규모 모델, TileLang 컴파일 도구 및 추론 연산자 라이브러리에 이은 또 한 번의 개방이다. 공식 측은 대규모 모델의 능력 경계는 모델 자체가 정하지만, 어떻게 합리적인 비용으로 초대규모 모델 서비스를 제공할지는 추론 프레임워크라는 중간 계층에 달려 있다고 지적했다. 이 계층은 방대한 연산 클러스터를 통합적으로 스케줄링하며, 그 효율이 AI 서비스의 연산 비용과 전력 소비를 직접 결정한다.
DeepInfer는 고성능 연산자와 심층 최적화된 추론 엔진을 통합하여 분산 추론, 추측 디코딩(speculative decoding), SWA Bounded Replay, 구조화된 출력 등의 기능을 지원하며, 동시에 엔비디아와 화웨이 승텐(Ascend) 플랫폼과 호환된다. DeepSeek는 이 프레임워크를 기반으로 DeepSeek V4.1Flash의 고효율 처리량·저지연 대규모 추론 서비스를 이미 구현했으며, 향후 신규 모델의 추론 코드와 후속 최적화도 지속적으로 이곳에서 업데이트될 예정이다.
함께 오픈소스로 공개된 deepseek-recipe는 프로덕션급 Token 인코딩·디코딩 컴포넌트로, DeepSeek 공식 API의 처리 로직과 완전히 정렬되어 커뮤니티가 공식 배포와 동일한 API 경험을 얻을 수 있도록 보장한다. 두 코드는 모두 GitHub에서 공개되었으며, DeepSeek는 또한 주자이후(Zhihu)에 완전한 기술 보고서를 게시했다.
공식 측은 오픈소스 추론 프레임워크의 목적이 하나는 개발자와 기업 조직이 대규모 추론의 처리량과 지연을 최적화하고, 프라이빗 배포와 퍼블릭 클라우드 배포를 효율적으로 구축하도록 도와 연산 비용을 절감하고 에너지 소비를 줄이며, 더 낮은 가격으로 지능이 더 넓은 대중에게 닿을 수 있게 하는 것이고, 커뮤니티가 대규모 배포 최적화를 수행하는 것을 계속 지원할 것이라고 밝혔다. 모델, 연산자 라이브러리, 추론 프레임워크의 층층이 개방은 오픈소스 생태계로 추론 진입 장벽을 낮추고 지능의 대중화를 추진하는 국산 대규모 모델의 업계 경로를 이어간다.
오픈소스 저장소
DeepInfer 링크: https://github.com/deepseek-ai/DeepInfer
deepseek-recipe: https://github.com/
deepseek-ai/deepseek-recipe