DeepSeek은 10월 20일에 공식적으로 발표했습니다. 일련의 대형 모델, TileLang 컴파일 도구 및 추론 연산자 라이브러리를 순차적으로 오픈소스로 공개한 후, 한 걸음 더 나아가 자체 내부 추론 프레임워크 DeepInfer를 전면에 오픈소스로 공개하기로 결정했습니다.
이 회사는 대중이 오랫동안 무시해온 중간 단계를 명확히 했습니다. 대형 모델의 능력 한계는 모델 자체에 의해 결정되지만, 초대규모 모델 서비스를 합리적인 비용으로 운영하는 방법은 실제로 추론 프레임워크에 달려 있습니다. 훈련은 모델이 '학습을 마치게' 하고, 추론은 모델이 '사용될 수 있게' 합니다. 현재와 같은 방대한 수의 사용자 요청에 직면하여, 추론 프레임워크는 방대한 컴퓨팅 파워 클러스터를 조율하는 역할을 하며, 그 효율성은 AI 서비스의 컴퓨팅 비용과 전력 소비를 직접 결정합니다.
DeepSeek은 내부 배포 경험을 공개하여 개발자와 기업 조직이 대규모 추론의 처리량과 지연 시간을 최적화할 수 있도록 도와줌으로써, 사설 또는 공공 클라우드 배포를 더 효율적으로 구축할 수 있게 합니다. 이를 통해 컴퓨팅 비용을 낮추고 에너지 소비를 줄이며, 스마트 기술이 더 저렴한 가격으로 더 많은 사람들에게 도달할 수 있도록 하여, DeepSeek이 말하는 "대규모 모델의 보편적 접근"을 실현합니다.
DeepInfer를 기반으로, DeepSeek 공식 팀은 DeepSeek V4.1Flash의 고처리량 및 저지연 대규모 추론 서비스를 성공적으로 구현했습니다. 향후 새로운 모델의 추론 코드와 후속 최적화도 이 프레임워크 내에서 지속적으로 업데이트될 것입니다.
구체적으로는 DeepInfer 추론 프레임워크는 고성능 연산기와 깊은 수준의 최적화된 추론 엔진을 통합하여, 분산 추론, 추측 디코딩, SWA Bounded Replay, 구조화된 출력 등의 기능을 지원하며, 인텔과 화웨이昇腾 두 플랫폼 모두와 호환됩니다. 이와 동시에 오픈소스로 공개된 deepseek-recipe 인코딩 및 디코딩 구성 요소도 있습니다. 이는 생산급의 토큰 인코딩 및 디코딩 모듈로, DeepSeek 공식 API의 처리 로직과 완벽하게 일치하여 커뮤니티가 얻는 API 경험이 공식 배포와 일관되도록 합니다. 자체적으로 추론 서비스를 구축하고자 하는 사람들에게는, 처음부터 다시 시작할 필요가 없으며 DeepSeek의 배포 경험을 바탕으로 바로 시작할 수 있다는 의미입니다.