IT之家 10월 20일 소식에 따르면, DeepSeek은 오늘 공식적으로 발표했습니다. 이전에 대규모 모델, TileLang 컴파일 도구 및 추론 연산자 라이브러리를 오픈소스로 공개한 데 기반하여, 내부 추론 프레임워크 DeepInfer를 더욱 완전히 오픈소스화하기로 결정했습니다.
DeepSeek 공식에 따르면, 대형 모델의 능력 한계는 모델 자체에 의해 결정되지만, 합리적인 비용으로 초대규모 모델 서비스를 제공하는 방법은 아직 대중에게 알려지지 않은 중간 레이어인 추론 프레임워크에 달려 있다.
훈련은 모델이 학습을 이룰 수 있도록 하고, 추론은 모델이 사람들에게 활용될 수 있도록 합니다. 현재의 방대한 사용자 요청에 직면하여, 추론 프레임워크는 방대한 컴퓨팅 파워 클러스터를 조율하는 역할을 하며, 그 효율성은 AI 서비스의 컴퓨팅 비용과 전력 소비를 직접 결정합니다.
DeepSeek은 내부 배포 경험을 공유함으로써, 개발자와 기업 조직이 대규모 추론의 처리량과 지연 시간을 최적화하는 데 도움을 주어 민간 클라우드 및 공공 클라우드 배포를 효율적으로 구축할 수 있도록 합니다. 이를 통해 컴퓨팅 자원 비용을 줄이고 에너지 소비를 감소시켜, 스마트 기술이 더 낮은 가격으로 더 많은 사람들에게 도달할 수 있도록 하며, 진정한 대형 모델의 보편화를 실현합니다.
DeepInfer를 기반으로, DeepSeek 공식적으로 DeepSeek V4.1 Flash 고처리량, 저지연의 대규모 추론 서비스를 구현했습니다. 향후 DeepSeek의 새로운 모델의 추론 코드와 후속 최적화도 이곳에서 지속적으로 업데이트될 것입니다.
DeepInfer 추론 프레임워크: 고성능 연산기와 깊은 최적화된 추론 엔진을 통합한 것으로, 분산 추론, 추측 디코딩, SWA Bounded Replay, 구조화된 출력 등의 기능을 지원하며, NVIDIA와 화웨이昇腾 플랫폼과 호환됩니다.
deepseek-recipe 인코딩 및 디코딩 컨텍트: 오픈소스의 생산급 Token 인코딩 및 디코딩 컨텍트를 동기화하여, DeepSeek 공식 API 처리 로직과 완벽하게 일치하도록 하여 커뮤니티가 공식 배포와 동일한 API 경험을 얻을 수 있도록 합니다.
IT之家의 오픈소스 주소는 다음과 같습니다:
DeepInfer: https://github.com/deepseek-ai/DeepInfer
deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe
광고 명시: 본문에는 외부로 연결되는 링크가 포함되어 있으며, 이는 하이퍼링크, QR 코드, 비밀번호 등 다양한 형태를 포함합니다. 이러한 링크는 더 많은 정보를 전달하고 선정 시간을 절약하기 위한 목적으로 사용되며, 결과는 참고용일 뿐입니다. IT之家에서 제공하는 외부 링크가 포함된 기사는 모두 이 명시를 포함합니다.