10월 16일, 베이징– 파난스 지능기술집단유한회사(“파난” 또는 “그룹”, 주식 코드: 6682.HK)와 베이징 루시지링과학기술유한회사(“루시지링”)는 일원화된 생산급 AI 배포 플랫폼 “모델스페이스”가 공식적으로 출시되었다고 발표했습니다. 이 플랫폼은 기업 사용자를 대상으로 무료로 오픈소스로 제공되며, 연산력 관리, 모델 배포 및 운영 최적화를 통합한 단일 플랫폼을 통해 기업이 배포 및 운영의 장벽을 낮추고 안전하고 안정적이며 실제 비즈니스에 활용 가능한 AI 서비스로 연산력을 더 효율적으로 전환할 수 있도록 지원합니다. 이 플랫폼은 GitHub에서 오픈소스로 공개되었습니다.
Github 주소: https://github.com/modelsphere/modelsphere
대규모 모델이 상업화 단계에 진입함에 따라, 기업들은 연산 능력의 통합 관리, 모델 배포 및 효율성 최적화에서 자원 활용도가 낮고, 칩 생태계가 분절되어 있으며, 배포 장벽이 높고, 생산 환경 조정이 어려는 등의 문제에 직면하고 있다. 모드域은 이러한 작업들을 통합된 배포 및 관리 프로세스로 조직화하여, 기업이 기반 시스템 적응, 자원 조정 및 일상 운영에 드는 중복적인 노력을 줄였습니다. 이를 통해 기술 팀은 컴파일링 및 하드웨어 적응과 같은 복잡한 작업을 깊이 이해하지 않고도 다양한 오픈소스 대규모 모델을 핵심 비즈니스 프로세스에 통합할 수 있게 되었으며, 기술 팀은 애플리케이션 개발과 비즈니스 요구사항에 더 집중할 수 있게 되었습니다.
모드 영역은 네 가지 핵심 장점을 갖습니다:
1. 배포를 간소화하여 모델 서비스의 안정적인 운영을 보장합니다: 모드 영역은 그래픽형 작업 패널과 사전 설정된 배포 기능을 제공하여 환경 설정 코드의 부적절한 사용을 줄이고, 개발자가 빠르게 대규모 모델 인식 서비스를 구축할 수 있도록 도와줍니다. 또한 다양한 칩 클러스터를 위한 플랫폼 내에 자동 확장/축소, PD 분리 배포, 3단계 KV 캐시, 고가용성 로드 밸런싱 및 서비스 중단 시 자동 재생성 등 기업급 기능이 내장되어 있어, 모델 서비스가 생산 환경에서 안정적으로 운영될 수 있습니다.
2. 지속적인 자동화 최적화를 통해 모델 운영 효율성을 높입니다: 플랫폼에는 AutoTune 스마트 모델 일정 전략과 하드웨어 가속 기능을 활용한 자기 적응 부하 균형 조정이 내장되어 있습니다. 이를 통해 모델의 요청 처리 능력과 첫 번째 응답 속도가 개선되며, 시스템의 최대 처리 효율은 기준치보다 약 285% 향상됩니다. 성능은 원래의 4배로 높아져, 실제로 컴퓨팅 파워가 "최대치"까지 발휘됩니다.
3. 다양한 칩을 통합 관리하여 중복 적응을 줄이다: 플랫폼 통합 EngineX 추론 엔진을 활용하여 다양한 컴퓨팅 칩에 맞게 심도 있는 최적화를 지원하며, 화웨이 승탄, 타이엔디 지신, 모어 스레드, 하이광 DCU 등 국내 컴퓨팅 리소스를 통합 및 혼합 조정할 수 있습니다. 따라서 사용자는 각각의 칩에 맞는 기반 로직 코드를 다시 작성할 필요가 없습니다.
4. 주요 모델에 대한 지속적인 최적화를 진행하고 애플리케이션 배포를 가속화합니다: 모델 팀은 오픈소스 커뮤니티의 업데이트를 지속적으로 추적하며 DeepSeek-V4/V4-Flash, Qwen, Kimi, MiniMax, GLM 등 주요 모델에 적합하도록 최적화했습니다. 이를 통해 모델 출시 후 신속하게 배포하고 생산 환경에 맞게 성능을 조정하여 기업이 새로운 모델을 실제 비즈니스에 적용할 수 있도록 합니다.
기술적 측면에서, 모듈 영역은 vLLM, SGLang 등 인지 엔진과 협력합니다. 인지 엔진은 단일 서버의 계산 효율성을 향상시키는 역할을 하고, 모듈 영역은 클러스터 아키텍처 수준의 관리 및 최적화를 담당합니다. 여기에는 부하와 캐시에 대한 인지 요청 라우팅, 통합 KV 캐시 풀, 서비스 품질 기반의 자동 확장/축소, 서비스 중단 시 자동 연속 작업, 온라인 데이터 기반의 자동 성능 조정, 운영 모니터링 및 서비스 관리 등이 포함됩니다. 이를 통해 생산 환경에서 시스템의 고성능과 높은 가용성을 보장합니다.
모드 영역은 유연한 Apache 2.0 프로토콜을 기반으로 완전히 오픈소스로 운영되며, 대규모 모델의 배포 및 최적화 기술을 더 많은 기업과 개발자들에게 제공합니다. 또한 산업계의 역량을 통합하여 다양한 칩과 모델에 대한 지원을 지속적으로 개선함으로써 하드웨어 호환성의 장벽을 줄이고 대규모 모델 응용의 진입장벽을 낮추어, 기업들이 기존 연산 능력을 효과적으로 활용하고 이종 연산 능력의 상업적 잠재력을 효율적으로 발휘할 수 있도록 합니다.
이 글은 파운드론이 제공했으며, 쿼크위티가 허가를 받아 재출판함. 의견은 원저자에게 속함.