AIbase수정일

蚂蚁 百灵 오픈소스 Ling-3.1-flash: 560B급 모델 배포가 4카드로 감소, 최대 1M 컨텍스트 지원

10월 15일, 蚂蚁그룹은 百灵 대형 모델 Ling-3.1-flash를 오픈소스로 공개하며, '실제 사용 가능성'을 내세워 실제 세계의 작업에 맞춰 업그레이드하여 모호한 비즈니스 요구의 빠른 구현을 지원한다. 가중치는 Hugging Face와 ModelScope에서 다운로드 가능하다. 모델은 Ling-3.0-flash의 하이브리드 선형 아키텍처를 계승했으며, 총 약 560B 파라미터…

10월 15일, 蚂蚁그룹 산하 百灵 대형 모델은 Ling-3.1-flash를 오픈소스로 공개한다고 발표했다. 이 모델은 '실제 사용 가능성'을 내세워 실제 세계의 작업에 맞춰 능력을 업그레이드하고, 모호한 비즈니스 요구를 더 빠르게 사용 가능한 결과로 전환한다. 오픈소스 모델은 Hugging Face와 ModelScope에서 가중치 다운로드를 제공한다.

Ling-3.1-flash는 Ling-3.0-flash의 하이브리드 선형 아키텍처를 계승했으며, 총 약 560B 파라미터를 보유하고 Token당 약 25B 파라미터를 활성화하며, 최대 1M 컨텍스트를 지원한다. 모델은 사무, 의료, 소프트웨어 엔지니어링, 터미널 조작 등 복잡한 워크플로에서 고품질 성능을 유지했다. 흩어진 자료 앞에서는 보고서와 보고 자료 정리를 지원하고, 산발적인 증상 앞에서는 병력과 진료 문제를 정리하며, 오래된 코드 앞에서는 기존 구현을 이해하고 새로운 기능을 작성하며 테스트 결과에 따라 계속 수정할 수 있다.

사무 작업 평가 GDPVal-AA V2.1에서 Ling-3.1-flash는 1673점(ELO)을 획득했다. HealthBench Professional 의료 시나리오 평가에서 모델은 65.35점을 받았다. 소프트웨어 엔지니어링 벤치마크 FrontierSWE와 터미널 조작 벤치마크 Terminal-Bench4.0 평가에서 모델은 복잡한 엔지니어링 작업 처리 능력을 마찬가지로 보여주었다.

이번 오픈소스 공개를 통해 百灵은 더 많은 팀이 자체 환경에서 Ling-3.1-flash를 배포하고 접속하여 이러한 시나리오 역량을 자신의 비즈니스 프로세스에 통합할 수 있기를 희망한다.

일상적으로 실제 작업을 다룰 때, 기업 지식 어시스턴트와 코드 어시스턴트는 자료를 연속적으로 처리하고, 콘텐츠를 생성하며, 피드백에 따라 결과를 수정해야 하는 경우가 많다. 모델은 이러한 작업을 처리할 수 있는 범용 능력을 갖추는 동시에 다중 호출에서도 충분히 빠른 응답을 유지해야 한다. '지효비(智效比)'는 百灵 시리즈 모델의 핵심 특징으로, Ling-3.1-flash 모델 차원에서 계승되고 더욱 강화되었다.

Artificial Analysis의 공개 평가에서 Ling-3.1-flash는 지능 지수 41, 출력 속도는 초당 약 210Token으로, 고빈도 비즈니스 시나리오에 지능 지수와 생성 효율의 이중 역량을 제공한다. 또한 Ling-3.1-flash의 하이브리드 호출 가격은 백만 Token당 약 0.19美元로, 빠른 출력·낮은 가격 구간에 위치하며, 고빈도 호출 시나리오에서 생성 효율과 비용 우위를 겸비한다.

로컬 배포와 관련해, 팀은 routed experts에 MXFP4 양자화를 적용하고 dense 층은 block-FP8을 유지하여 가중치 점유를 약 534GB에서 292GB로 낮췄다. 해당 Hopper GPU 테스트 구성에서 서비스 배포가 8카드에서 4카드로 감소하여, 서버급 GPU를 보유한 팀이 더 적은 카드 수로 모델을 실행할 수 있게 되었다.

이전에 Ling3.0 시리즈는 서버에서 개인 컴퓨터, 모바일 단말기에 이르는 다양한 배포 경로를 커버하며 여러 유형의 기기에서 오픈소스 실천을 진행했다. 예를 들어 서버 측에서는 단일 NVIDIA DGX Spark로 Ling-3.0-flash를 실행하여 코딩 에이전트를 구동해 미니게임을 구축·테스트하고, 개인 컴퓨터 측에서는 16GB MacBook Air로 Ling-3.0-tiny를 실행하여 상주 로컬 어시스턴트를 구축하며, 모바일 측에서는 Galaxy A324G가 Tiny GGUF 버전을 통해 로컬 추론과 도구 라우팅 프로토타입을 검증했고, 샤오미14T Pro는 PocketPal을 활용해 Tiny 버전의 로컬 대화를 구현했다.

알려진 바에 따르면, Ling-3.0 시리즈 모델의 Hugging Face 최근 30일 다운로드 수는 100만 회에 육박하며, 커뮤니티는 Flash GGUF, Tiny GGUF, Flash MLX4bit 등 다양한适配 버전을 제공하고 있다. Ling-3.1-flash의 오픈소스 공개와 함께, 百灵 시리즈 모델은 개발자에게 더 완전하고, 자율적으로 검증·재적응 가능한 모델 기반을 제공하며, 동시에 모델 역량이 실제 비즈니스 인도에 한층 가까워지고 있음을 의미한다. 요구사항 문서, 코드 저장소에서 프로덕션 환경에 이르는 체인이 계속 압축되고 있다.

百灵은 蚂蚁그룹의 AI 비즈니스 발전을 뒷받침하는 모델 연구 역량으로서, 소비자용 AI 애플리케이션과 엔터프라이즈급 에이전트에 중요한 모델 역량 지원을 제공했다. 단순히 모델 파라미터 규모만 추구하는 것과 달리, 百灵은 모델 역량을 실제 비즈니스에 도입해 결과를 인도하는 데 집중한다. 금융, 의료 등 복잡한 전문 분야에서 百灵은 기반 모델에 의존해 Ling-3.0-flash-Fin, Ling-3.0-flash-Sante 등 강화 모델을 잇달아 출시하여, 범용 모델 역량을 투자연구, 건강 관리 등 실제 비즈니스 프로세스의 전문 역량으로进一步 전환했다.

원문 출처

AIbase

내용 안내

원문 발행 및 권리는 출처에 있습니다.

기계 번역 · 원문을 참고하세요