지난 봄에 소개된 Granite Switch 프로젝트는 모델 개발에 대한 모듈형 접근 방식을 가능하게 합니다. 이제 Granite Switch 4.1 모델은 Decision 어댑터와 OpenASR 리더보드에서 가장 빠른 ASR 모델을 갖추고, 하나의 호스팅 엔드포인트에서 자연어 응답, 일반 및 전문 의사결정, 음성 인식 작업 사이를 효율적으로 이동할 수 있습니다.
구체적으로, Granite-Switch-4.1-8B 및 -30B 모델은 다음을 포함하도록 구성되어 있습니다:
- 범용 의사결정을 위한 새로운 Decision aLoRA (예: v1/systemone),
- 안전 관련 의사결정 작업에서 평균적으로 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash를 능가하는 특수 Guardian aLoRA 평균적으로 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, 그리고 Clef-Flash보다 안전 관련 의사결정 작업에서 더 우수한 성능을 보이며,
- Granite-Speech-5.0-Turbo-CTC는 OpenASR Leaderboard에서 가장 빠른 ASR 모델로, 전사(Transcription) 작업에 사용할 수 있도록 내장되어 있습니다.
이 세 가지 기술(및 기반 기본 모델)은 하나의 모델로 구성되며, GPU에서 차지하는 VRAM은 기본 모델 단독과 거의 같은 수준입니다. 즉, 더 적은 GPU로 더 많은 기능을 제공한다는 의미입니다.
그리고 Switch 어댑터가 캐시 효율적인 Activated LoRAs로 구축되었기 때문에, 기본 모델 생성 과정에서 만들어진 KV 캐시를 이후의 어댑터 기반 의사결정에 재사용할 수 있습니다. 저희 팀의 저랭크 어댑터 추론 속도를 높이기 위한 최근 vLLM 기여 와 함께 배치된 ASR 인코더를 결합하면, Granite Switch 4.1 모델은 채팅 요청, 의사결정 요청, 음성 요청 사이를 매우 빠른 속도로 전환 할 수 있습니다.
저희 Speech-to-Decisions HF 스페이스를 확인해 보세요 granite-switch-4.1-8b가 오디오를 전사하고, 요약을 생성하고, 유해 콘텐츠를 검사하고, 사용자가 정의한 15개의 다른 플래그를 테스트하는—all이 단일 엔드포인트에서 실시간으로 실행되는 모습입니다.
Granite Libraries: 오리지널 의사 결정 모델
의사 결정 모델은 새로운 개념이 아닙니다. 이전 릴리스인 Granite Libraries 에는 특화된 “의사 결정 모델” 어댑터 및 기타 특화 작업 어댑터들의 저장소가 포함되어 있으며, 이를 조합하여 사용자 지정 Granite Switch 모델을 만들 수 있습니다. Jev 및 기타 폐쇄형 의사 결정 모델이 범용성에 초점을 맞추는 동안, 저희는 특화된 granitelib 어댑터 다수가 특화 분류 작업에서 범용 모델을 능가할 수 있음을 발견했습니다.
granitelib 어댑터를 특화 분류 작업에서 평가할 때 범용 의사 결정 모델과 비교해 보세요.
어댑터는 기본 모델의 KV 캐시를 공유하기 때문에, 범용 의사 결정 어댑터와 함께 특화 어댑터를 추가하는 비용은 거의 없습니다. 범용 모델의 폭넓은 커버리지와 함께, 중요한 작업들에서는 특화 어댑터의 더 높은 정확도를 얻을 수 있습니다.
Granite-Switch-4.1-30B(동결된 기본 Granite + 4개의 특화 aLoRA)와 Jev-27B(동결된 기본 Qwen 모델 + 1개의 범용 의사 결정 LoRA)의 “경주”에서, Granite-Switch-4.1-30B가 실제 세계의 5단계 RAG 워크플로우를 경쟁 모델보다 훨씬 빠르게 완료할 수 있었습니다.
나만의 Granite Switch 모델 구성하고 확장하기
Granite-Switch-4.1-8B 및 -30B는 “batteries included” 상태로 릴리스됩니다. 이 모델들은 유용한 어댑터들을 미리 정의된 세트로 함께 컴파일한 Granite Switch 모델입니다. 하지만 저희 버전을 사용할 필요는 없습니다. 누구나 자신만의 Granite Switch 모델을 구성하여Granite Libraries의 어댑터를 필요에 가장 잘 맞게 믹스 앤 매치할 수 있습니다.
앞으로 커뮤니티가 사용자 지정 및 서드파티 어댑터로 Granite Switch 모델을 구성하고 확장할 수 있는 엄청난 기회가 있다고 봅니다. 저희는 Mellea에서 어댑터를 학습시키기 위한 Adapter SDK를 다른 튜토리얼 및 Granite Switch 지원과 함께 릴리스할 계획입니다. 이러한 어댑터는 의사 결정 기반 워크플로우를 보강하는 특화 분류 어댑터이거나 특화 언어 작업용 어댑터일 수 있습니다. 심지어 사용자 지정 어댑터를 사용하여 3B 파라미터 버전의 Granite에게 고전 게임 Doom을 플레이하도록 가르칠 수도 있습니다.
Jev와 마찬가지로, 우리의 자체 개발 3B 파라미터 Granite Switch 모델은 Doom 게임을 진행하기 위해 순간적인 의사결정을 내렸지만, 그 속도가 초당 60 - 100회 의사결정에 도달했으며, 이는 Jev가 보고한 초당 10회 의사결정과 비교됩니다.1 Jev와 달리, 이 Granite Switch 모델은 게임을 플레이하는 동시에 해설을 하고 여러분의 질문에 답변할 수도 있습니다.
앞으로 몇 주 안에 Granite Switch에 대한 더 많은 세부 정보와 데이터를 공개할 예정입니다. 그때까지는 최신 Switch 모델과 시작에 도움이 되는 다른 유용한 리소스를 직접 사용해 보시기 바랍니다.어디서든 접근 가능
8b 및 30b 크기로 출시되는 Granite Switch 4.1은 워크로드가 실행되는 어디에든 적합합니다. 이 모델은 플러그인과 함께 vllm에서 실행되며(아래 Granite Switch repo 참조), 다음에서 네이티브 추론을 지원하고 llama.cpp 다운스트림 플랫폼도 지원하여, 모델이 기존 chat 호출도 처리하면서 /v1/systemone API 호출이 사용되는 어디에서든 원활하게 교체 투입될 수 있으며, 모두 하나의 공유 prefix cache를 사용합니다.
시작하기 위한 리소스
- Granite Switch 4.1 모델 카드
- Speech-to-Decisions 데모
- Granite Switch GitHub 저장소
- 최초의 Granite Switch 및 Granite Libraries 출시 블로그
- 직접 aLoRA v LoRA 경주를 만들어 보세요: Colab.
각주
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev