IT之家 10월 16일 소식에 따르면, AI 회사 PrismML은 어제(10월 15일) 블로그 글을 발표하여 Ternary Bonsai 2 시리즈 모델을 출시했다고 합니다. 이 모델은 2B, 4B, 9B 세 가지 규모로 제공되며, 휴대폰, PC 및 웨어러블 기기에서 로컬로 AI 스마트체를 실행하여 추론, 이미지 인식, 도구 호출 등의 기능을 수행할 수 있도록 설계되었습니다.
트렌디어 본사이 2 시리즈 모델은 알리의 Qwen 3.5 기반으로 제작되었으며, “삼원” 가중치 표기법을 사용하여 -1, 0, +1 세 가지 값만으로 모델 매개변수를 인코딩합니다. 공식적으로 2B, 4B, 9B 모델의 저장 용량은 각각 약 0.43GB, 0.95GB, 2GB입니다.
능력 면에서 Bonsai 2 시리즈는 로컬 인공지능의 실용성을 강조합니다: 명령을 따르고, 일상적인 작업을 완료하며, 모바일 기기에서 도구를 호출하고, 중복된 출력을 피하는 등입니다. 공식적으로 19개의 기준에 따라 스마트 도구 호출, 수학, 명령 준수, 프로그래밍, 지식 및 추론, 시각 이해라는 여섯 가지 능력을 테스트했습니다; 그 중 9B 모델은 표준 명령 실행과 일상적인 수학 작업에서 필요한 토큰 수가 약 40% 감소합니다.
성능 측면에서 PrismML은 RTX 4090 및 M5 Pro와 같은 하드웨어에서 새로운 모델이 해당 전체 정밀도 모델에 비해 최대 5배의 처리량과 3배의 에너지 효율을 달성할 수 있다고 밝혔습니다. iPhone 18 Pro Max에서 9B 모델은 최대 초당 34개의 단어 요소, 2B 모델은 최대 초당 120개의 단어 요소를 처리할 수 있습니다. IT之家는 관련 스크린샷을 다음과 같이 제공합니다:
이 시리즈는 가벼운 작업부터 복잡한 워크플로우에 이르는 완전한 제품 라인을 구성하며, 기존의 Bonsai 2 27B과 함께 사용할 수 있습니다. 개발자는 llama.cpp를 통해 NVIDIA GPU上에서 실행할 수 있으며, MLX를 통해 Mac, iPhone 및 iPad上에서 배포할 수도 있습니다. 모델 가중치는 Apache 2.0 라이선스로 공개됩니다.