금뢰(金磊), 아페이쓰(凹非寺)에서 발송
양자위(QbitAI) | 공식 계정 QbitAI
뭐라고요?35B의MoE, 에서휴대폰위에서도 매우 부드럽게 구동될 수 있을까?
맞아~정말이야.
우리는 직접인터넷 연결 끊김상태에서,iPhone 17 Pro Max휴대폰으로 데이터 시각화의 고전적인 그림인 나폴레옹의 러시아 원정 실패 행군 경로 지도를 업로드했습니다:
그런 다음 우리는 바로 질문합니다:
그림에 기록된 최저 기온은 몇 섭씨이며, 어느 날에 나타났는지, 환산 과정도 함께 설명해 주세요.
보면 알 수 있듯이, 1분도 채 걸리지 않아 아이폰의 모델은 그 그래프 선에서 영하 30도의 표기를 찾아내고, 날짜가 1812년 12월 6일임을 판단한 뒤, 열씨 1도가 섭씨 1.25도라는 환산을 적용해 영하 37.5 섭씨도라는 답을 내놓았습니다.
그리고 말이죠, 이 휴대폰上的 모델의 속도가,더 빨라질 수 있다。
예를 들어 같은 노변 주차 표지판 사진, 같은 주차 시간에 대한 질문에 대해, 왼쪽은 최적화하지 않은 35B 모델, 오른쪽은 최적화된 모델입니다:
보면 알 수 있듯이, 최적화 전에는 속도가 초당 약 2개 토큰이었지만, 최적화 후에는 초당 8~12개 토큰에 도달했습니다. 오프라인 상태에서도 답변이 쏴쏴하게 빠르게 출력됩니다.
알려진 바에 따르면, 이 35B 모델은 iPhone 17 Pro Max에서 단 3G의 메모리만 차지하면서 디코딩 속도를 다음과 같이 달성할 수 있다초당 13개 이상의 토큰!
매끄럽네요, 정말 좀 매끄럽습니다.
그렇다면 휴대폰에서 이렇게 돌아갈 수 있는 이 모델은 대체 어떤 AI일까?
서론 없이 바로 말하자면, 바로 면벽지능(面壁智能)과 OpenBMB가 방금 정식으로 오픈소스로 공개한 MiniCPM-V 4.7이다. 두 가지 크기의 버전을 포함한다:
- 35B-A3B: 전체 파라미터 35B, 추론 시마다 3B만 활성화하며, MiniCPM-V 시리즈의 첫 번째 MoE 모델이기도 합니다. 약 3G 메모리만으로 iOS, 안드로이드 기기에서 원활하게 실행할 수 있습니다.
- 1B: 실제 파라미터 1.3B, 초소형 크기가 특징이며, OCR, 수학, 영상 이해에서 동일 크기 모델 중 최상위권에 속한다.
그런데 솔직히 말해, 빠른 속도는 어디까지나 한 측면일 뿐이다. 그렇다면 MiniCPM-V 4.7을 온디바이스 대형 모델 계열에 놓고 보면 과연 어느 수준일까?
범용 비전분야에서 35B-A3B는 MMBench에서 91.72, MMStar에서 80.67을 기록했다;이과 문제분야에서는 MMMU와 MathVista가 각각 80.22와 88.00이다.비디오 이해분야의 Video-MME와 LongVideoBench에서도 76.40과 68.90을 기록했다.
특히 OmniDocBench v1.6에서 35B-A3B는94.24점을 받았고, 나머지 네 개 모델은 모두 80점 안팎으로 12점 이상 앞섰다.
더욱 주목할 만한 것은 비주얼 압축을 16배로 켰을 때의 성능이다. MMBench는 91.72에서 90.87로, OCRBench는 91.20에서 90.40으로 떨어지는 데 그쳐, 절약한 연산량을 거의 정확도로 교환하지 않았다.
이 밖에도 MiniCPM-V4.7은순수 텍스트 능력에서 중국어 지식 CMMLU에서 90.21, 도구 호출 τ2-Bench에서 84.65를 기록해, 역시 표에서 가장 높은 수치다.
알려진 바에 따르면 MiniCPM-V4.7은최초로온디바이스에서 원활하게 구동되면서도 성능을 희생하지 않는 오픈소스 MoE 모델이다.
그럼 이제, 더 많은 성능 결과를 살펴보자.
35B를 주머니에 넣다, 인터넷이 끊겨도 사용 가능
먼저 우리 생활과 비교적 가까운 문제 하나를 보자.
이번에 모델에 입력한 것은 가정용 전기 사용 조사표로, 에어컨, 냉장고, 전기주전자, TV, 세탁기 및 대기 기기의 전력과 사용 시간이 적혀 있고, 이번 달 전기 요금 청구서에는 총 420kWh에 126위안이었다.
이 문제의 질문은 총 세 가지로, 각각 다음과 같다:
먼저 각 가전제품이 한 달에 얼마나 전기를 사용하는지 추정하여 순위를 매기고; 다음으로 이 가전제품들을 합산하면 청구서의 몇 퍼센트를 설명할 수 있는지 계산하고, 그 차이 나는 부분을 전부 다른 가전제품 탓으로 돌릴 수 있는지 따져보며; 마지막으로 세 가지 절전 방안 중 가장 절약되는 것을 골라내는데, 각각 에어컨 하루 1시간 덜 켜기, TV 하루 2시간 덜 보기, 그리고 대기 기기 하루 8시간 완전히 전원 차단하기이다.
결과를 보면, 35B-A3B는 먼저 와트를 킬로와트로 환산한 뒤 전력에 사용 시간을 곱하는 방식으로 항목별로 차례차례 계산해 내려갔다. 에어컨은 매월 144도로 1위, 냉장고는 라벨에 표시된 연간 소비 전력 280도를 기준으로 매월 약 23.33도로 환산했으며, 그 뒤를 전기주전자, TV, 대기 기기, 세탁기가 이었다.
여섯 가지 가전제품을 모두 합치면 약 213.63도이고, 청구서의 전기 요금 단가로 환산하면 64.09위안으로, 청구서의 약 50.9% 정도만 설명할 수 있으며 206.37도가 남는다. 세 가지 방안 중 에어컨 사용을 하루 1시간 줄이는 것이 가장 효율적인데, 한 달에 24도, 즉 7.2위안을 절약할 수 있다.
살펴볼 수 있듯이, 오프라인 상태에서도 이렇게 복잡한 차트를 마주했을 때 35B-A3B는 여전히 완벽하게 처리해 냈다.
35B를 본 뒤, 이번에는 1B 쪽의 성능을 살펴보자. 이번에 1B에 주어진 과제는 논문 한 페이지를 Markdown으로 변환하는 것이었다:
이 이미지를 markdown으로 전사해 주세요.
30초도 되지 않아 제목 계층, 단락, 표가 모두 복원되었고, 수식도 LaTeX으로 작성되어 렌더링한 결과가 원문의 조판과 거의 일치했다.
논문 스크린샷이나 PDF 페이지를 자주 노트로 옮겨야 하는 사람들에게, 이런 작업은过去 대부분 인터넷에 연결해 클라우드 모델에 맡겨야 했다. 이제는 1.3B짜리 소형 모델 하나로 휴대폰 로컬에서 모두 처리할 수 있게 되었다.
물론 휴대폰 외에도iPad같은 온디바이스 기기에서도 마찬가지로 문제없다.
예를 들어 앞서의 나폴레옹 원정 차트 문제를 iPad M4에서 한 번 돌려 보았는데, 역시 1812년 12월 6일, 영하 37.5섭씨도라는 답을 내놓았다.
온디바이스 외에도API로 MiniCPM-V4.7을 한 번 돌려 보았다.
첫 번째 문제는 가계부 기록이었다. 우리는 6개 상품이 적힌 슈퍼마켓 영수증 샘플을 준비했는데, 우유, 통밀빵부터 키친타올까지 있고, 회원 할인과 쿠폰 할인 두 건의 차감이 있었으며, 최종 실결제 금액은 78.40위안이었다. 요구 사항은 이를 중국어 가계부 표로 정리하고, 영수증의 계산이 맞는지 검증하는 것이었다.
결과를 보면, 35B-A3B는 먼저 매장, 날짜, 6개 상품의 수량, 단가, 금액을 하나씩 표에 정리했고, 원본 이미지와 하나하나 대조해 봤을 때 잘못 읽은 곳이 한 곳도 없었다.
검증할 때, 영수증에 상품 합계 86.40위안이 분명히 인쇄되어 있었지만, 그래도 6개 금액을 처음부터 다시 더해 86.40위안을 얻은 뒤, 두 건의 할인 총 8위안을 빼서 78.40위안을 계산해 영수증의 실결제 금액과 정확히 일치시켰다.
두 번째 문제도 주차와 관련이 있었지만, 규칙은 앞서 보여준 것보다 좀 더 복잡했다.
우리가 설정한 상황은 이렇다. 화요일에 주민증을 소지하고 있고, 그날 이곳에 아직 주차한 적이 없으며, 14:10부터 15:40까지 주차할 계획이다. 그리고 판단할 다섯 가지 사항을 물었는데, 이번 주차 시간이 얼마인지, 청소 금지 구역과 부딪히는지, 시간 제한을 초과하는지, 주차 요금을 내야 하는지, 그리고 전체 계획이 규정에 부합하는지 등이다.
35B-A3B는 다섯 문제를 모두 맞혔다. 이번 주차가 총 90분이고, 14:10에 시작해 12시에서 14시 사이의 청소 시간대를 정확히 피했으며, 2시간 상한도 초과하지 않았다고 계산했다. 또한 주민증을 소지하고 있으므로 주차 요금을 면제받을 수 있다고 했다.
마지막 종합 판단에서는 모든 규칙을 하나씩 훑어 보았고, 그날 이전에 주차한 적이 없으므로 '재진입은 30분 간격을 두어야 한다'는 규칙은 적용되지 않는다는 점도 짚었으며, 결론은 이 주차 계획이 규정에 부합한다는 것이었다.
3GB 메모리로 어떻게 35B를 돌릴 수 있을까?
성능을 다 보고 나니 문제가 생긴다:
35B 모델이 어째서 12GB 메모리의 휴대폰에서 돌아갈 수 있을 뿐만 아니라 그리 느리지도 않은 것일까?
35B-A3B라는 이 MoE 모델은 총 35B 파라미터를 갖고 있지만, 각 token을 생성할 때 실제로 계산에 참여하는 것은 3B 정도뿐이다. 다만 여기에 한 가지 번거로운 점이 있는데, 각 층에서 어떤 전문가(Expert)들을 부를지는 이전 층의 계산이 끝나야 알 수 있다는 것이다.
그리고 휴대폰 메모리에는 모든 전문가를 담을 수 없어, 대부분은 플래시 메모리에 두고 필요할 때마다 읽어 들여야 한다.
과거의 일반적인 방법은 두 가지가 있었다. 하나는 필요한 전문가를 그때그때 읽는 것으로, 대형 모델을 돌릴 수는 있지만 디코딩이 너무 느려 실시간 대화가 불가능했다. 다른 하나는 전체 대화에 대해 미리 소규모 전문가 그룹을 고정하는 것으로, 디스크 읽기 횟수는 줄지만 모델이 선택할 수 있는 전문가도 줄어들어 능력이 필연적으로 떨어졌다.
MiniCPM-V 4.7이 원하는 것은 양쪽을 모두 챙기는 것이다. 속도는 충분히 빨라야 하고, 능력도 쉽게 떨어지지 않아야 한다. 실제 사용에 적용하려면 한 단계 더 고려할 것이 있다. 개발자가 자신의 비즈니스에 맞게 커스터마이징할 때, 모델이 새로운 기술을 배우더라도 원래의 능력도 최대한 유지되어야 한다는 것이다.
먼저 어떻게 더 빠르게 실행하는지 보자.
선견 전문가 스케줄링(LES)은 전문가 프리페치, 연산 스케줄링, 가중치 저장·접근을 함께 최적화했다. 언제 옮길지, 무엇을 먼저 계산할지, 한 번에 얼마나 옮길지 모두 중요하다.
팀은 한 가지 특성을 활용했다. 모델의 인접한 두 층의 입력 특징은 대체로 매우 유사하다는 것이다. 따라서 현재 층이 아직 계산 중일 때, 그 라우팅 입력 특징을 다음 층의 라우터에 보내 다음 층에서 사용할 가능성이 높은 전문가를 미리 예측하고, 백그라운드 스레드가 해당 가중치를 플래시 메모리에서 메모리로 읽어 들이게 할 수 있다.
다음 층이 실제로 작업을 시작할 때에는 필요한 전문가 대부분이 이미 준비되어 있다. 팀의 테스트에서 이 방법은 필요한 전문가의 80% 이상을 미리 준비할 수 있었고, 추가 훈련도 필요하지 않았다.
계산 순서도 이에 맞춰 조정됩니다:실제 라우팅에서 선택되어 이미 로드된 전문가를 먼저 계산하고, 나머지 필요한 전문가는 동시에 로드합니다. 계산과 디스크 읽기를 최대한 동시에 진행하여 '데이터가 도착한 후에 작업하기'를 줄입니다.
여기에는 중요한 차이가 있습니다: 예측은 미리 데이터를 옮기고 계산 순서를 정하는 역할만 하며, 최종적으로 각 토큰이 어떤 전문가를 사용할지는 여전히 모델의 기존 라우팅 메커니즘이 결정합니다. 맞히지 못한 전문가도 평소처럼 로드하고 평소처럼 계산하며, 속도를 위해 생략하지 않습니다.
또 다른 최적화는 가중치 자체에서 이루어집니다. 레이어별 혼합 정밀도 양자화를 통해 팀은 모델 능력을 거의 유지하면서 전문가 가중치를 더 작게 압축하여 매번 로드하는 데이터량을 줄였고, 가중치를 연속 저장 레이아웃으로 재구성하여 산발적인 읽기를 줄이고 플래시 메모리가 더 효율적으로 순차 읽기를 하도록 했습니다.
옮길 것을 줄이는 한편, 옮기는 과정을 더 원활하게 만들고, 여기에 사전 로드와 병렬 계산을 결합하여 엣지 디바이스의 저장 및 대역폭 부담을 함께 낮춥니다.
16GB 메모리를 탑재한 iPad Pro M4에서, 선제적 전문가 스케줄링 방안은 디코딩 속도를 종합적으로 5배 향상시켰습니다.
또한 팀은 모델에 맞춤형 DSpark 드래프트 모델을 학습시키고, llama.cpp 등 온디바이스 추론 프레임워크에 연결했습니다. 드래프트 모델이 먼저 여러 개의 토큰을 제안하면, 메인 모델이 이를 일괄 검증하여 생성 속도를 한층 더 높입니다. 16GB 메모리의 M5 Mac 테스트에서 디코딩 속도는 평균 17% 더 향상되었습니다.
비전 쪽에서도 절약이 이루어집니다. MiniCPM-V 4.7은 LLaVA-UHD v4의 ViT 내부 조기 압축 기술을 그대로 사용하여, 비전 인코더 내부에서 미리 비전 토큰을 병합함으로써 이후 레이어가 계산해야 할 양을 줄입니다. 개발자는 4배 압축과 16배 압축 사이에서 전환할 수도 있으며, 앞서 언급했듯이 16배로 설정해도 점수가 거의 떨어지지 않습니다.
이 몇 가지 기술이 겹쳐져서야 말로 면벽(面壁)이 말하는 '빠른 것 위에 더 빠른' 것입니다.
빠른 실행 속도 외에도, 개발자들이 자주 부딪히는 문제가 하나 있습니다. 모델을 업무에 맞게 파인튜닝하면 새로운 작업 수행 능력은 좋아지지만, 기존의 범용 능력은 퇴보한다는 것입니다.
면벽은 이를 위해 자기 재생 파인튜닝(Self-Replay Fine-Tuning)을 내놓았습니다. 방법은 매우 직관적입니다. 파인튜닝 전에 먼저 모델이 기존 능력을 포괄하는 질문 일괄에 답하게 하고, 고품질 답변을 선별한 뒤, 이 답변들을 새 작업의 학습 데이터에 섞어 넣습니다. 모델은 새로운 기술을 배우는 동시에 자신이 원래 알던 것을 복습하며 기존 능력에 대한 망각을 줄입니다.
이 '복습 자료'는 모델 자신에게서 나오기 때문에, 기존 답변 방식에 더 가깝습니다. 전체 방법은 표준 파인튜닝 절차를 그대로 따르며, 모델 구조나 손실 함수를 수정할 필요가 없습니다. 재생 데이터는 한 번만 생성하면, 모델이 서로 다른 새로운 능력을 학습하거나 여러 차례 훈련을 진행할 때 반복 사용할 수 있습니다.
온라인 강화 학습이나 On-Policy Distillation 같은 훈련 방법은 모델이 훈련할 때마다 새로운 데이터를 샘플링해야 하는 것과 달리, 자기 재생 파인튜닝은 새로운 능력을 커스터마이징하는 비용을 일반 지도 학습 파인튜닝(Supervised Fine-tuning)에 무한히 가깝게 낮추면서도 모델의 범용 성능을 유지합니다.
대규모 모델이 더 이상 휴대폰을 가리지 않을 때
기술 이야기를 마쳤으니, 다시 휴대폰 업계로 돌아가 보겠습니다.
2026년, 온디바이스 AI는 대규모 탑재 단계로 나아가고 있습니다. IDC에 따르면 올해 중국의 신세대 AI 휴대폰 출하량은 1.47억 대에 달해 전년 대비 31.6% 증가하고, 침투율은 처음으로 53%를 넘어설 전망입니다. 다시 말해, 새 휴대폰 두 대가 팔릴 때마다 한 대는 온디바이스 AI를 탑재하고 있는 셈입니다. 면벽지능(面壁智能) CEO 리다하이(李大海)도 2026년은 온디바이스 AI가 규모화되어 착지하는 원년이라고 말한 바 있습니다.
다만 휴대폰 제조사들에게는 여전히 아주 현실적인 문제가 하나 있는데, 바로 비용입니다.
메모리 가격은 계속 오르고 있으며, 12GB는 이미 AI 휴대폰의 합격선이 되었고, 플래그십은 대체로 16GB를 기본 탑재하며 일부 모델은 24GB까지 올려보고 있습니다. 모델이 강해지려면 대개 더 많은 메모리를 먹어야 하는데, 메모리가 비쌀수록 이 길은 더 많은 비용이 듭니다.
따라서 더 적은 메모리로 더 큰 모델을 구동하는 것은 제조사들에게 매우 매력적입니다. iPhone 17 Pro Max의 메모리는 12GB인데, 35B-A3B는 약 3GB의 메모리만으로도 원활하게 구동되며, 남은 공간은 다른 앱에 할당할 수도 있습니다.
좀 더 장기적으로 보면, 온디바이스 AI 경쟁의 초점도 변하고 있습니다. 과거에는 칩 공정과 연산 능력을 겨뤘다면, 이제는 모델과 추론 프레임워크가 하드웨어와 얼마나 잘 맞물리는지가 격차를 벌리는 요소로 점점 더 부각될 것입니다.
생태계 측면에서, MiniCPM-V 4.7은 지원하는 플랫폼도 비교적 다양합니다. iOS, 안드로이드, 하모닉(鸿蒙) 모두 배포가 가능하며, 출시 당일 뤼신웨이(瑞芯微), 훙모(后摩), Intel, AMD, Arm 등 칩 플랫폼에 대한 적응을 완료했습니다. 추론 프레임워크는 SGLang, vLLM, llama.cpp, Ollama를 지원하고, 파인튜닝은 SWIFT와 LLaMA-Factory를 사용할 수 있으며, 양자화 버전도 GGUF, AWQ, GPTQ, FP8 등 여러 종류가 제공됩니다.
이 노선의 배경에는 면벽과 칭화대학이 제안한 밀도 법칙이 있습니다. 이 법칙에 따르면, 대규모 모델의 능력 밀도는 약 3.5개월마다 두 배가 되며, 동일한 능력을 위해 필요한 파라미터는 점점 줄어듭니다. 2026년 9월 기준으로 MiniCPM 시리즈의 누적 다운로드 횟수는 이미 5000만 회를 돌파했습니다.
요컨대, 쓸모 있는 대규모 모델을 매끄럽게 주머니에 넣고 다니는 것은 이제 어려운 일이 아닙니다.