로컬 AI 사용법을 배우는 것은 흥미진진하면서도 압도적이고 답답한 일입니다

지금까지 망설였던 여정을 시작하려 합니다. 바로 AI를 실제로 꾸준히 사용해 보는 것입니다. 가장 개인적인 데이터를 클라우드 서비스에 넘기는 것이 저에게는 큰 걸림돌이었지만, 이제는 강력한 모델을 로컬에서 실행해 그 능력이 어느 정도인지 확인해 보는 것이 점점 더 가능해지고 있습니다. 이 기술이 과잉 가격의 RAM을 듬뿍 장착한 컴퓨터나 노트북에 돈을 왕창 쏟아부을 만큼 유용할까요? 여러분이 답을 찾도록 도와드리려고 합니다. 저는 AI 전문가가 아니며, 이것은 저에게도 하나의 여정이 될 것이지만, 그 여정이 감수할 가치가 있는지 여러분이 판단하는 데 도움을 줄 수 있을지도 모릅니다. 그리고 그 과정을 기록하며 올릴 예정입니다.

애플이 새 Mac 데스크톱을 홍보하는 큰 부분은 로컬 AI에 얼마나 적합한가이며, 새로운 라인업 전체가 있습니다. RTX Spark Windows 머신 랜딩 긴박하게 함께 최대 128GB RAM 에이전틱 AI를 활용하는 것을 목표로 합니다. 로컬 AI와 에이전트는 그냥, 뭐랄까, 그래서 요즘 가장 뜨거운 주제죠. 하지만 진지하게 말하자면, 제 책상 위의 작은 박스 안에서 오직 저에게만 복종하고 OpenAI, Google, Microsoft, Anthropic 같은 오버로드가 아닌 조그만 고블린(?)이 살아있다는 생각은 클라우드 서비스를 신뢰하거나 챗봇을 구독하는 것과는 좀 다르게 다가옵니다. 오해는 마시기 바랍니다. 여전히 그것에게 제 대신 글을 쓰게 하거나, 편집을 하게 하거나, 생성하게 할 생각은 전혀 없습니다. 못생긴 전단지말입니다. 하지만 이제 어느 정도 프라이버시가 확보됐으니, ‘신뢰’할 만한 유용한 잔무(雑務)를 비로소 생각해낼 수 있을지도 모릅니다.

그래서 제가 계속 진행 중인 M5 Ultra Mac Studio테스트의 일환으로, 그리고 다른 Mac 및 Windows 시스템에서 실험하는 차원에서 몇 가지 로컬 LLM을 설치했고 이제 갖가지 조작을 해보기 시작했습니다. 지금까지의 진행 상황은 다음과 같습니다.

저는 Mac Studio에 오픈소스 Hermes Agent 를 설치하는 것으로 시작했습니다. Hermes는 macOS, Windows, Linux에서 작동하는 셀프호스팅 AI 에이전트 데스크톱 앱입니다. 로컬 LLM만 사용한다면 완전히 무료로 사용할 수 있습니다. 이 M5 Ultra Mac Studio는 256GB의 통합 메모리를 갖추고 있어 원하는 거의 모든 모델을 실행할 수 있습니다. 바로 이 지점에서 일이 빠르게 압도적으로 느껴지기 시작합니다. 세상에는 셀 수 없을 만큼 많은 모델이 있는데그중 일부는 특수한 용도가 있습니다. 일반적으로 수백억 개의 파라미터를 가진 모델은 몇십억 개의 파라미터만 가진 소형 모델보다 더 많은 것을 할 수 있습니다. 그리고 로컬에서 모델을 실행할 때는 토큰 비용을 걱정할 필요가 없기 때문에, 처음에는 크게 시작해보기로 했습니다.

Hermes의 간단한 온보딩 인터페이스와 모델 선택기를 사용하여 저는 Qwen 3.8 Flash Next 125-billion 파라미터 모델로, 크기는 약 105GB에 달합니다. 또한 M6 Mac Mini, M5 MacBook Air, AMD Strix Halo 프로세서를 탑재한 Asus TUF Gaming A14, 그리고 나중에는 RTX Spark 같은 기기에서 훨씬 작은 Qwen 모델들도 사용해 볼 계획입니다. (여러분이 사용하는 로컬 모델과 하드웨어를 공유해 주시겠어요? 댓글을 남길 수 있는 곳은 이미 아시죠. 🫡)

Hermes와 Qwen으로 실행 환경을 갖추는 데는 오래 걸리지 않았고, Telegram bot을 이용해 제 휴대폰으로 제어 가능하게 만들기까지 했습니다. 그런데 그때 AI를 사용할 때마다 마주치는 저의 늘 그런 천적, 즉 텍스트 박스가 저를 기다리고 있었습니다.

“이걸로 뭘 해야 하지?”

먼저, 시작을 위해 저는 유용한 YouTube 조언 을 따라 Hermes가 매일 아침 브리핑을 만들어 주도록 했습니다 — cron 작업으로 작게 시작해 모든 것이 제대로 작동하는지 확인하기 위해서죠. 이 브리핑은 제 이메일과 캘린더를 살펴보고, 즉각적인 주의가 필요한 사항을 알려주며, 짧은 날씨 보고도 해줍니다. 그다지 유용하지는 않고, 굳이 12,000달러짜리 컴퓨터가 필요한 것도 아니지만, 시간이 지나면서 발전시켜 나갈 수 있는 무언가입니다. 처음에는 브리핑이 자꾸 생성에 실패했는데, 나중에야 오전 7시 30분에 작업이 실행될 때 macOS가 잠자고 있으면 안 된다는 것을 알아냈습니다. 당연한 일이죠! 지금은 정확하게 잘 작동하지만, 결과를 더 유용하게 만들려면 더 많은 정보를 불러오도록 고민해야 합니다.

더 유용했던 작업은 제 Steam 라이브러리를 재정리한 것이었습니다. 저는 Steam에 400개가 넘는 게임을 보유하고 있는데, 최근에 갑자기 새로운 게임을 하고 싶을 때를 대비해 게임을 분류하기 시작했습니다. Steam은 게임을 자동으로 분류해 주지 않기 때문에 일일이 하나씩 직접 분류해야 합니다. 하지만 바로 이 부분에서 에이전트형 도우미가 딱 들어맞을 수 있습니다. 저는 “제 Steam 라이브러리를 재정리해 줄 수 있어?”라고 물었습니다. Hermes는 이미 설치된 Steam 클라이언트를 확인하는 것만으로 제 게임 대부분을 볼 수 있었습니다. 그리고 곧바로 몇 가지 정리 옵션을 제시해 주었습니다. 저는 장르별로 게임을 정리하되, 제가 만든 특별한 카테고리(즐겨찾기, 협동 플레이 게임, 파티 게임, 아내와 함께 할 게임 등)는 그대로 두도록 했습니다.

로컬 AI가 여러분을 위해 작업을 수행하려면 컴퓨터에 대한 일부 권한을 부여해야 하는데, 제 게임 라이브러리의 경우에는 Steam 웹 API 키 를 등록해서 Hermes에게 제공해야 했습니다. 그 접근 권한을 받은 뒤에는 모든 게임을 카테고리로 분류하는 데 몇 분밖에 걸리지 않았습니다. 그리고 이후에는 더 이상 필요 없기 때문에 API 키를 바로 취소하기도 쉬웠습니다. 이 아이디어는 무거운 작업을 딱 한 번 대신 처리하게 두고, 이후에는 제가 게임을 구매할 때마다 새 게임을 해당 카테고리에 직접 분류하는 것입니다. 전반적으로 훌륭한 작업을 해냈고, 이제 제 Steam 라이브러리는 쉽게 탐색할 수 있게 되었습니다.

제가 한 또 다른 간단한 작업은 데이터 분석이었습니다. 저는 Hermes에게 재정 기록을 살펴보고 몇 가지 숫자를 계산하도록 했고, 새 노트북의 사양 비교 스프레드시트도 만들도록 했습니다. 사소한 일들이지만, 두 작업 모두 어떤 클라우드 서비스에도 맡길 수 없거나 맡기고 싶지 않은 작업이었습니다. 저는 그런 민감한 데이터를 클라우드에 업로드하고 싶지 않았고, 새 노트북의 경우 그 정보는 출시 전 비밀유지 대상이었습니다. 이 데이터들을 제 컴퓨터에 보관할 수 있다는 점이 이 도구를 사용하느냐 마느냐의 차이였습니다.

제가 현재 작업 중인 더 큰 자동화는 일련의 노트북 벤치마크 테스트를 실행하는 스크립트입니다. 저는 모든 벤치마크를 수동으로 실행하는데, 노트북을 관리하면서 십여 가지 정도의 테스트를 평균을 내기 위해 세 번씩 반복해서 실행하는 것은 놀라울 정도로 시간이 많이 드는 일입니다. 최소한 일부라도 자동화할 수 있다면 좋겠습니다. Hermes에게 필요한 모든 절차를 안내하고 vibe coding으로 Python 스크립트를 작성하게 하는 것조차 꽤 고된 작업이었고, 여전히 진행 중인 프로젝트입니다. 하지만 좋은 성과를 거둘 수 있기를 바라고 있습니다.

Hermes와 함께 작업한 지는 아직 초기 단계이며, 이것이 제가 시키는 유용한 일들의 빙산의 일각에 불과하기를 바라고 있습니다. 하지만 이렇게 강력한 로컬 모델이라도 무엇이든 해내는 마법 같은 비서가 되어 주지는 못한다는 것도 분명합니다. 일이 여전히 의도한 대로 작동하지 않을 때가 있습니다. 제 데일리 브리핑은 이미 여러 번 고장 났습니다.

저는 Hermes와 로컬 AI를 그저 하나의 도구, 제 컴퓨터에서 실행하는 하나의 컴퓨터 프로그램으로 봅니다. 저는 디지털 친구를 원하는 것이 아닙니다. 저는 “고마워”나 “부탁해”라고 말하지 않고, 생각을 바꿨을 때 “미안해”라고 입력하지도 않습니다. 저는 운영체제에서 마우스를 클릭할 때와 마찬가지로 명령을 내릴 때 냉담하고 무심한 태도를 유지합니다.

로컬 AI로 계속 테스트하고 배워가면서도 경계심과 주의를 유지하고자 합니다. 앞으로 어떻게 되는지 지켜보겠습니다.