Jay가 출처한 원문: 압비사, 양자위|공식 계정 QbitAI
조브스의 마음속에 있는 시리, 이번에는 정말 현실로 들어왔을지도 모릅니다.
이렇게 생겼어요——
다른 것들은 말할 필요도 없고, 마침 미관 온라인의 AI 제품이 나왔어요. 이 UI는 정말 멋지네요...
하지만 큰 것들은 아직 뒤에 있습니다.
이 음성 어시스턴트는 너무 마법 같아요.
마치 개인 비서를 고용한 것처럼, 커피와 빵을 먹으며 그가 오늘 주목할 만한 뉴스를 보고하는 것을 듣는다.
중요한 것은 정말 사람 같은 성격이에요. 중간에 방해하거나 '이메일을 확인해 주세요'와 같은 임무를 주더라도, 그것은 당황스러운 침묵에 빠지지 않아요.
마치 영화 <헤러>의 사만다 같은 사람이야.
풀죄고, 5년 전이라면 이런 장면은 영화관에서만 볼 수 있었을 거예요.
AI 업계에 오랫동안 머물러왔는데, 매주 여러 대기업이 꾸준히 새로운 제품을 출시하고, 최첨단 기술도 끊임없이 등장합니다. Blender 조작, 차원 낮추기 로봇, 밀레니엄 문제 해결 등 다양한 기술들이죠.
하지만 솔직히 말해서, 나는 이런 것들이 얼마나 흥미진진한지 전혀 느끼지 못했습니다.
평범한 사람들과 너무 멀리 떨어져 있습니다. 대부분의 사람들의 현실 생활은 이러한 선진적인 돌파구로 인해 단기간에 아무런 변화도 일어나지 않을 것입니다.
하지만 이 제품을 간헐적으로 사용한 지 일주일이 지나자, AI 시대에 대한 내 마음속의 모든 로맨틱한 상상들이 갑자기 구체화되었다.
나는 심지어 ——
이것이 아마도 지금까지로는, 공상과학 영화에 가장 가까운,내 모든 로맨틱 상상에 부합하는 AI 조수일 것입니다.
그의 이름은 Orilo입니다.
부끄러운 개인 에이전트
'개인 에이전트'라는 개념은 최근에 정말 큰 주목을 받고 있습니다.
뮤즈의 성장 속도가 한때 GPT를 넘어섰고, 에이전트는 전문가들의 생산성 도구에서 대중 소비 시장으로 완전히 나아갔습니다.
하지만 솔직히 말해서, 대부분의 경험은 초기의 ‘납작한 게’보다 훨씬 나쁘다...
모든 분들의 상황이 어떤지 모르겠어요. 어쨌든 저는 초기에 초대 코드를 받았을 때만 약간 신선함을 느꼈고, 드물게 알림 권한을 허용했어요.
그러고 나면, 더 이상 아무것도 없다.
타이핑은 정말 힘들다. 인간의 본성에 반하는 것은 그의 자동 알림 기능이다. 주머니에서 갑자기 진동이 왔는데, 긴급한 위챗 알림인 줄 알았다. 그러다 지하철에서 고생스럽게 휴대폰을 꺼내 보니, Muse가 800년 전에 만료되어야 할 할 일 목록을 알려주고 있었다…
그때 저는… 말이 나오지 않았습니다.
그래서 저는 항상 Personal Agent 시장의 해결책들이 아직 매우 미성숙하다고 생각해왔습니다.
대부분의 Personal Agent들은 모두 같은 치명적인 골목에 갇혀 있습니다. 저는 그것을 「하나는 낮고 두 개는 높다」라고 부릅니다.
- 사용 빈도가 매우 낮습니다.
항공권을 예약하든 스트리밍 서비스를 취소하든, 분명 멋진 일 같습니다. 하지만 이런 복잡한 작업을 한 달에 몇 번이나 겪을 수 있을까요?
이렇게 드물게 발생하는 문제 때문에, 나는 한참 동안 그와 조정해야 했어. 왜 내가 직접 클릭하지 않았을까?
- 상호 마찰이 매우 높습니다.
당신이 운전하거나 설거지를 하거나 요리를 하거나 달리기를 할 때, 손과 시선이 모두 바빠서 제대로 사용되지 않습니다.
이때 주머니가 흔들리며, 휴대폰을 꺼내서 AI와 논의할 글을 쓰라고 하네요. 현실적일까?
- 운영 비용이 매우 높습니다.
백그라운드에서 대형 모델을 한 번 호출할 때마다 위의 모든 시나리오에 대해 매우 복잡한 Tool Call이 필요하며, 각 Loop마다 실제 돈이 소비됩니다.
이러한 비용 구조를 소비자 제품에 적용하여 대규모로 보급하려는 것은 거의 불가능한 일입니다.
기술 원칙주의가 이 업계를 지배하는 것은 너무 오래되었습니다. 하지만 개인 파트너와 같은 제품을 만들 때는 모델 파라미터가 크고 기준 점수가 높은 것만으로는 승리할 수 없습니다.
다음 세대에 살아남을 수 있는 에이전트는, 조용하고 고속으로 삶 속에서 성장할 수 있어야 합니다.
음성만이 진정한 입구입니다
이것도 제가 생각하기에, Orilo이라는 제품이 저에게 가장 감명을 준 부분입니다.
그는 매우 직관적인 새로운 해결책을 찾아냈습니다.
음성 우선, 음성이 최우선입니다.
왜 저는 음성 인터페이스가 C端 제품에 매우 중요하다고 말하는 걸까요?
이것은 사람이 가장 자연스럽게 상호작용하는 방식입니다.
글자는 언어가 등장한 지 오랜 시간이 지난 후에 발명된 것이며, 주요 용도도 지식 전달을 위한 것이므로 일상적인 대화에는 사실 필수적인 것이 아닙니다.
생각해보세요, 인생에서는 문자 정보를 읽는 것이 불편한 경우가 많습니다. 운전, 요리, 아이 돌보기 등이죠...
더 중요한 것은, 사람이 말할 때 무의식적으로 더 많은 개인적인 맥락(Conversational Context)을 드러낸다는 점입니다.
“제발 티켓 한 장 예약해 주세요”라고만 말하지 않을 거예요. “상하이로 가는 티켓을 다음 주 수요일에 예약해 주세요. 지난번에 머물렀던 호텔 근처가면 돼요. 아, 이번에는 예산이 좀 부족하네요.”라고 말할 가능성이 있어요.
이러한 ‘말할 일이 있는’ 정보는 어떤 커넥터에서도 찾아볼 수 없지만, 한 사람을 이해하는 데에는 필수적입니다.
하지만 이만으로는 충분하지 않다.
음성으로 작업할 수 있는 시장이 너무 많습니다. 새로운 AI 제품에게는 필수적으로 슈퍼 애플리케이션을 찾아야 합니다.
이것도 오리로의 두 번째 뛰어난 점이라고 생각해요. 그들은 까다로운 접근 방식을 찾아냈습니다—
아침입니다.
이는 사람이 하루 중 정보 처리 빈도가 가장 높은 순간입니다.
방금 잠에서 깨어났는데, 머릿속이 혼란스러워서 밖의 세상에 무슨 일이 일어났는지, 오늘의 상황을 어떻게 처리해야 할지 급하게 알고 싶다.
하지만 바로 그때, 당신은 칫솔이나 커피잔을 손에 쥐고 있죠.
오리로가 주로 집중하는 것은 바로 이 문제점입니다.
손을 완전히 해방시켜, 장치를 한쪽으로 내려놓고, 사람은 음성으로만 정보를 받으면 됩니다.
이 기간 동안 어떠한 요청이 필요한 경우, 직접 음성으로 AI에게 요구사항을 전달하세요.
눈물이 납니다, 여러분. 드디어 사람들이 인체공학적 의자에 앉아 다리를 꼬고 사용자들의 고민을 상상하는 식으로 일하지 않는 팀이 생겼어요.
또한 UI 부분은 정말 훌륭하다고 생각해요.
마침내, 똑같은 대화창과 화면 가득한 도구 모음이 더 이상 없어졌다...
형태는 물방울과 같습니다. 또한 휴대폰의 물리적 자이로스코프와 연결되어 있어, 휴대폰을 기울이면 실제 물방울처럼 화면 위에서 천천히 움직입니다.
(추가: 이것이 바로 C端 제품이어야 할 모습입니다. 교수님들, 주의하세요!!)
실제 사용 시점에 대해서는, 저에게 가장 매력적인 세 가지 점을 말하고 싶습니다.
- 오직 당신만을 위한 아침 신문
간단히 말하면 뉴스 속보 서비스이며, Muse도 이 기능을 가지고 있습니다.
하지만 솔직히 말해서, 제 개인적으로 사용 빈도는 낮습니다. 결국 이건 기본적으로 관심 태그를 이용한 강제 추천이며, 본질적으로는 변경된 정보 흐름일 뿐입니다.
오리로는 완전히 다른 논리를 사용한다.
그는 무엇이 일어나고 있는지만을 지켜보는 것이 아니라, 이 일이 당신에게 어떤 의미인지도 고민하고 있었다.
예를 들어, 당신은 평소에 Anthropic에 많은 관심을 갖고 있지만, 역사적 대화와 장기 기억을 통해 알 수 있듯이, IPO보다 사실상 대형 모델 생태계의 가치 체인 재구성에 더 관심이 있습니다.
그래서 이른 아침에 최신 자금 조달 동향을 알려줄 때, 당신의 업무 관점에서 맞춤형 해석도 함께 제공합니다.
완전히 최고급 업계 분석가가 당신의 침대 옆에 서서 커피를 마시며 당신과 사적인 대화를 나눈다.
- 당신을 위해 긴 꼬리 정보를 꼼꼼히 주시하겠습니다
우리는 매일 너무 많은 것들을 챙겨야 합니다: 흔치 않은 스타트업, UEFA 유럽 대항전 조별 리그 경기, 혹은 오랫동안 중단된 팟캐스트도요.
하지만 인간의 주의력은 매우 제한적입니다. 누가 매일 시간을 내서 수동으로 검색창을 돌아다닐까요?
이제 입만 움직여 한 마디 말만 하면 됩니다.
그것은 백그라운드에서 7×24시간 동안 정보원에 붙어 있으면서, 어떤 움직임이 있으면 적절한 시점에 당신에게 보고할 것입니다.
- 한 문장으로 완전한 작업 체인
물론, 더 많은 가능성은 여전히 앱 간 서브도메인을 통해 컨텍스트를 얻는 능력에 있습니다.
다른 Personal Agent와 마찬가지로 Orilo에도 커넥터 포트가 있으며, 일부 기본 플러그인이 내장되어 있다.
이메일 주소를 예로 들겠습니다.
정보 아침 뉴스를 듣고 있는데, 오늘의 업무 이메일을 아직 보지 않았다는 것을 갑자기 떠올렸습니다.
제 이메일을 확인해 주세요.
Orilo은 Tool Call과 자연스럽게 연결되며, 2~3초 만에 중요한 정보를 추출할 수 있습니다.
동료 A는 다음 주 화요일에 진행되는 프레젠테이션의 PPT를 다시 업데이트해야 한다고 말했습니다.
물론, 주도적인 추적 능력도 있습니다.
예를 들어 아침에 아이가 학교에서 갑자기 이메일을 보내서, 오후 3시에 하원이 되었다고 합니다. Orilo이 그 이메일을 받으면, 당신과 음성으로 대화하는 틈에 그냥 말로 덧붙이곤 합니다.
아이가 오늘 일찍 학교를 마쳤어요. 달력을 추가해 드릴까요?
치약을 바르면서 어렴풋이 대답했다:
반 시간 전에 나에게 알려주세요.
완료됨.
「중요 정보 수집」에서 「애플리케이션 간 작업 실행」까지, 두 문장이 원활하게 연결된다.
현재의 경쟁 제품들과 비교해 보면 더 직관적일 거예요.
Muse에게 이메일을 보내보세요. 인터페이스에서는 자주 ‘좋아요’를 누르면 그 사람이 어디에 있는지 찾을 수 없고, 20여 초가 지나야 메시지가 돌아옵니다.
나는 그때 어떻게 반응했을까?????
혈압이 순간에 최고치로 올랐다.
물론이죠, 결국 초대작 제품이라서 제가 지적해야 할 점도 하나 있어요.
왜 영어만 지원하나요😭！！！
처음으로 영어 학습의 중요성을 느꼈어요. 여러분, 실제로 전체 영어 대화가 필요할 때야 비로소 깨닫게 되었죠.
사실 나는 몇 천 개의 대학 입시 영어 단어만 외운 평범한 사람일 뿐이야 o(╥﹏╥)o.
모국어를 선택할 수 없다면, 정보 교환의 효율에 정말 큰 영향을 미칩니다.
물론 중국어 음성 모델이 상대적으로 아직 성숙하지 않았기 때문일 수도 있습니다.
AI를 어떻게 말하게 하고 일을 처리하게 할까?
체험 이야기가 끝났으니, 더 깊은 부분에 대해 얘기해보죠.
왜 오리로의 실시간 대화가 완전히 지장 없이 작동하는 걸까?
사실 현재 음성 에이전트를 개발하는 팀들은 모두 같은 물리적 한계에 시달려서 미칠 지경이 되었습니다: 깊은 추론과 초저지연은 본질적으로 상반된 성능입니다.
업계에서는 이 두 가지 주류파가 존재합니다:
- 端到端 네이티브 오디오 솔루션: 오디오가 직접 입력되고 직접 출력됩니다. 속도가 매우 빠르고 감정 표현이 자연스럽고 풍부합니다. 하지만 치명적인 단점은 논리적 추론이 너무 약해서 약간 복잡한 논리 구조의 작업에서는 즉시 작동을 멈추는 것입니다.
- 커플렐링 아키텍처(ASR-LLM-TTS): 먼저 입력된 텍스트를 듣고, 그 다음 대형 모델이 아이디어를 내고, 마지막으로 음성으로 소리내는 방식입니다. 지능은 충분하지만 지연 시간이 1.5~2초에 달합니다. 이건 진정한 대화라고 할 수 없으며, 단순히 무전기로 말하는 것과 같습니다.
인간과 기계의 상호작용에는 매우 잔인한 심리적 한계선이 있습니다. 소리의 지연이 1.5초를 넘을 때, 상대방이 대답하지 않는다면, 당신의 머릿속에 있는 "지혜로운 생명과 소통하고 있다"는 실감이 순식간에 사라집니다.
오리로의 해결책은 '인터랙션 계층'과 '실행 계층'을 아키텍처상 완전히 분리하여 이중 구조의 네트워크를 만드는 것입니다.
- 프론트엔드 레이어: 매우 낮은 지연 시간을 가진 경량 음성 모델을 구동하여, 빠른 청취와 감정 파악을 담당하며, 어떤 방해나 대화 시작도 순식간에 반응할 수 있도록 합니다.
- 백엔드 레이어: 느린 사고를 하는 고추론 능력의 에이전트가 뒤에서 이메일을 읽고, 인터페이스를 조정하고, 캘린더를 확인합니다.
이런 이중적인 접근 방식은 업계 전반에서 실제로 사용되고 있으며, OpenAI가 GPT-Live를 개발하는 것도 비슷한 방향입니다. 하지만 모든 사람이 같은 함정에 걸려 넘어졌습니다.
백엔드가 땀을 흘리며 작업을 처리하는 이 십여 초 동안, 프론트엔드는 사용자와 눈을 마주쳤다. 무엇을 해야 할까?
이전에 GPT를 사용해 이메일 한 통을 답장하게 했는데, 그가 신나게 "좋아"라고 대답하더니, 그 후 전화기 안은 무려 2분간의 침묵에 잠겼습니다.
그때 나는 의아해졌다: 형이 아니야, 뭘 하고 있는 거야, 아니면 시스템이 멈춰버린 거야?
이런 “대화가 끝났고, 조작에 아무 결과도 없다”는 긴 시간의 블랙홀 같은 상황은 정말 최악이었다.
그리고 오리로는 제품 레이어의 트릭을 이용해 매우 똑똑하게 이 문제를 해결했습니다—
그것은 프론트엔드 음성 모델에 “일하면서 대화하는” 컨트롤 능력을 부여했다.
그것을 백엔드에서 일정을 만들도록 할 때, 그것은 백엔드 실행을 조율하면서도 입을 한 치도 비우지 않고, 방금 이야기했던 뉴스에 대해 아무렇지 않게 말을 이어갔다.
전체 상호작용에는 단 한 초의 침묵도 없었다. 마치 현실 속의 경험이 풍부한 행정관이 업무 스테이션에서 키보드를 두드리며 티켓을 예약해주는 동시에 업계 소문에 대해 이야기하는 것처럼, 두 가지 일을 모두 원활하게 처리했다.
실제 테스트를 해보니 또 한 가지 흥미로운 점을 발견했습니다. 약간의 생각이 필요할 때, 'hmm……'이나 'uh……'과 같은 인격화된 발음 단어를 매우 자연스럽게 사용한다는 것입니다.
많은 이야기를 들어보면 인공지능과의 상호작용이 분명히 느껴질 수 있지만, 적어도 AI의 ‘추위로운 행동’을 겪는 것보다는 훨씬 낫습니다.
말로만 하는 것은 아무런 근거가 없으며, 데이터도 이를 증명합니다.
Full-Duplex-Bench이라는 산업 평가 프레임워크에서 Orilo의 성능이 매우 뛰어났습니다.
그것의 가장 뛰어난 점은 사용자가 중단한 후 다시 말을 시작하는 속도입니다.
소요 시간은 1.08초에 불과하며, 테스트 중 가장 빠릅니다. 비교해 보면 GPT Realtime은 1.50초이고, Gemini Live는 2.62초가 걸리는 더 큰 규모의 모델입니다.
물론, 실제 테스트를 해보니 상호작용 경험의 향상에도 비용이 따른다는 것을 알게 되었습니다.
이러한 극도의 반응 속도 추구를 위한 이중층 조립 방식은 견고성을 희생시킨다.
몇 번이나 백그라운드에서 인터페이스가 전혀 연결되지 않았는데, 프론트엔드는 지루하지 않게 되기 위해 진지하게 "모든 것이 잘 되었습니다"라고 말해주었다.
결국 캘린더를 열어보니——아무것도 없음😑.
하지만 전체적인 방향으로 보면, 이 기술 경로는 올바른 것으로 보입니다. 단지 시간 문제일 뿐입니다.
백천연창창업
마지막으로, 예상대로 제작팀에 대해 말해보면 매우 흥미롭습니다.
설립자 조커는 바이천 스마트의 공동 설립자입니다.
아는 사람이 있다면 들어보셨을 거예요. 작년에 그들은 '라이포 라디오'라는 제품을 출시했습니다.
핵심은 개인화된 Daily Brief를 제공하는 AI 라디오를 만들는 것이며, 이는 Orilo과 같은 방향을 따릅니다.
그때는 꽤 잘 해냈습니다. 수십만 명의 사용자 규모에서 다음 날 유지율 50%, 30일 유지율 10% 이상의 데이터를 달성했습니다.
너무 과장되었습니다.
그래서 사실 알 수 있는 것은, 그들이 계속해서 Voice라는 장면을 다루고 있다는 것입니다. 모든 것이 이미 미리 암시된 상태입니다.
Orilo 자체로 돌아가서——이 아이디어는 어떻게 생겨났나?
「라포」의 경험은 PMF를 확인시켜 준 것이며, 그 대상은 ‘아침’이라는 장면입니다.
하지만 그들은 곧 다음 단계에 대해 생각하기 시작했다: 정보 가치를 제공하는 것 외에, AI+Voice는 무엇을 더 할 수 있을까?
답은 Orilo입니다.
조커가 인터뷰에서 말했듯이, 그들은 아주 일찍부터 기억하고 이메일을 다시 보낼 수 있는 ‘인간’이 되고 싶어 했습니다. 《Her》가 그려낸 것과 같습니다.
그래서 오리로의 등장은 오랫동안 준비된 패러다임 전환이라고 할 수 있습니다.
우리는 또한 팀이 올해 초에 이미 Orilo 프로젝트를 시작했다는 것을 알게 되었습니다.
반년이 지났고, 퍼즐도 마침내 모두 모였습니다.
또 한 가지
마지막으로 한 가지 더 말씀드리겠습니다.
사실을 말하자면, 생활 경험의 관점에서 보면, 이전 세대의 인터넷 제품들은 정말 형편없었다.
시간을 쫓아 사용자를 자사 플랫폼으로 유도한 뒤, 결국 그들을 속이고 무분별한 광고를 계속 노출한다.
하지만 현재, 새로운 세대의 AI 제품의 가치 척도가 변하고 있는 것 같습니다.
Claude Code, Codex, 또는 Muse와 같은 하나둘 나타나는 새로운 에이전트 형태들은 오히려 그 반대의 방식을 취하고 있습니다.
사용자들이 인터넷 제품에 의해 빼앗긴 시간을 되찾아주세요.
당신이 주의를 주변 사람들에게 돌려야 합니다.
이것이 바로 오리로가 음성 먼저 전략을 선택한 이유입니다.
그것은 전능한 슈퍼 도구 입장을 추구하지 않습니다. 이는 AI 제품의 임무가 아닙니다. 그래서 사용자의 시선이 계속 화면에 머물기를 원하지 않습니다.
무슨 일이 있으면 말하면 되고, 처리되면 바로 잠에 들어간다.
하지만 이런 자제력이야말로 오리로의 가장 소중한 점일지도 모릅니다.
AI가 우리 삶에 침투하려는 시도를 멈추고, 오히려 매일 아침 당신의 침대 옆, 차 안, 부엌에서 몇 마디 대화를 나누고 싶은 친구가 되어줄 것입니다.
‘사용’하는 앱에서 ‘상호작용’하는 에이전트로.
새로운 형태의 인간-기계 관계가 싹트고 있습니다.
2010년, 조스프는 스탠퍼드 연구소가 육성한 창업 회사인 시리를 인수했습니다.
시리 CEO 다그 키틀라우스의 회고에 따르면, 고스프 자신이 다음 날 만나기로 전화를 걸어왔으며, 그 후 팔로 알토 집에서 세 명의 창립자와 3시간 동안 이야기를 나누었다고 합니다.
조스프는 시리를 직접 iPhone에 통합하겠다고 말했습니다.
이 휴대폰을 완전히 새로 만들고 싶어요… 더 이상 계속 클릭하거나 타이핑할 필요가 없겠네요.
하지만 모두 알다시피, LLM 기술은 10년 이상 늦었습니다.
더 안타까운 것은, 불성실한 시리야, 지금까지 AI의 새로운 시대의 물결에 동참하지 못했다는 것이다.
우리는 결코 알 수 없을 것입니다. 만약 조비스가 여전히 살아있다면, 오늘날의 시리는 과연 어떤 모습일까요.
하지만 지금, 오리로는 출시되었다——
조 방주는 10여 년 전에 시리에 대한 다양한 꿈을 담았다…
드디어, 만질 수 있는 시작점이 생겼습니다.