IskayPet의 오피스 팀은 지식 문제에 직면해 있었습니다. 반품 정책, 수의 프로토콜, 온보딩 절차 같은 일상적인 운영 질문에 대한 답변이 4개 언어와 3개국에 걸쳐 흩어진 수백 개의 Microsoft SharePoint 문서에 있었습니다. 대규모 문서 저장소에서 올바른 정보를 찾는 데는 오랜 시간이 걸렸고, 새로운 매장, 국가 또는 절차가 추가될 때마다 문제는 더 커졌습니다.
Retrieval Augmented Generation(RAG)은 이 문제를 해결하는 일반적인 방법입니다. 하지만 프로덕션에서 RAG를 운영한다는 것은 보통 벡터 데이터베이스, 임베딩 파이프라인, 수집 작업을 직접 운영해야 함을 의미합니다.
이 게시물에서는 이베리아 선도 반려동물 케어 기업인 IskayPet이 Amazon Bedrock Managed Knowledge Bases 기반으로 기업 지식 어시스턴트를 구축한 방법을 보여줍니다. 이 어시스턴트는 리테일 운영, 수의 케어, 인사 및 온보딩, 조달에 걸친 직원 질문에 대해 4개 언어와 3개국 범위에서 답변하며, 관리해야 할 RAG 인프라가 전혀 없습니다. 팀은 Kiro와 Claude Haiku 4.5를 사용하여 매장용 프런트엔드부터 AWS 아키텍처 및 배포까지 전체 솔루션을 구축했습니다. 우리는 아키텍처, SharePoint 통합, 검색 구성 결정, 그리고 프로덕션에서의 결과를 다룹니다.
IskayPet 소개
IskayPet은 이베리아 선도 반려동물 케어 기업입니다. Kiwoko, Tiendanimal, Kivet, Clinicanimal, Animalis 브랜드로 스페인, 포르투갈, 프랑스에서 330개 이상의 매장을 운영합니다. 4,500명 이상의 직원과 700만 명의 고객을 보유한 IskayPet은 리테일, 수의 클리닉, 동물 케어, 조달, 인사 및 온보딩에 걸친 운영을 수행합니다. 각 영역은 스페인어, 포르투갈어, 프랑스어, 영어로 자체 정책과 절차를 가지고 있습니다.
과제
모든 사업 영역에서 IskayPet 오피스 직원들은 절차, 정책, 계약, 온보딩에 관한 운영 질문에 답하기 위해 수백 개의 SharePoint 문서를 수작업으로 검색했습니다. 3개국과 4개 언어에 걸친 운영 환경에서 이는 실제로 많은 시간이 걸렸고, 답변은 종종 outdated이거나 잘못되었습니다.
기업 지식을 조회할 신뢰할 만한 방법이 없었고, 문제는 국가, 영역 또는 문서가 추가될 때마다 커졌습니다. IskayPet은 다음을 수행할 수 있는 솔루션이 필요했습니다:
- 자사 기업 문서에 기반한 자연어 질문에 답변할 것.
- 별도의 시스템을 유지 관리하지 않고 4개 언어에서 작동할 것.
- 각 질문을 교차 오염 없이 올바른 지식 체계(영역, 국가)로 라우팅할 것.
- 재설계 없이 새로운 영역과 국가로 확장할 것.
- 직원이 답변을 신뢰하고 검증할 수 있도록 출처를 인용할 것.
- 비용이 많이 드는 마이그레이션 없이 기존 SharePoint 저장소를 재사용할 것.
Amazon Bedrock Managed Knowledge Bases를 선택한 이유
IskayPet은 관리형 RAG 인프라 덕분에 벡터 스토어, 임베딩, 수집 파이프라인을 직접 운영할 필요가 없어 Amazon Bedrock Managed Knowledge Bases를 선택했습니다. 주요 이유는 다음과 같습니다:
- 관리형 RAG: Amazon Bedrock은 데이터 수집, 멀티모달 파싱, 벡터 저장, 임베딩 생성, 검색을 처리합니다. IskayPet은 저장하고 검색하는 만큼만 비용을 지불합니다.
- 네이티브 SharePoint 커넥터: 이 커넥터는 IskayPet의 기존 SharePoint 환경에서 문서를 직접 수집하므로 데이터 마이그레이션이 필요 없었습니다. 고급 인덱싱을 활성화하면 문서에 포함된 이미지의 콘텐츠도 처리합니다.
- 내장 하이브리드 검색: 추가 비용 없이 시맨틱 검색과 키워드(BM25) 검색을 결합하면 순수 시맨틱 검색이 놓칠 수 있는 제품 코드 및 참조와 같은 정확한 용어를 찾아냅니다.
- 관리형 리랭킹: 검색된 구문은 추가 요금 없이 관련성에 따라 재정렬됩니다.
- 문서 수준 접근 제어: 지식 베이스는 검색 시점에 원본 시스템의 권한을 그대로 적용할 수 있어, 쿼리는 요청한 사용자가 이미 읽을 수 있는 문서의 구문만 반환합니다. 이를 통해 IskayPet은 권한 부여 모델을 새로 만드는 대신 SharePoint 권한을 재사용할 수 있습니다.
- 모델 유연성: IskayPet은 비용 효율적인 모델로 시작하고 인프라를 다시 작성하지 않고도 나중에 변경할 수 있습니다.
- 네이티브 RAG 평가: 팀은 내장된 평가 도구를 사용하여 각 단계에서 품질을 측정했습니다.
솔루션 개요
다음 다이어그램은 직원의 질문부터 권한 인식 검색을 거쳐 근거와 인용이 포함된 답변에 이르는 엔드투엔드 흐름을 보여줍니다.
그림 1: 솔루션 아키텍처
이 솔루션은 직원들이 기존 채널을 통해 접근하는 어시스턴트입니다. 직원이 질문을 하면 어시스턴트는 지식 베이스에서 해당 직원이 읽을 수 있는 문서로 제한하여 가장 관련성 높은 구절을 검색합니다. 그런 다음 직원의 언어로 근거와 인용이 포함된 답변을 생성합니다.
높은 수준에서 흐름은 다음과 같이 작동합니다:
- 직원이 채팅 인터페이스를 통해 자연어 질문을 제출합니다.
- 애플리케이션은 요청된 어시스턴트에 대한 지식 베이스를 호출하며, 직원의 신원을 전달하여 검색 시 문서 수준 권한이 적용되도록 합니다.
- 지식 베이스는 인덱싱된 콘텐츠에 대해 하이브리드 검색(시맨틱 및 키워드)을 실행하고, 결과를 재순위화하여 가장 관련성 높은 구절과 출처 참조를 반환합니다.
- 파운데이션 모델(FM)이 검색된 구절로부터 근거 있는 답변을 생성합니다. 프롬프트는 출처 인용을 요구하고, 검색된 콘텐츠에 답변이 없을 때 그렇다고 말하도록 모델에 지시합니다.
- 직원은 출처 문서와 함께 답변을 받으며, 평가 세트에 반영되는 피드백(좋아요 또는 싫어요)을 남길 수 있습니다.
Kiro와 Claude Haiku 4.5로 솔루션 구축
IskayPet은 매장 직원용 프론트엔드부터 AWS 아키텍처 및 서비스 배포까지 전체 솔루션을 다음을 사용하여 구축했습니다: Kiro, 에이전트형 개발 환경으로, Amazon Bedrock에서 Claude Haiku 4.5를 기반으로 실행됩니다. Amazon Bedrock에서 새로운 모델이 제공되면 IskayPet은 각 사용 사례에 맞게 이를 평가하고 채택할 계획입니다.
AWS 리전별 모델 가용성에 대해서는 다음을 참조하십시오: Amazon Bedrock의 AWS 리전별 지원 모델.
- 매장 직원용 프론트엔드 – 팀은 Kiro를 사용하여 매장 직원이 어시스턴트와 상호작용하는 프론트엔드를 구축했으며, Claude Haiku 4.5로 UI 코드를 생성하고 반복 개선했습니다.
- 아키텍처 및 배포 – Kiro는 AWS 아키텍처 설계와 솔루션 뒤에 있는 서비스 프로비저닝에도 도움을 주었습니다: 지식 베이스 구성, 데이터 소스, AWS Identity and Access Management(IAM) 역할, 애플리케이션 계층 등입니다.
Kiro와 Claude Haiku 4.5 같은 빠르고 비용 효율적인 모델을 활용한 에이전트형 워크플로는 소규모 팀이 개념에서 프로덕션까지 빠르게 나아가는 데 도움이 되었습니다. 또한 애플리케이션 코드와 인프라의 일관성과 유지보수성도 유지되었습니다.
수집: 고급 인덱싱을 갖춘 SharePoint 커넥터
IskayPet의 문서는 이미 SharePoint에 지역 및 국가별로 정리되어 있었습니다. 팀은 문서를 마이그레이션하는 대신 Amazon Bedrock Managed Knowledge Bases의 네이티브 SharePoint 커넥터를 사용했습니다.
데이터 소스의 고급 구성(Advanced configurations)에서 콘텐츠 인덱싱(Content indexing)과 고급 인덱싱(Advanced indexing) 항목 아래에서 IskayPet은 문서 내 시각적 콘텐츠(Visual content in documents)를 활성화했습니다. 이 설정은 문서(PDF, DOCX, PPTX)에 포함된 이미지와 독립형 이미지에서 콘텐츠를 추출합니다. 절차 문서 내부의 그림과 스캔된 콘텐츠가 별도의 전처리 파이프라인 없이도 검색 가능하게 되었습니다.
커넥터는 증분 방식으로 동기화하므로, 매 동기화 시 새 문서와 업데이트된 문서가 반영됩니다.
다국가, 다영역 아키텍처
핵심 설계 결정 중 하나는 4개 언어, 여러 사업 영역, 3개 국가를 위해 지식을 어떻게 구조화할 것인가였습니다. IskayPet은 두 가지 접근 방식을 검토했습니다:
- 국가와 영역별로 태그가 지정된 모든 문서를 담은 단일 공유 지식 베이스를 사용하고 쿼리별로 검색 필터를 적용하는 방식. 이는 공유 콘텐츠의 재사용을 극대화하지만 모든 도메인을 하나의 인덱스로 결합시킵니다.
- 어시스턴트별 전용 지식 베이스를 두고, 각각 관련 SharePoint 사이트 또는 라이브러리로 범위를 한정하는 방식. 이는 각 지식 본체를 엔드 투 엔드로 격리하고 각 어시스턴트를 독립적으로 조정할 수 있게 합니다.
IskayPet은 어시스턴트별 지식 베이스를 선택했습니다. 각 어시스턴트는 특정 SharePoint 사이트를 가리키며, 포함 경로(inclusion paths)를 통해 특정 문서 라이브러리나 폴더로 더 좁혀질 수 있어, 의도된 콘텐츠만 인덱싱하고 전체 회사 사이트를 인덱싱하지 않습니다. 새로운 영역이나 국가를 추가하는 것은 어시스턴트를 추가하고 올바른 콘텐츠를 가리키는 것이지, 시스템을 재설계하는 것이 아닙니다.
액세스 제어
액세스는 사용자의 기존 SharePoint 권한에 의해 관리됩니다. 어시스턴트는 어떤 새로운 액세스 권한도 부여하지 않습니다: 직원이 이미 열 수 있는 문서를 더 쉽게 쿼리할 수 있게 해줄 뿐입니다. 이는 두 가지 수준에서 작동합니다.
- 사용자에게 표시되는 어시스턴트 – 직원은 자신이 읽을 권한이 있는 기반 문서를 가진 어시스턴트만 표시되며, 그 권한은 직접 권한, 그룹 멤버십, 또는 특정 폴더에 대한 액세스에서 비롯될 수 있습니다. 액세스가 확인되지 않으면 어시스턴트는 표시되지 않고 숨겨집니다.
- 답변에 반영되는 문서 – 액세스는 검색 시점에 문서별로 다시 한 번 적용됩니다: 직원의 신원이 지식 베이스에 전달되며, 지식 베이스는 해당 인물이 볼 권한이 있는 문서에서만 구절을 반환합니다. Amazon Bedrock Managed Knowledge Bases는 이러한 문서 수준 액세스 제어를 기본적으로 지원하므로, 동일한 질문에 대한 동일한 답변이 서로 다른 권한을 가진 두 직원에게 합법적으로 다르게 나타날 수 있습니다.
모든 액세스 확인 시 권한이 SharePoint에서 읽히기 때문에, SharePoint에서 액세스 권한을 취소하거나 부여하면 애플리케이션을 변경하지 않고도 어시스턴트에 반영됩니다.
검색 및 생성 구성
RAG 시스템의 품질은 주로 수집(ingestion), 검색(retrieval), 생성(generation) 단계에서 결정됩니다. 파인튜닝은 보완적인 기법입니다. 이 사용 사례에서 IskayPet은 다음 설정을 조정했습니다:
- 청킹(Chunking) – 관리형 지식 베이스에서 처리하므로 팀이 청킹 파이프라인을 직접 구축하거나 튜닝하지 않았습니다. 이를 통해 자체 관리형 RAG에서 보통 상당한 운영 노력이 필요한 구성 요소를 제거할 수 있었습니다.
- 하이브리드 검색 – 지식 베이스는 의미 기반 검색과 키워드 검색을 결합하여, 순수 의미 검색이 놓칠 수 있는 제품 코드 같은 정확한 용어를 복원합니다.
- 결과 수 – 평가 세트를 기준으로 튜닝되었습니다. 어시스턴트는 25개의 구절(passages)을 검색한 뒤, 중복과 맥락을 추가하기에 너무 짧은 조각을 제거하고 최대 15개를 프롬프트에 주입합니다. 이 숫자는 모든 질문마다 입력 토큰을 곱셈적으로 늘리기 때문에 주요 비용 레버입니다.
- 생성 프롬프트 – 기업 톤을 강제하고, 출처 인용을 요구하며, 검색된 콘텐츠에 답이 없을 때 그렇게 말하도록 모델에 지시함으로써 환각을 줄이고 추적 가능성을 더합니다.
프로덕션 통제 수단으로, 팀은 Amazon Bedrock Guardrails 을 추가하여 생성된 답변에 콘텐츠 필터링과 책임 있는 AI 정책을 적용하고 있습니다.
- 평가 – Amazon Bedrock의 기본 제공 RAG 평가를 사용하며, 실제 사용에서 얻은 따봉/싫어요 피드백을 평가 세트로 활용하여 각 변경 전후의 품질을 측정합니다.
응답 생성
답변 생성을 위해 IskayPet은 Amazon Bedrock에서 비용 효율적인 파운데이션 모델을 사용합니다. 지식 베이스는 검색과 생성을 분리하기 때문에, IskayPet은 수집 또는 검색 계층을 건드리지 않고도 생성 모델을 전환하거나 업그레이드할 수 있습니다. 이를 통해 팀은 사용량이 증가함에 따라 비용과 답변 품질의 균형을 맞출 수 있습니다.
비용 효율성
지식 베이스에는 멀티모달 파싱, 임베딩 생성, 리랭킹이 추가 요금 없이 포함되어 있으므로, IskayPet의 지속 비용은 주로 인덱스 스토리지, 검색 API 호출, 생성 모델 토큰에서 발생합니다. 프로덕션에서는 각 프롬프트에 주입되는 구절들로 인해 입력 토큰이 비용의 대부분을 차지합니다. 팀은 사용량이 증가함에 따라 프롬프트의 안정적인 부분에 대한 프롬프트 캐싱, 비대화형 워크로드를 위한 배치 추론 등 추가 최적화를 검토하고 있습니다.
결과
프로덕션 도입 후 약 첫 두 달 동안 IskayPet은 다음을 확인했습니다:
- 더 빠른 답변 – 운영 관련 답을 찾는 시간이 3–5분에서 약 7초로 단축되었습니다.
- 더 높은 생산성 – 절차와 정책을 검색하는 데 드는 시간이 약 95퍼센트 감소했습니다.
- 확장성 – 이 솔루션은 모든 사업 부문과 국가에서 월 약 100,000건의 쿼리를 처리할 것으로 예상됩니다.
결론
IskayPet은 Amazon Bedrock Managed Knowledge Bases 위에 3개국, 4개 언어, 여러 사업 부문을 지원하는 프로덕션 기업 지식 어시스턴트를 구축했으며, RAG 인프라를 운영할 필요가 없었습니다. 기본 제공 SharePoint 커넥터는 기존 저장소를 그대로 재사용했습니다. 어시스턴트별 전용 지식 베이스를 통해 각 도메인이 엔드 투 엔드로 격리된 깔끔한 다국가 설계를 실현했습니다. 관리형 파싱, 임베딩, 리랭킹 덕분에 운영 노력과 비용 모두 낮게 유지되었습니다. Kiro와 Claude Haiku 4.5로 프런트엔드와 AWS 아키텍처를 구축하여 소규모 팀도 빠르게 프로덕션에 도달할 수 있었습니다.
유사한 지식 검색 과제에 직면해 있다면, AWS Free Tier에서 시작하여 Amazon Bedrock 콘솔에서 첫 번째 지식 베이스를 구축할 수 있습니다. 더 자세히 알아보려면 다음 리소스를 참조하고 SharePoint 커넥터와 문서 수준 액세스 제어를 자신의 문서에 직접 적용해 보세요.
자세한 내용은 다음을 참조하세요: Amazon Bedrock Managed Knowledge Base 및 Amazon Bedrock 평가를 사용하여 RAG 소스의 성능 평가.