합성 기업 데이터 평가부터 실제 Microsoft Copilot AI의 신뢰도에 이르기까지

한눈에

• 기업 규모에서 마이크로소프트 코피럭을 평가하려면 실제 조직의 전체 복잡성을 반영하는 테스트 데이터가 필요하지만, 실제 기업 데이터에는 민감한 정보가 포함되어 있어 어떠한 상황에서도 평가에 사용할 수 없습니다.
• 이 긴장을 해소하기 위해, 우리는 산업 평가 데이터 생성 플랫폼을 구축했습니다. 이 플랫폼은 O*NET 직업 데이터, 온라인 일자리 공고, SEC 보고서와 같은 공개된 실제 세계 데이터원을 기반으로 하는 완전한 합성 기업 환경입니다.
• 합성 환경은 실제 비즈니스 워크플로우를 모방하여, 일반적인 기준 테스트가 놓칠 수 있는 문제들을 마이크로소프트가 발견할 수 있도록 돕습니다.
• 안전과 개인정보 보호는 플랫폼의 설계에 내재되어 있습니다. 모든 환경은 완전히 인공적이며 자동화된 콘텐츠 안전 검사가 생성된 데이터에 유해하거나 개인을 식별할 수 있는 자료를 포함하지 않게 합니다.

매일 전 세계에서 수백만 명의 지식 노동자들이 Microsoft Copilot을 이용하여 문서를 작성하고, 회의 내용을 요약하며, 관련 정보를 찾고 생산성을 높입니다. 이 모든 것은 AI 시스템 네트워크에 의해 구동되며, 이러한 시스템이 원하는 대로 작동하도록 하려면 신중한 평가 방식이 필요합니다. Microsoft에서는 고성능이 추층에서 나오는 것이 아니라, 테스트와 측정, 그리고 지속적인 반복을 통해 얻어진다는 것을 알고 있습니다.

의료기관들은 여러 팀에서 나오는 안전 신호를 지속적으로 통합하여, 환자의 결과와 규제에 대한 신뢰에 직접적인 영향을 미치는 더 빠르고 더 나은 결정을 내릴 수 있습니다.

그들은 코피일트에게 회의 내용을 요약하고 팀을 위한 실행 항목을 추출하도록 요청할 수 있습니다. 몇 초 만에 코피일트는 녹음본의 구체적인 논의 포인트를 인용한 체계적인 요약을 제공합니다. 하지만 이 응답이 정확하고 완전하며 회의 내용에 기반을 두고 있는지 어떻게 보장할 수 있을까요? 바로 여기서 우리의 평가 시스템이 등장합니다.

우리는 산업 평가 데이터 생성 플랫폼이라는 구조화된 평가 전략을 개발했습니다. 이는 실제 기업 환경에서 AI 시스템을 테스트하기 위한 산업별 평가 데이터 세트를 포함하며, 세 가지 핵심 기반 위에 구축되었습니다.

• 합성 기업 환경: 실제 사용자, 회의, 이메일, 문서, 조직 구조 등을 포함한 마이크로소프트 코피틀 환경을 시뮬레이션하여, 실제 조직의 복잡성을 재현하면서도 고객 데이터를 전혀 사용하지 않는 환경입니다.
• 자동화된 쿼리 생성 파이프라인을 통해 빠르고 재현 가능한 평가 데이터셋의 생성
• 구조화된 품질 프레임워크을 통해 합성 데이터가 의미 있는 평가를 위한 기준을 충족하도록 보장합니다.

이러한 기둥들이 함께 작동하여, 우리는 두 가지 근본적인 질문에 답할 수 있습니다: Microsoft Copilot이 실제로 사용자들이 원하는 일을 하고 있는지, 그리고 사용자의 데이터를 전혀 건드리지 않고 이를 증명할 수 있는지.

이 블로그 글에서 우리는 합성 환경 생성부터 자동화된 쿼리 파이프라인에 이르기까지 우리의 평가 시스템과 프로세스를 살펴보고, 이 모든 것이 어떻게 결합되어 마이크로소프트 코파일러의 첫 번째 표준화된 평가 기준을 설정하는지 설명할 것입니다.

합성 기업 환경

기업 AI를 평가하는 데에는 실제 조직의 전체 복잡성을 반영하는 테스트 데이터가 필요합니다. 여기에는 보고 구조, 프로젝트 역사, 커뮤니케이션 패턴, 그리고 분야별 작업 흐름이 포함됩니다. 하지만 실제 기업 데이터에는 어떠한 상황에서도 평가에 사용할 수 없는 민감한 정보가 포함되어 있습니다. 이것이 바로 우리가 해결하고자 하는 중심적인 문제입니다.

작은 수준의 수동으로 관리된 테스트 환경에 의존하는 대신, 우리는 전체 규모의 합성 환경을 생성합니다: 실제와 같은 조직 구조, 커뮤니케이션 이력, 작업 결과물을 갖춘 시뮬레이션된 엔터프라이즈 워크스페이스입니다. 마이크로소프트 용어에서 이러한 시뮬레이션된 워크스페이스를 “테넌트”라고 합니다. 테넌트는 자체 사용자, 데이터, 설정이 있는 격리된 조직 환경입니다. 이러한 환경은 팀과 조직이 원하는 대로 확장 가능한 기준선이며, 엔터프라이즈 AI 평가의 의미를 갖는 동일한 구조적 및 행동적 특성을 보여주도록 설계되었습니다.

실제 세계 신호에 기반한 접근

우리의 합성 환경이 실제와 유사하도록 하기 위해, 우리는 공개적으로 이용 가능한 실제 세계 데이터 소스에 기반을 두었습니다.

• O*NET 데이터는 미국 노동부의 직업 데이터베이스에서 가져온 것으로, 직원의 역할과 책임을 실제적이고 현실적인 형태로 만들고, 각 역할에 할당된 업무 활동의 비율과 빈도를 조정하며, 임상 시험 검토나 포트폴리오 업데이트와 같은 산업별 특화된 워크플로우를 맞춤화하는 데 사용되었습니다.
• 온라인 채용 공고에는 실제적인 직책 명칭, 보고 체계 및 부서 구성이 포함됩니다.
• SEC 제출 문서은 조직의 규모, 비즈니스 단위 구조, 재무 상황에 대한 정보를 제공합니다. 이 모든 자료는 공개적으로 이용 가능하며 마이크로소프트의 법무 및 정책 부서에서 검토하고 승인되었습니다.

중요한 점은, 이러한 합성 환경이 정적인 스냅샷이 아니라는 것입니다. 이 환경은 주간에 걸쳐 발전하는 회의 기록, 프로젝트 일정, 이메일 토론 등과 함께 자연스럽게 진행되는 조직 변화를 포함하여 동적이고 시간이 지남에 따라 변하는 조직을 시뮬레이션합니다. 이러한 시간적 차원은 매우 중요합니다. 왜냐하면 Copilot의 많은 쿼리들이 본질적으로 시간에 대한 인식을 요구하기 때문입니다. “지난 목요일에 팀이 무엇을 결정했는가?” 또는 “마지막 분기 검토 이후에 무엇이 변했는가?”와 같은 질문은 기반 데이터에 실제적인 시간 구조가 있을 때만 의미 있는 평가를 제공한다.

업계 특화 시뮬레이션

우리는 여러 산업에 걸쳐 세 가지 합성 환경을 생성했으며, 각 환경은 실제 세계의 사용 방식을 반영하는 독특한 특성을 가지고 있습니다.

• 규제 제출 워크플로우, 임상시험 논의, 그리고 다기능 안전 검토 회의를 포함하는 제약 환경
• 거래 파이프라인, 규정 준수 커뮤니케이션, 고객 포트폴리오 검토를 포함하는 주식 시장 환경
• 스프린트 계획 수립, 코드 리뷰 논의, 제품 출시 조율을 시뮬레이션하는 IT/소프트웨어 회사

이 산업 특성은 우리의 평가 질문이 코피الت을 해당 분야의 실제 사용자들이 실제로 묻는 질문 유형에 대해 테스트하도록 보장하며, 분야별 특유의 오류 패턴이 나타날 가능성이 낮은 일반적인 테스트 케이스에 의존하지 않습니다.

자동화된 쿼리 생성

합성 환경은 평가를 위한 기반을 제공하지만, 중요한 한계가 있습니다. 우리는 여전히 현실적인 평가 질문이 필요합니다. 이러한 질문들은 Copilot이 올바른 정보를 제시하고, 그것을 정확하게 합성하며, 유용하게 제시할 수 있는지를 테스트하는 것입니다. 수천 개에 달하는 실제 산업 관련 질문을 수동으로 작성하는 것은 비용이 많이 들고 시간이 오래 걸립니다. 바로 이때 우리의 자동화된 파이프라인이 활용됩니다.

6단계 파이프라인

우리는 간단하고 일반적인 질문 아이디어를 코피털에 맞는 실제적인 업계 특화된 질문으로 변환하는 자동화된 파이프라인을 만들었습니다. 이 시스템은 일반적인 작업 환경의 작업들로 구성된 방대한 자료에서 시작하여, 해당 산업에 관련된 것만을 선별하고, 도메인 특화 언어와 맥락을 활용하여 질문을 조정합니다. 그 후 시스템은 AI를 사용하여 합성 환경의 데이터를 기반으로 질문을 생성하고, 더 자연스럽고 인간적이게 바꾸며, 각 질문의 정확성과 독특함을 검증합니다. 결과는 고품질의 생생한 쿼리들이 가득한 풍부한 집합으로, 실제 환경에서 코파일트를 확장 가능하고 신뢰할 수 있게 평가할 수 있게 해줍니다.

합성 품질 검증

물론, 합성 데이터를 생성하는 것만이 과제의 일부에 불과합니다. 또한 데이터가 의미 있는 평가를 내릴 수 있을 만큼 충분한 품질을 갖도록 해야 합니다. 우리는 내부의 의미론적 평가 프레임워크를 사용하여 합성 환경의 품질을 평가하며, 이 프레임워크는 세 가지 차원에서 품질을 측정합니다.

• 구조적 충실성: 조직 구조가 현실적인 보고 체계, 팀 규모, 그리고 범부서 간 관계를 반영하고 있는가?
• 상황적 관련성: 쿼리와 워크플로우가 실제 기업 사용 패턴을 반영하고 있는가?
• 행동적 현실성: 시뮬레이션된 사용자들이 인간과 같은 의사소통 패턴과 협업 역학을 보여주는가?
• 콘텐츠 안전성: 생성된 콘텐츠에 해로운, 모욕적인 또는 개인을 식별할 수 있는 자료가 없으며, 실제 인물을 가장하지 않습니까?

엔드투엔드 자동화

우리의 합성 환경과 쿼리 파이프라인은 방법론을 제공하지만, 적절한 자동화 없이는 여러 실용적 한계에 직면합니다. 그 한계에는 다음이 포함됩니다:

• 재현성: 수동적인 프로세스는 매번 미묘하게 다른 결과를 만들어내므로, 여러 릴리스 간의 평가를 비교하기가 어렵습니다.
• 스케일: 업계의 섹터와 구성 변형 수가 어떤 팀이 손으로도 합리적으로 생산할 수 있는 수준을 넘어섭니다.
• 반복 속도: 수동으로 생성하는 데 며칠이 걸리므로 필수적인 피드백이 지연되고 개발 주기가 느려집니다.
• 팀 간 일관성: 표준화된 도구가 없으면 각 팀은 호환되지 않는 형식과 품질 수준의 평가 데이터셋을 생성합니다.

이 자동화를 통해 평가 데이터셋 생성 과정을 며칠에 걸리는 수작업 작업에서 자동화된 작업으로 바꿨습니다. 우리는 각 평가 데이터셋에 약 10만 달러의 비용 절감 효과와 전체 프로젝트에 30만 달러의 비용 절감 효과를 얻을 것으로 추정합니다. 하지만 더 중요한 결과는, 어떤 팀이든 동일한 설정으로 평가 데이터셋을 재생성할 수 있으며 동일한 결과를 얻을 수 있다는 것입니다.

파운드리 랩스

Foundry Labs는 마이크로소프트의 혁신과 그 혁신을 실제로 활용할 수 있는 개발자들, 과학자들, 호기심 많은 사람들 사이의 간극을 메워줍니다.

개인정보 보호 및 안전을 설계 단계에서 고려함

기업급 평가는 좋은 방법론만으로는 충분하지 않습니다. 사용자 신뢰를 해치지 않으면서 팀들이 빠르게 움직일 수 있도록 하는 개인정보 보호 방침도 필요합니다. 우리 산업 평가 데이터셋의 비가역적 설계 원칙은 파이프라인의 어느 단계에서도 실제 고객 데이터를 사용하지 않는 것입니다. 조직 구조부터 이메일 내용, 회의 기록까지 모든 요소는 고객 데이터를 포함하지 않고 합성적으로 생성됩니다. 데이터가 완전히 합성적이며 안전하게 검열된다는 점 덕분에 팀들은 명예 손실, 규정 준수 문제, 또는 책임 있는 AI 위험을 초래하지 않고 데이터를 널리 공유하고 재사용할 수 있습니다.

우리의 보호 조치에는 실제 세계의 통계 분포를 참조하는 개인정보 보호를 위한 집계 기술, 모든 공개 데이터 소스에 대한 전문 법률 검토 및 승인, 그리고 파이프라인 전반에 걸친 명확한 데이터 출처 및 계통 추적이 포함됩니다.

이는 마이크로소프트의 다양한 팀들이 개인정보 검토이나 데이터 처리에 대한 제한 없이, 실험, 비교 평가, 회귀 테스트를 위해 이 평가 데이터 세트를 자유롭게 사용할 수 있음을 의미합니다. 개인정보 보호 설계는 시스템에 부과된 제약이 아니라, 오히려 광범위한 도입이 가능하도록 하는 요소입니다.

결과와 영향

이 프로젝트를 시작한 이후로, 여러 측면에서 큰 향상이 관찰되었습니다.

합성 데이터 품질에 관해서는, 우리의 내부 평가 시스템이 생성된 데이터의 구조적, 맥락적, 통계적 정확도 측면에서 상당한 향상을 보였습니다. 합성 데이터가 실제 기업 환경의 복잡성과 패턴을 얼마나 잘 반영하는지를 측정하는 종합 품질 지표를 기준으로 볼 때, 초기 생성 방식에 비해 점수가 39% 향상되었습니다. 일부 업계 특화 환경에서는 1.0점 중 0.9점 이상의 품질 점수를 달성했으며, 이는 분야별로 집중된 생성 방식이 매우 현실적인 평가 환경을 만들어낸다는 것을 보여줍니다. 이러한 향상은 실제 업계 신호를 통합하고, 구조적 완전성, 맥락적 일관성, 통계적 다양성을 개선하는 주요 종합 품질 지표를 통해 자동화된 품질 개선 작업을 통해 이루어졌습니다.

규모와 효율성 측면에서, 현재 각 합성 환경에는 3개 산업 분야에 걸쳐 완전한 통신 이력을 가진 수백 명의 사용자가 존재합니다. 평가 데이터셋 생성은 며칠에 걸리는 수작업 작업에서 자동화된 파이프라인 작업으로 변경되었습니다.

조직적 도입에 관해, 우리 산업 평가 데이터 생성 플랫폼이 내부 공유 카탈로그에 게시되어 여러 팀에서 재사용될 수 있게 되었으며, 마이크로소프트 코파일트의 첫 번째 표준화된 평가 기준으로 확립되었습니다. 그 변화는 단순한 점진적인 것이 아니었습니다. 팀들이 평가를 접근하는 방식에 있어서의 변화였습니다. 즉, 임의적이고 수동적인 프로세스에서 표준화된, 재현 가능한 인프라로 바뀌는 것이죠.

결론

Microsoft Copilot이 할 수 있는 것을 계속 확장해 나가면서, 단일 턴 Q&A부터 에이전트형 다단계 워크플로우에 이르기까지, 평가에 대한 우리의 노력은 여전히 우리 접근 방식의 핵심입니다. 기업용 AI에서 품질이란 정확성이나 속도만이 아닙니다. 그것은 신뢰입니다. 조직들은 AI 시스템이 정보를 올바르게 처리한다는 확신이 필요하며, 그러한 확신은 철저하고 반복 가능한 평가를 통해서만 얻을 수 있습니다. 그 신뢰는 우리가 만드는 모든 것에 내재된 두 가지 약속에 기반합니다: 엄격한 개인정보 보호와 적극적인 콘텐츠 안전 관리입니다.

앞으로 마이크로소프트 코피롤터는 더욱 흥미로운 평가 과제들을 해결하고 있습니다: 다중 턴 에이전트 상호작용의 질을 어떻게 평가할 수 있을까? 몇 달이나 몇 년에 걸쳐 변화하는 조직의 역학을 포착하기 위해 합성 환경을 어떻게 확장할 수 있을까? 단순히 텍스트를 생성하는 것이 아니라 행동을 하는 AI 시스템을 위한 평가 프레임워크를 어떻게 구축할 수 있을까? 이러한 질문들이 바로 우리 팀이 다음에 연구하고 있는 내용입니다.

마이크로소프트에서는 단순히 인공지능을 개발하는 것이 아닙니다. 모든 기업과 모든 산업, 모든 규모에서 신뢰할 수 있는 인공지능이 작동하도록 하는 인프라를 구축하고 있습니다.

산업 평가 데이터셋 작업에 참여해 주신 모든 분들께 감사드립니다!