사용자 신뢰와 관련성을 위해 ChatGPT의 새로운 광고 스택을 구축한 방법

기존 광고 시스템은 사용자 의도의 개별 단위에 반응하도록 만들어졌습니다. 사용자가 온라인에서 무언가를 검색하거나 조회하면, 광고 시스템은 이러한 쿼리와 페이지 뷰를 이벤트로 수신하고, 해당 이벤트를 기반으로 일치하는 광고를 찾습니다. ChatGPT를 위한 광고 스택 구축은 달랐습니다. 사용자 의도는 대화 전반에 걸쳐 발전하고 대화의 여러 턴에 걸쳐 이동하며, 때로는 적합한 광고 시점이 없기도 합니다. 이 새로운 패러다임을 지원하기 위해 우리는 맞춤형 광고 전달 시스템을 구축했습니다. 이 새로운 유형의 광고 스택은 커스텀 포스트 트레이닝된 프런티어 LLM을 기반으로 하며, 이 LLM은 검색(상위 옵션 식별), 랭킹(사용자 참여 예측), 관련성(광고의 유용성 평가), 그리고 최종 광고 선택 및 가격 책정을 위한 경매 실행을 위해 도구 호출을 수행합니다.

우리의 광고 시스템은 세 가지 핵심 설계 결정을 통해 진화하는 사용자 목표의 미묘한 차이를 지원합니다: 1) 스테이트풀 광고 세션 구현, 즉 대화의 턴과 여러 대화에 걸쳐 정보가 기억되도록 함, 2) 도구 호출 아키텍처를 사용하여 대화의 맥락과 근본 의도를 해석한 다음 효과적으로 광고를 선택, 랭킹 및 전달하는 커스텀 포스트 트레이닝된 LLM에 의존, 3) 광고 선택 프로세스를 자체 서비스에서 ChatGPT의 답변 생성과 별도로 실행하여 광고가 답변에 영향을 주지 않도록 하고 ChatGPT의 중립적 어조를 유지. 우리는 포스트 트레이닝된 LLM을 사용하여 전체 광고 흐름을 오케스트레이션하며, 사용자의 현재 턴과 대화 이력을 모두 기반으로 적절한 시점에 적절한 광고를 노출합니다. 이렇게 자가 개선형 광고 시스템을 부트스트래핑하는 데는 예전에는 수년이 걸렸지만, ChatGPT Ads는 연간 수익 런레이트 10억 달러에 도달했으며 출시 후 200일 이내에 달성했습니다현재 출시 이후 100,000명 이상의 광고주가 ChatGPT에서 광고를 집행했습니다.

에이전틱 채팅에서 광고는 어떻게 작동해야 할까?

기존의 광고 요청은 대개 잘 정의된 이벤트로 시작합니다. 사용자가 검색 쿼리를 제출하거나 웹페이지를 열면 광고 시스템이 요청을 수신합니다. 이러한 유형의 시스템은 상당히 단순합니다. 잠재적 광고 후보를 검색하고, 랭킹을 매기고, 경매를 통해 기회에 적절한 가격을 책정한 후, 결과 광고를 사용자에게 보여줍니다. ChatGPT는 이러한 구체적인 시점을 자연스럽게 만들어내지 않습니다.

ChatGPT 대화에서 사람들은 단일 답변 검색 쿼리가 아닌 목표를 가지고 찾아옵니다. 여행을 계획하거나, 사업용 소프트웨어를 선택하거나, 집을 꾸미거나, 새로운 취미를 배우는 중일 수 있습니다. 이 모든 것이 대화의 한 턴에서 일어나지는 않습니다. ChatGPT는 종종 그 과정에서 사용자가 무엇이 중요한지 명확히 하도록 돕습니다.

예를 들어, 우리 엔지니어링 팀은 ChatGPT에게 레이스 훈련 방법을 물었습니다. 대화는 달리기에 대한 일반적인 질문으로 시작합니다. 여러 턴 후에 그들은 훈련에 도움이 되는 신발에 대해 묻습니다. 대화의 상업적 의미는 각 제약 조건이 도착할 때마다 변하며, 이 개인화된 맥락은 여러 세션에 걸쳐 진화합니다. 첫 번째 메시지에 반응한 시스템은 완전히 잘못된 의도를 검색할 수 있으며, 잠재적으로 사용자 경험을 저하시키고 방해가 될 수 있습니다.

우리의 광고 시스템을 구축하려면 요청-응답 광고 아키텍처를 넘어, 사용자 신뢰와 가치를 우선시하면서 잠재적 경제적 기회를 찾기 위한 광고 스택을 처음부터 구축해야 했습니다.

ChatGPT 답변에 영향을 주지 않는 대화 기억

기존 광고 시스템처럼 모든 메시지를 독립적인 요청으로 처리하는 것은 우리의 채팅 사용 사례에서 몇 가지 위험을 수반했을 것입니다: 1) 사용자 목표를 지나치게 단순화하여 잘못 읽기, 2) 사용자의 실제 필요가 명확해지기 전에 너무 일찍 광고 흐름 시작, 3) 사용자 여정을 지원하지 않고 방해하는 광고 표시, 4) 요청이 변경될 때마다 광고 흐름을 비효율적으로 다시 실행하여 노이즈를 만들고 비용 낭비. 개별 이벤트를 중심으로 구축하는 대신, 광고 시스템(검색, 랭킹, 전달로 구성)은 스테이트풀 세션을 유지합니다. 즉, 광고 세션은 적격 턴의 기간 동안 실행되며 정보가 진화함에 따라 기억하고 업데이트합니다. ChatGPT는 초기 요청 맥락을 광고 서버로 전송합니다. 광고 시스템은 단일 평면화된 쿼리에 의존하는 대신 진행 중인 교환을 따라가고 적응합니다.

광고 선택 프로세스는 ChatGPT의 일반 응답 생성과 병렬로 실행되어 광고 흐름이 ChatGPT의 응답에 영향을 주지 않도록 합니다. 광고는 자체 적격성, 품질 및 전달 제약 조건에 따라 대화를 소비하는 별도의 시스템을 통해 필터링되고 선택됩니다. 이 중요한 아키텍처 경계—별도의 모델과 별도의 코드를 사용하는 서로 다른 서비스—는 핵심 ChatGPT 서버가 오가닉 응답 생성을 처리하도록 합니다. 그 동안 광고 시스템은 적절한 광고 기회가 있는지 독립적으로 평가하고, 있다면 별도의 서빙 프로세스를 통해 스폰서 배치를 준비합니다.

사용자 경험을 보호하는 것 외에도, 이 분리에는 몇 가지 실질적인 결과가 있습니다. ChatGPT는 광고 시스템에 어떠한 의존성도 없습니다. 서비스들이 전혀 얽혀 있지 않으며 콘텐츠 생성 모델을 공유하지 않습니다. 따라서 광고 서빙 시스템을 사용할 수 없거나 느리더라도 ChatGPT의 오가닉 응답은 영향을 받지 않고 계속됩니다. 즉, 광고 시스템이 ChatGPT 제품을 다운시키거나 지연시킬 수 없습니다. 이 분리의 또 다른 이점은 가치 있는 광고에 대한 기준을 매우 높게 유지한다는 것입니다. 광고를 반환하지 않는 것은 평범하고 성공적인 결과입니다. 시스템은 사용자와 광고주에게 명확히 유익한 경우에만 광고를 전달합니다.

LLM은 대화를 해석하고 도구를 호출합니다

광고 스택의 또 다른 핵심 아키텍처 구성 요소는 대화를 해석하고 에이전트 루프에서 전체 광고 흐름을 실행하는 포스트 트레이닝된 LLM입니다. 즉, 검색 단계부터 랭킹, 경매, 그리고 최종적으로 전달에 이르는 광고 시스템의 핵심 기능들을 대상으로 도구 호출을 수행합니다. 우리는 이 LLM을 다음과 같이 부릅니다. 오케스트레이터.

광고 플로우의 첫 번째 단계는 검색 프로세스를 시작하기 위해 사용자 의도를 이해하는 것으로, 이는 잠재적 광고를 빠르고 의도적으로 폭넓게 수집하여 나중에 필터링하는 작업입니다. 대화를 점진적으로 수신하면 광고 시스템이 현재 의도와 오래된 맥락을 구분해야 하기 때문에 더 풍부하지만 더 모호한 검색 문제가 만들어집니다. 오케스트레이터는 이전 메시지에 대한 언급을 해석하고, 사용자가 가정적으로 말하고 있을 때를 인식하며, 제품이나 서비스에 대한 모든 언급을 무언가를 구매하려는 요청으로 취급하지 않도록 해야 합니다.

광고 오케스트레이터는 사용 가능한 대화 및 사용자 컨텍스트를 활용하여 적절한 광고를 찾기 위해 반복적으로 작업하며, 해당 대화와 컨텍스트에 가장 적합한 광고(높은 사용자 가치와 높은 광고주 가치의 균형을 이루는 광고)를 찾는 것을 근본적인 목표로 삼아 어떤 도구를 언제 호출할지 반복적으로 선택합니다. 사용자가 광고 개인화를 선택한 경우, 오케스트레이터는 또한 사용자의 과거 대화에 관한 사용 가능한 비민감 정보를 고려하여 최적의 광고 매치를 찾습니다.

대화가 진행되고 광고 오케스트레이터가 더 많은 최신 정보를 얻으면, 오케스트레이터는 업데이트된 컨텍스트로 새로운 도구 호출 세트를 실행하여 더 나은 광고를 찾고 이를 클라이언트에 반환할 수 있으며, 클라이언트는 제시간에 도착하면 이 새로운 광고를 사용할 수 있습니다.

이 오케스트레이터는 사용자 가치와 광고주 가치의 균형을 맞추도록 설계되었으며, 항상 사용자를 최우선으로 둡니다.

에이전틱 루프에서 오케스트레이터가 광고 도구를 호출하는 방식

광고 시스템은 개별 도구들로 구성되어 있으며, 오케스트레이터가 이들을 반복적으로 호출하여 대화에 가장 적합한 광고를 찾습니다. 개략적으로 설명하면, 오케스트레이터는 대화를 짧은 텍스트 요약으로 변환하고, 이를 의미 임베딩(광고 시스템이 보다 쉽게 처리할 수 있도록 저장된 의미)으로 변환한 후, 해당 의미 임베딩을 사용해 광고 후보를 검색하고, 이러한 후보를 적격성(예산, 사용자 설정 및 기타 사전 검사 기준)에 따라 필터링한 뒤, 품질과 관련성을 평가하고, 최종 순위를 매겨 채팅 응답 끝에 배치할 가치가 높은 기회를 식별합니다. 따라서 각 광고는 게재 자격을 얻기 위해 적격성과 관련성 측면에서 높은 기준을 충족해야 합니다.

의도를 포착하는 검색 질의 작성하기

오케스트레이터 LLM은 먼저 관련 상업적 의도를 나타내는 하나 이상의 쿼리를 준비합니다. 여기에는 1:1 검색 쿼리를 넘어 상업적 가능성을 넓히기 위해 대화 맥락을 다시 작성한 다음, 오케스트레이터가 다중 턴 대화를 요약된 버전으로 정제하여 검색 시스템에 전달하는 의미 표현을 생성하는 것이 포함될 수 있습니다. 이를 통해 광고를 데이터베이스에서 집중적으로 검색하게 됩니다.

광고 게재는 사용자의 의도에 대한 깊은 이해가 있을 때만 이루어질 경우 사용자와 광고주 모두에게 더 나은 결과를 제공할 수 있습니다. 여러 쿼리는 의도의 서로 다른 측면을 보존할 수 있습니다. 예를 들어 여행 계획에 관한 대화는 교통, 숙박 또는 활동과 관련된 서로 다른 요구를 담고 있을 수 있습니다. 검색 시스템은 전체 대화를 하나의 문자열로 압축하는 대신 이러한 구분을 보존할 수 있습니다.

예를 들어, 하이킹용 신발에 관한 잠재적 대화 시퀀스를 살펴보겠습니다:

1. 요세미티 2일 여행에서 어떤 곳을 둘러봐야 할까요?

2. 다음 주에는 추울까요?

3. 새로운 [insert brand] 제품 라인?

사용자가 신발 브랜드 질문을 Yosemite 여행과 연결하지 않았음에도, 이 대화는 우리 광고 시스템에서 다음과 같은 두 개의 쿼리로 표현될 수 있습니다 [shoes appropriate for hiking trip] 그리고 [new [brand] product lines good for travel]. 이것은 첫 번째 시도에 불과할 수 있습니다. 오케스트레이터는 사용자에게 높은 가치를 제공하는 광고를 우리 인벤토리에서 찾을 때까지 이러한 표현을 반복적으로 개선하도록 설계되어 있습니다.

가능한 광고 검색 중

리트리벌(retrieval)은 의도적으로 넓은 범위의 광고 후보군을 만드는 과정입니다. 후보들은 서로 다른 리트리벌 전략에서 나올 수 있으며, 이후 동일한 서빙 제약 조건 아래에서 경쟁할 수 있습니다. 우리는 서로 다른 시스템 및 제품 제약 조건에 최적화된 여러 인덱스를 구축합니다(예를 들어, 제품 피드 광고용 인덱스는 최상의 광고를 가져올 때 긍정적 또는 부정적 제품 리뷰를 인식하도록 설계되었습니다. 이는 리뷰가 연결되어 있지 않을 수 있는 다른 광고에는 해당되지 않습니다). 각 인덱스는 사용자의 의도를 나타내는 임베딩을 사용하여 근사 최근접 이웃(ANN) 검색의 어떤 버전에 대해서도 최적화되어 있습니다. 이 ANN 검색은 대규모 시맨틱 인덱스에 대한 리트리벌을 위한 근사 알고리즘으로, 광고를 매우 빠르게 가져오며 "정확한" 솔루션을 찾는 대신 좋은 솔루션에 가까워지면서도 관련성 높은 후보 대부분을 유지합니다.

부적격 후보 필터링

필터링의 목표는 관련성, 입찰가, 예산 측면에서 게재 기준에 미달하는 모든 광고 후보를 후보군에서 제거하는 것입니다. 후보와 구성에 따라 필터링 검사에는 크리에이티브 및 캠페인 가용성(캠페인 또는 광고 크리에이티브가 활성 상태인지 여부), 캠페인 타겟팅(예: 캠페인이 운영될 수 있는 로캘), 정책 제한(광고할 수 있는 사항에 대한 컴플라이언스 요건), 예산 가용성(캠페인에 아직 사용 가능한 예산이 있는지 여부), 페이싱(캠페인이 하루 중 다른 시간이 아니라 지금 예산을 집행해야 하는지 여부), 게재위치 호환성(이 광고가 어떤 종류의 대화에 적합한지), 광고주 및 캠페인 수준의 중복 제거(모든 비즈니스의 공정한 참여를 보장하기 위해 광고주당 적절한 광고 수를 선택하는 것)가 포함될 수 있습니다.

관련성과 품질 평가

적격성 검사를 통과한 후보는 스코어링 단계로 넘어가며, 이 단계에서 오케스트레이터는 다양한 스코어링 시스템에 대한 도구 호출을 수행합니다. 여기에는 의미적 관련성(광고가 사용자의 목표와 관련이 있는가?), 예상 참여도(광고가 조회, 클릭되고 광고주가 원하는 전환으로 이어질 가능성이 있는가?), 과거 성과(지금까지 사용자에게 노출되었을 때 광고가 좋은 성과를 냈는가?) 등의 게재 고려 사항이 포함됩니다. 오케스트레이터는 또한 경매 전에 관련성과 안전성을 보장하기 위해 광고를 필터링합니다. 이러한 시스템들은 경매에 사용될 더 작은 후보 풀로 대상을 좁히지만, 최종적으로 게재될 광고를 결정하지는 않습니다.

광고 경매 실행

오케스트레이터는 대화의 맥락에서 준비된 후보를 평가하고 어떤 광고 후보가 최종 경매에 들어갈 만큼 충분히 타당한지 선택합니다. 오케스트레이터는 어떤 광고가 게재될지 직접 결정하지 않으며, 가격도 책정하지 않습니다. 경매 도구가 평가할 수 있도록 맥락에 적합한 후보를 지명할 뿐입니다.

경매는 경매 입장(관련성과 가치의 최소 기준 통과), 페이싱(광고 예산을 더 고르게 집행), 입찰가 및 경매 기능 계산, 품질 조정 순위, 가격 책정, 최종 선택을 포함한 최종 게재 메커니즘을 적용합니다.

최종 적격성 검사

경매 후에도 광고가 게재되지 못할 수 있는 경우는 두 가지가 있으며, 둘 모두 ChatGPT 대화 매체에 특유의 것입니다.

1. 광고가 대화에 부적절하게 느껴질 수 있음: 무결성 모델(광고를 게재해도 적절한 시점을 판단하는 모델)이 대화 자체가 광고 게재에 안전하다고 판단했고 광고 자체도 정책에 부합한다고 판단되었더라도, 때로는 특정 대화의 맥락에서 광고가 부적절하게 느껴질 수 있습니다. 오케스트레이터는 이러한 광고가 표시되지 않도록 차단합니다.

2. 광고 요청이 제시간에 도착하지 않을 수 있음: ChatGPT 모델이 응답할 준비가 되었지만 광고가 아직 게재될 준비가 되지 않은 경우, 광고 요청은 시간 초과되고 광고는 게재되지 않습니다. 따라서 광고 시스템의 목표 중 하나는 최대한 빠르게 실행되는 것입니다. ChatGPT 모델의 응답 시간은 동적이며, 광고 로딩을 기다리기 위해 대화 응답을 지연시키지 않습니다.

위의 모든 검사를 통과하면 광고를 렌더링을 위해 프런트엔드로 보냅니다. 우리는 이것을 서버 측 광고 게재로 간주하지만, 그래도 사용자에게 광고가 표시되지 않을 수 있으며 이것은 의도된 설계입니다.

마지막 단계: 사용자에게 광고 표시

ChatGPT와 같은 대화형 제품에서는 광고 크리에이티브의 서버 측 게재가 광고가 표시될 것을 보장하지 않습니다. 광고는 현재 턴에 포함될 수 있도록 제시간에 도착해야 합니다. 광고 크리에이티브에는 제목, 설명, 대상 링크 및 모든 클릭 유도 문안이 포함됩니다. 또한 광고가 대화와 어떻게 연관되는지 설명하는 짧고 중립적인 도입문인 모델 생성 프리앰블도 광고 시스템에서 반환됩니다. 프리앰블을 크리에이티브와 분리하여 유지하면 ChatGPT의 목소리를 중립적으로 유지하면서 광고주의 메시지를 보존할 수 있습니다.

ChatGPT 프런트엔드는 프리앰블과 광고 크리에이티브를 하나의 번들로 받습니다. ChatGPT의 응답이 완전히 생성되기 전에 도착하면 프런트엔드는 ChatGPT의 응답 아래에 스폰서 광고임이 명확히 표시된 상태로 광고를 표시합니다. 너무 늦게 도착하면 해당 턴에는 광고가 표시되지 않습니다. 이것이 서버 측 광고 게재와 사용자 대상 광고 노출의 차이입니다.

광고 표시 후 일어나는 일

우리의 광고 스택은 전통적인 로깅과 데이터 파이프라인을 사용하며, 여기에는 세 가지 주요 이점이 있습니다. 광고주가 기존 시스템을 우리 스택과 더 쉽게 통합할 수 있고, 광고주가 리포팅 데이터로 전략을 개선할 수 있으며, 우리 팀이 개선할 시스템 영역을 찾을 수 있다는 것입니다. 이러한 리포팅 및 최적화 도구 외에도, 우리는 게재를 평가하고 다른 광고 모델을 학습시키기 위해 고품질 모델을 배포하여 강력한 자기 개선 루프를 만듭니다.

무슨 일이 일어났는지에 대한 상세한 분석은 광고 시스템의 각 부분을 개별적으로 이해하고 개선하는 데 도움이 됩니다. 로그 처리 시스템은 또한 다음과 같은 세분화된 결과를 기록합니다:

• 해당 턴은 광고에 적합하지 않았습니다.

• 광고 세션이 시작되었지만 검색이 요청되지 않았습니다.

• 검색에서 후보가 반환되지 않았습니다.

• 후보가 검색되었으나 하이드레이션 또는 적격성 검사에 실패했습니다.

• 광고가 게재되었고 이후 상호작용이 발생했습니다.

이러한 상세한 분석은 광고 게재 시스템의 각 부분을 개별적으로 개선하는 데 도움이 됩니다. 기회 탐지를 개선하는 데는 검색, 후보 품질, 경매 참여 또는 게재 신뢰성을 개선하는 것과는 다른 증거가 필요합니다.

고성능 모델은 전체 스택을 평가하고 개선합니다

모델 기반 평가의 핵심 아이디어는 가장 강력하고 높은 추론 능력을 갖춘 모델이 시스템의 결과를 관찰하고 판단한 뒤, 더 나은 성능을 내도록 학습시켜 포스트트레이닝된 LLM을 개선하는 것입니다. 예를 들어, 가장 강력한 모델이 피드백을 수집하고 이러한 소형 워커들을 최선의 성과를 낼 수 있도록 학습시킨다면, 오케스트레이션이나 검색에는 더 작고 효율적인 모델 또는 낮은 추론 수준의 모델을 사용할 수 있습니다.

인간 피드백이 세련된 방향을 이끈다

우리는 인간 피드백(사용자의 클릭과 숨기기)을 수집하고 이에 따라 조치하며, 사용자 설문조사와 Ads Manager를 통한 광고주의 직접적인 피드백도 활용합니다. 또한 개발 과정에서 팀원들이 피드백을 제공할 수 있도록 하고, ChatGPT 사용자와 광고주 모두가 원하는 것을 직접 경청합니다. 이러한 피드백 출처는 모델의 관찰 기반 피드백보다 더 큰 폭으로 우리의 방향에 영향을 주었으며, 이는 우리가 올바른 제품 결정을 향해 빠르게 반복 개선할 수 있었던 요인의 일부입니다. 모델은 사용자 의도를 이해하고 비판적으로 사고하여 가치 있는 것을 제공할 수 있지만, 취향은 사람이 만들어냅니다.

다음 단계

1년 전, 우리는 광고 시스템이 없었고 이 문제 영역에 대해 생각하는 사람도 몇 명 되지 않았습니다. 이제 우리는 연간 기준 10억 달러 이상의 런레이트를 뒷받침하는 견고한 광고 시스템을 갖추고 있으며, 광고 흐름을 운영하는 LLM 기반 오케스트레이터를 갖추고 있습니다. Codex는 우리가 전례 없는 속도로 이러한 주요 사용량 이정표를 달성하도록 시스템을 부트스트랩할 수 있게 해준 근본적인 힘의 증폭기였습니다. 처음부터 우리는 Codex를 사용해 시스템을 빠르게 구축하고 확장할 수 있도록 팀과 개발 워크플로를 구성했습니다. Codex가 코드를 안정적이고 안전하게 배포할 수 있도록 가드레일을 만들었습니다. 동시에 Codex용 데이터 인프라 플러그인을 구축하여 인사이트 수집과 시스템 개선 사항(새로운 제품 기능, 품질 개선, 더 나은 시스템 성능 포함) 적용의 순환을 대폭 단축했습니다.

우리 시스템의 경계(우리의 광고 원칙⁠에 기반함)와 LLM 기반 오케스트레이터의 결합을 통해 모든 대화를 광고 요청으로 취급하지 않으면서도 광고를 유용하게 만들 수 있습니다. 앞으로 사용자 가치(예: 사용자가 광고를 통해 기업과 직접 대화할 수 있는 기능 제공)와 광고주 가치를 높이기 위해 더욱 역동적인 광고 형식을 계속 실험해 나갈 것입니다. 지속적인 피드백 루프를 갖춘 OpenAI 모델을 기반으로 구축된 이 스택의 자기 개선 아키텍처는 시간이 지남에 따라 관련성과 개인화를 계속 개선하는 우리의 능력을 가속화할 것입니다.