Artificial Analysis · X

작업당 총 토큰 수는 모델의 입력, 추론 및 출력 토큰을 나타냅니다

작업당 총 토큰 수는 모델의 입력, 추론 및 출력 토큰을 측정합니다. Exa(자동, 동적 하이라이트)는 작업당 157k 개의 토큰을 사용하며, 표준 하이라이트를 가진 자동 모드(299k)보다 47% 적습니다. Exa(lite, 동적 하이라이트)는 164k 개의 토큰을 사용하며, 45% 감소합니다. 동적 하이라이트는 모델에 반환되는 검색 콘텐츠의 양을 줄여 토큰 소비와 모델 추론 비용을…

이미지 출처 · Artificial Analysis · X

작업당 총 토큰 수는 모델의 입력, 추론 및 출력 토큰을 나타냅니다

Exa(자동, 동적 하이라이트)는 각 작업에 157k 토큰을 사용하며, 표준 하이라이트가 있는 자동 모드(299k)보다 47% 적습니다. Exa(라이틀, 동적 하이라이트)는 164k 토큰을 사용하며, 45% 감소합니다.

동적 하이라이팅은 모델에 반환되는 검색 콘텐츠의 양을 줄여주어 토큰 소비와 모델 인퍼런스 비용을 낮춥니다. 검색 API 중에서는 Perplexity(저, 127k)와 Perplexity(중, 137k)만이 작업당 적은 토큰을 사용합니다.

원문 출처

Artificial Analysis · X

내용 안내

원문 발행 및 권리는 출처에 있습니다.

기계 번역 · 원문을 참고하세요