22개 언어의 고유 문자 데이터, 12개 언어의 로마자 전사 데이터, 그리고 번역, 품질 평가, 복구를 위한 재사용 가능한 GPU 가속 파이프라인.
저자: AI4Bharat — Mohammed Safi Ur Rahman Khan(모하메드 사피 우르 라흐만 칸), Mitesh Khapra(미테시 카프라), Anoop Kunchukuttan(아눕 쿤추쿠탄). NVIDIA — Niket Agarwal(니켓 아가왈), Raviraj Joshi(라비라지 조시), Anusha Kamath(아누샤 카마트), Markus Kliegl(마르쿠스 클리글), Yev Meyer(예브 마이어), Sriharsha Niverty(스리하르샤 니베르티), Kiran Praveen(키란 프라빈), Utkarsh Vaidya(우트카르시 바이디아).
저희는 다음을 소개하게 되어 기쁩니다 Nemotron-pretraining-Indic-v1 약 2.8조 개의 토큰으로 구성된 22개 인도 언어 데이터와, 이를 생성하는 데 사용된 공개 GPU 가속 데이터 생성 파이프라인 을 곧 함께 공개할 예정입니다. 이 22개 언어는 인도 헌법에 명시된 언어들로, 2011년 인구조사 기준 인도인의 97%, 즉 약 12억 시민의 제1언어입니다. NVIDIA가 인도 최고의 공과대학인 IIT Madras와 그 산하의 AI4Bharat 연구실과 함께 개발한 이 릴리스는 모델 개발자들에게 인도어 사전학습을 위한 실질적인 새로운 자원을 제공합니다. 이 파이프라인은 프롬프트, LLM 워크플로, 품질 검사를 포함한 전체 생성 레시피를 담고 있어, 개발자들이 자신의 원본 자료에 맞게 적용하고 필요에 따라 더 많은 데이터를 생성할 수 있습니다.
AI4Bharat은 IIT Madras의 인도 언어 연구실로, 인도 언어를 위한 오픈소스 데이터셋과 모델을 구축합니다. 22개 인도 언어를 위한 공개 사전학습 코퍼스인 Sangraha인도 22개 언어를 위한 공개 사전학습 코퍼스 같은 자원들은 공개 인도어(Indic) 언어모델 연구의 토대를 마련하는 데 기여해 왔습니다. 이번 공동 오픈소스 릴리스는 커뮤니티에 제공될 공개 합성 인도어 학습 데이터의 실질적인 확장을 의미합니다. 수학, 코드, 질의응답 콘텐츠를 포함한 폭넓은 큐레이션된 영어 자료를 인도 언어로 가져옴으로써, 팀들이 기술 개념을 설명하고 문제를 풀어나가며 해당 언어로 질문에 답할 수 있는 모델을 구축하기 위한 더 많은 학습 자료를 갖출 수 있도록 합니다. 모든 레코드는 큐레이션된 원본 문서로 거슬러 올라가며, 각 출력은 입력과 대조 검증되므로 합성 텍스트가 실제 정보에 기반을 유지합니다.
AI4Bharat을 이끌며 2025 TIME100 AI 명단에 이름을 올린 Mitesh Khapra는 핵심 문제를 이렇게 지목했습니다. 인도 언어 기술이 영어에 뒤처지는 이유는 "인도 언어를 위한 데이터가 충분하지 않기 때문"이라는 것입니다. 저희는 더 많은 데이터와 함께 더 많은 데이터를 생성할 수 있는 공개 레시피로 이 요구에 응답하고 있습니다.
이 코퍼스는 사람들이 실제로 글을 쓰는 방식도 반영합니다. 22개 언어 전체의 고유 문자 데이터와 12개 언어의 로마자 텍스트를 포함하여 총 34개의 언어-문자 구성을 다룹니다. 저희 워크플로는 문서 수준 번역, 품질 평가, 그리고 표적 복구를 결합하고, 수식, 표, 코드 같은 콘텐츠를 보존하기 위한 검사를 포함합니다. 이 데이터는 지역 지식과 문화적 맥락에 여전히 필수적인 자연 작성 인도어 텍스트를 보완합니다.
저희는 공개 생성 레시피 를 공유하여 커뮤니티가 데이터를 단순히 재현하는 것을 넘어 이 작업을 더 발전시킬 수 있도록 합니다. 팀들은 코퍼스를 직접 사용하거나, 프롬프트와 품질 검사를 조정하거나, 자체 원본 문서를 워크플로에 가져올 수 있습니다. 데이터와 프로세스를 모두 공개함으로써, 저희는 대규모 인도어 데이터 생성을 더 접근하기 쉽게 만들고 더 많은 개발자가 인도 언어 전반의 더 강력한 모델에 기여할 수 있게 하는 것을 목표로 합니다.
다음을 위한 지속 사전학습 Nemotron 3.5 Super VL 에는 이 코퍼스의 12개 언어 하위 집합과 자연 인도어 텍스트에서 추출한 100억 개의 인도어 토큰이 추가되었습니다. 해당 모델에 대한 저희 기술 보고서에서 전체 내용을 다룹니다. 저희는 향후 Nemotron 모델에서 이 코퍼스를 계속 활용할 계획입니다.
코퍼스에는 무엇이 있나요?
그림 1. 이 코퍼스는 2,601.0십억 개의 원어문자 토큰과 224.6십억 개의 로마자 변환 토큰을 포함합니다. 집계에는 Gemma-4 토크나이저가 사용되었습니다. 문서 레코드에는 공유된 소스의 번역본과 문자 변형본이 포함되어 있으므로, 고유한 영어 문서의 수가 아닙니다.
이 코퍼스는 두 그룹의 언어 구성으로 이루어져 있습니다:
- 원어 문자(네이티브 스크립트) 데이터와 로마자 표기 데이터: 벵골어, 구자라트어, 힌디어, 칸나다어, 말라얄람어, 마라티어, 네팔어, 오디아어, 펀자브어, 타밀어, 텔루구어, 우르두어.
- 원어 문자 데이터: 아삼어, 보도어, 도그리어, 카슈미르어, 콘칸어, 마이틸어, 마니푸르어, 산스크리트어, 산탈리어, 신디어.
여기서, 원어 문자 는 문자 체계를 의미합니다. 텍스트는 여전히 영어에서 번역됩니다. 로마자 표기 는 영어 번역이 아니라 라틴 문자로 쓰인 인도계 언어 텍스트를 뜻합니다. 열두 개의 이중 문자 언어 각각에 대해 로마자 표기는 허용되는 원어 문자 번역의 일부 하위 집합을 포괄합니다.
이 구분은 학습 데이터 믹스를 구성할 때 중요합니다. 원문자(native) 표기와 로마자 표기 기록은 서로 다른 문자 노출을 제공하지만 동일한 근본 콘텐츠를 표현할 수 있습니다. 토큰 수치는 학습 실행의 토큰 예산이 아니라 승인된 재작성을 포함한 보존된 코퍼스를 설명합니다. 수치는 사용된 토크나이저에 따라 달라지므로, 코퍼스 목록과 학습 토큰 수치는 별도로 읽어야 합니다.
영어 원문 문서에서 인도어(Indic) 학습 데이터까지
이 코퍼스를 구축하기 위해 우리는 15개의 Nemotron-CC-v2 하위 집합의 문서에서 시작하며, 여기에는 웹 텍스트, 질문-답변 자료, 수학, 코드 및 기타 전문 콘텐츠가 포함됩니다. 우리는 합성 데이터 생성을 위한 NVIDIA의 오픈소스 프레임워크인 NeMo Data Designer를 사용하여 번역, 품질 검사 및 표적 복구를 수행합니다. 워크플로 전반에서 각 소스 식별자를 보존하므로 개발자는 출력을 원본 문서로 거슬러 추적할 수 있습니다. 이처럼 명확한 출처 정보(provenance)는 오픈 데이터를 감사하고 활용하기 실용적으로 만드는 요소의 일부입니다. 그림 2는 12개 언어에 대한 워크플로를 보여줍니다.
그림 2. NeMo Data Designer와 Gemma-4-31B-it을 사용하여 구현된 12개 언어용 4단계 인도어 합성 데이터 파이프라인. 영어 문서를 번역하고, 번역 품질을 평가하고, 낮은 점수의 출력을 복구하고, 승인된 번역의 일부를 라틴 문자로 변환합니다. 나머지 10개 언어는 아래에서 설명하는 별도의 Indic Translate 워크플로를 사용합니다.
12개 언어 워크플로
이 12개 언어의 경우 문서를 전체 번역하여 모델이 단락, 표, 수식 전반의 맥락을 활용할 수 있도록 합니다. 우리는 전체 문서에 대해 모델들을 비교하고 번역 품질과 기술 콘텐츠의 보존 여부를 확인하여 Gemma-4-31B-it 을 선택했습니다. 우리의 프롬프트는 코드, 수식, URL, 서식을 포함하여 보존할 콘텐츠와 번역할 산문을 구분합니다.
번역 후에는 동일한 모델을 사용하여 각 출력을 영어 원문과 대조하여 평가합니다. 번역 오류를 유형과 심각도별로 분류하는 오픈 프레임워크인 Multidimensional Quality Metrics (MQM)에서 영감을 받은 평가 기준(rubric)은 의미, 유창성, 용어, 문체, 서식을 다룹니다. 우리는 100점 만점에 최소 75점 이상을 받은 출력만 보존합니다(정확도 백분율이 아닌 평가 기준 점수임). 낮은 점수의 출력의 경우 평가 피드백을 활용해 복구를 진행한 뒤 동일한 기준으로 재평가합니다. 이 과정을 통해 원문자 및 로마자 표기 데이터에서 438.4 billion tokens 을 확보했으며, 이는 이미 코퍼스 총량에 포함되어 있습니다. 표본 인간 검토와 의도적으로 오류를 삽입한 테스트는 누락과 잔존 영어를 식별하는 데 도움이 되었으며, 이를 통해 프롬프트와 검사를 개선했습니다.
승인된 원문자 번역은 로마자 표기 데이터의 시작점이 되기도 합니다. 우리는 일부를 라틴 문자로 변환하고 각 결과를 원문자 입력과 대조하여 확인합니다. 이를 통해 번역과 문자 변환이 분리됩니다. 초기 인간 비교 평가에서 이 2단계 방식은 영어에서 직접 로마자 텍스트를 생성하는 것보다 환각으로 인한 추가 내용과 잔존 영어가 더 적었습니다.
10개 언어 워크플로
나머지 10개 언어의 경우, 비교 평가에서 관찰된 긴 문서 품질 문제와 문자 안정성 문제를 해결하기 위해 워크플로를 조정합니다. 우리는 IIT Madras에서 인큐베이팅된 교육 분야 AI 비영리 센터인 Bodhan AI에서 제공하는 영어 및 22개 인도 언어용 문서 수준 번역 모델인 Indic Translate으로 번역합니다. 그런 다음 Gemma-4-31B-it이 각 번역을 영어 원문과 대조하여 평가합니다. 8개 언어의 경우 전체 문서 방식을 유지합니다. 더 긴 산탈리(Santali) 문서의 경우 겹치는 창 단위로 번역한 뒤 문서를 재구성하고, 마니푸르어(Manipuri)의 경우 고유 문자인 메이테이 마옉(Meitei Mayek)으로 변환하기 전에 벵골 문자로 번역합니다. 이 워크플로들은 100점 만점에 최소 75점 이상을 받은 출력만 보존하며, 피드백 기반 재작성 없이 원문자 데이터만 생성합니다.
인도어(Indic) 지속 사전학습 후 무엇이 달라졌는가?
Nemotron 3.5 Super VL 기술 보고서는 인도어 지속 사전학습(CPT) 직전의 체크포인트와 해당 단계 이후의 체크포인트를 비교합니다. 구성된 예산은 100 billion training tokens이었으며, 그중 10%(10 billion tokens)가 합성 및 자연 인도어 텍스트의 믹스에 할당되었습니다. 나머지 90%는 이전 학습 믹스의 상대적 비율을 유지했습니다.
보고된 5개 인도어 지식 및 추론 벤치마크 전체에서 점수가 상승했습니다: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K.
그림 3. Indic CPT 단계 전후의 Nemotron 3.5 Super VL. 향상 폭은 4.98에서 9.82 퍼센트 포인트에 이릅니다. 이 비교는 합성 데이터와 자연 Indic 데이터를 결합한 학습 단계 전반의 변화를 보고한 것으로, 합성 코퍼스의 기여를 따로 분리한 것이 아닙니다. 벤치마크마다 언어 커버리지가 다르며, 이는 단계 수준의 체크포인트이지 최종 모델 릴리스 간의 비교가 아닙니다.
출처: Nemotron 3.5 Super VL 기술 보고서, 표 2. GSM8K에서는 평가가 서빙 컨텍스트 한도를 초과하여 Odia가 제외되었습니다.
이러한 성과는 결합된 합성-자연 Indic CPT 레시피를 뒷받침하며, 다른 모델과 언어에 대한 혼합 비율의 선택은 추가 연구 과제로 남겨둔다.
함께 발표된 인도어(Indic) 보고서는 12개 언어 그룹에 대해 1차 통과 승인 데이터를 사용하여 소스 혼합물, 합성 데이터 풀 크기, 문자 체계 범위를 검토합니다. 복구된 재작성본과 나머지 10개 언어를 포함한 전체 코퍼스 평가는 해당 통제 연구의 다음 단계로 남아 있습니다.
Nemotron 3.5 Super VL의 확장된 인도어(Indic) 지원 기능
CPT 단계 결과를 넘어, 공개된 모델은 이전 세대와 비교하면 어떨까요? 그림 4는 Nemotron 3.5 Super VL을 다음과 비교합니다: Nemotron 3 Super 인도계 언어 작업 성능과 언어 품질 전반에서 그렇습니다. 이러한 결과는 Indic CPT 및 post-training을 포함한 공개된 모델의 전체 훈련 파이프라인을 반영합니다.
Nemotron 3.5 Super VL은 지식, 추론, 수학, 코드, 번역에 걸친 표시된 6개 과제 벤치마크 중 5개에서 더 높은 점수를 기록했습니다. IFEval 1.5의 지시 이행은 2.04포인트 하락했습니다. 또한 네 가지 전 분야에서 향상되었습니다. IndiVibe 차원: 유용성, 유창성, 언어 및 문자 정확성, 그리고 적절한 장황함. IndiVibe는 인도 언어로 된 어시스턴트 스타일 프롬프트에 대한 Sarvam AI의 오픈 벤치마크입니다. 이러한 평가들은 모델이 무엇을 할 수 있는지와 인도 언어로 얼마나 잘 소통하는지를 모두 살펴봅니다.
그림 4. Nemotron Super 세대 간 인도어(Indic) 과제 성능 및 언어 품질. 왼쪽: 6개 과제 벤치마크. 오른쪽: 예비 단계의 IndiVibe 조건부 선호도 점수이며, 직접적인 일대일 승률이 아님. 레이블은 WMT24++가 chrF 점수를 사용하는 것을 제외하고 백분율 포인트 변화를 나타냄. 벤치마크 및 평가 세부 사항은 동반 Indic 기술 보고서를 참조하십시오.
빌드 시작
코퍼스 불러오기
모델에 필요한 언어와 문자로 시작하여 샘플을 검토하고, 훈련 전에 데이터셋 카드와 라이선스를 확인하세요. 구성은 언어, 문자, 지역 태그를 사용합니다. 예를 들어: hi-Deva-IN `denotes Hindi in Devanagari`는 데바나가리 문자로 표기된 힌디어를 나타내며, 이는 hi-Latn-IN 로마자로 표기된 힌디어를 나타낸다.
아래 예제는 데이터셋 카드에서 리포지토리 ID를 요청한 다음, 사용 가능한 스플릿을 확인하고 샘플을 스트리밍합니다.
from datasets import get_dataset_split_names, load_dataset
dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)
data = load_dataset(
dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))
Hugging Face Datasets 다운로드 없이 전체 코퍼스를 내려받지 않고도 레코드를 검토할 수 있도록 스트리밍을 지원합니다. 릴리스가 공개되면 재현 가능한 실험을 위해 데이터 세트 리비전을 고정(pin)하세요.
첫 번째 훈련 연구를 위해, 고정된 토큰 예산에서 믹스처를 비교하고 자연/합성 비율과 원어/로마자 변환 비율을 기록하십시오. 언어별 결과를 영어 능력 유지 및 언어/문자 품질과 함께 추적하십시오. 홀드아웃 분할을 만들 때는 언어와 문자 전반에 걸쳐 동일한 원본에서 파생된 레코드를 고려하십시오.
더 완전한 레시피를 만들려면 코퍼스를 다음과 같은 Nemotron 포스트트레이닝 데이터와 결합하십시오. 예를 들어 채팅 및 지침 또는 포스트 트레이닝 블렌드 컬렉션입니다. 인도 특화 합성 데이터의 경우, NeMo Data Designer에 다음을 시드로 제공합니다 Nemotron-Personas-India, 인도의 실제 세계 분포에 기반을 둔 영어 및 힌디어 합성 페르소나.
생성 레시피 조정하기
오픈 소스 Nemotron Bharat 번역 플러그인 NeMo Data Designer용 은 번역 및 평가 프롬프트, 선택적인 피드백 기반 재작성, 문서 윈도잉(document windowing), 스크립트 리매핑 지원을 제공합니다. 다음을 사용하세요: 설정 참조 모델과 언어를 선택하고, 프롬프트를 여러분의 도메인에 맞게 조정하며, 재작성 매개변수를 설정할 수 있습니다. 함께 제공되는 개발자 참고 사항 워크플로우와 엔지니어링 선택 사항을 설명합니다.
먼저 자체 원본 문서의 작은 샘플로 시작하십시오. 번역 품질과 코드, 수학, 형식의 보존 여부를 검토한 후, 규모를 확장하기 전에 원어민 리뷰어와 함께 프롬프트와 검증 절차를 다듬으십시오. 생성과 코퍼스 수용을 별도의 단계로 취급하십시오. 플러그인은 후보와 점수를 반환하고, 어떤 레코드가 학습 코퍼스에 들어갈지는 여러분의 필터링 정책이 결정합니다.
범위 및 한계
번역은 원본 자료에 대한 접근성을 넓혀주지만, 인도 언어로 직접 작성된 텍스트를 대체하거나 현지 지식과 문화에 대한 범위를 보장하지는 못합니다. 이 코퍼스를 적절히 확보된 자연 인도어 텍스트와 결합하고, 의도된 사용 사례에 맞게 그 결과 혼합물을 평가할 것을 권장합니다.
품질 평가는 주로 자동화되어 있으며, 이를 보완하기 위해 표본 기반의 사람 검토가 이루어지며 그 범위는 언어마다 다릅니다. 12개 언어 워크플로(Figure 2)의 경우 번역가가 심사자 역할도 겸합니다. 유지된 텍스트에도 여전히 오류가 있을 수 있으며, 10개 언어 워크플로는 원어민 검증을 더 넓게 수행할 필요가 있습니다. Source-ID 검사는 처리 과정에서 생긴 중복을 제거하는 것이며, 유사한 내용에 대한 의미적 중복 제거는 아닙니다.
IIT Madras의 AI4Bharat은 NVIDIA의 지원을 받아 인도어(Indic) 모델 역량을 평가하기 위한 개방형·진화형 벤치마크 모음인 Indic-LLM-Eval-Suite를 구축하고 있습니다. 이 스위트는 모델 개발자가 작업 성능과 언어 품질을 모두 평가하는 데 도움을 줍니다. 함께 제공되는 블로그를 참고하세요. 더 나은 모델에는 더 나은 벤치마크가 필요합니다: Indic-LLM-Eval-Suite를 소개합니다.
언어 구성을 살펴보고, 학습 믹스를 테스트하거나, 공개된 레시피를 새로운 도메인에 맞게 조정해 보세요. 언어별 결과와 생성 워크플로우 개선 사항을 공유하면 커뮤니티가 이 연구를 토대로 발전하는 데 도움이 될 수 있습니다.
더 읽을거리 및 감사의 말
이 동반 보고서들은 인도어권 LLM을 위한 합성 사전학습 데이터 및 평가의 확장 그리고 Nemotron 3.5 Super VL 및 Lightning 기술 보고서, 코퍼스 구성, 생성 방법, 실험 및 평가 세부 사항을 제공합니다. 평가는 이 연구의 다른 절반입니다. 벤치마크 측면에 대해서는 AI4Bharat과 NVIDIA의 동반 블로그를 참조하십시오, 더 나은 모델에는 더 나은 벤치마크가 필요하다: Indic-LLM-Eval-Suite를 소개합니다.
이 작업은 NVIDIA, IIT Madras, AI4Bharat, Bodhan AI가 함께 참여했습니다. 또한 파이프라인에 사용된 모델 및 도구 기여를 알려드립니다: Google의 Gemma, Bodhan AI의 Indic Translate, 그리고 NeMo Data Designer입니다. NVIDIA의 추가 데이터 리소스는 다음에서 확인할 수 있습니다. Nemotron 사전 학습 데이터셋 컬렉션.