합성 데이터와 대규모 언어모델의 학습

합성 데이터와 대규모 언어모델의 학습

GPT-4가 공개된 2023년, OpenAI의 기술 보고서에는 학습 데이터에 관한 세부 내용이 거의 담기지 않았다. 이 침묵이 상징하는 것이 있다 — 인터넷에서 긁어모을 수 있는 텍스트는 이미 바닥을 드러내고 있었고, 업계는 새로운 데이터 원천을 찾아야 했다. 그 해답으로 급부상한 것이 바로 합성 데이터(synthetic data)다.

데이터 고갈이라는 현실

2024년 Epoch AI 연구팀의 추산에 따르면, 인터넷상의 고품질 텍스트 데이터는 2026년에서 2032년 사이에 사실상 소진될 전망이다. CommonCrawl 기준으로 웹 크롤 데이터는 이미 수십 조 토큰에 달하지만, 중복·저품질 콘텐츠를 걷어내면 실제 사용 가능한 분량은 훨씬 줄어든다. 모델이 커질수록 필요한 데이터도 기하급수적으로 늘어나는 구조에서, 이 한계는 단순한 기술적 병목이 아니라 AI 발전 속도 전체를 제약하는 요인이 됐다.

합성 데이터는 이 문제를 정면으로 공략한다. 기존 모델이나 알고리즘으로 새로운 데이터를 생성해 학습에 투입하는 방식이다. 이미지 분야에서는 GAN(생성적 적대 신경망)을 활용한 합성 얼굴 생성이 2010년대 후반부터 활발했고, 자율주행에서는 합성 도로 환경이 실제 주행 데이터의 부족분을 채워왔다. 언어모델 영역에서 이 개념이 본격적으로 주목받기 시작한 것은 2022년 이후다.

Self-Play와 Constitutional AI

Anthropic이 2022년 공개한 Constitutional AI는 합성 데이터 활용의 전환점 중 하나였다. 모델 스스로 자신의 응답을 헌법적 원칙에 따라 비판하고 수정하는 과정을 반복해 합성 선호 데이터(preference data)를 만들어낸다. 인간 레이블러가 일일이 선호도를 표시하는 RLHF의 노동 집약적 과정을 대폭 줄일 수 있었다.

Meta의 Llama 시리즈에서 파생된 Alpaca(2023, Stanford)는 더 단순하면서도 충격적인 실험이었다. GPT-3.5에게 52,000개의 지시-응답 쌍을 생성하게 한 뒤, 그 데이터로 작은 Llama 모델을 파인튜닝했다. 비용은 고작 600달러. 결과물은 당시 GPT-3.5에 근접하는 성능을 보였다. 강력한 모델이 생성한 합성 데이터로 약한 모델을 훈련시키는 '지식 증류(knowledge distillation)'의 가능성이 만천하에 드러난 순간이었다.

2024년 Microsoft Research가 공개한 Phi-2(27억 파라미터)는 합성 데이터의 힘을 더 명확히 보여줬다. "교과서 품질"의 합성 텍스트로만 학습한 이 소형 모델은 13배 이상 큰 모델들과 견주는 코딩·추론 성능을 달성했다. 단순히 데이터 양이 아니라 데이터의 질과 교육적 구성이 핵심이라는 'Textbooks Are All You Need' 가설을 실증했다.

모델 붕괴의 그림자

그러나 합성 데이터에는 치명적인 함정이 있다. 2023년 옥스퍼드·케임브리지 공동 연구팀이 발표한 논문 《AI 모델의 자기식인(Model Collapse)》은 경고를 울렸다. 모델이 생성한 데이터로 후속 모델을 학습하고, 그 모델이 또 다시 데이터를 생성하는 과정을 반복하면 — 마치 복사본의 복사본처럼 — 출력의 다양성이 급격히 줄어들고 희귀한 정보가 소멸된다는 것이다.

실험에서는 3~5세대 반복만으로도 텍스트 분포가 심각하게 왜곡되는 현상이 관찰됐다. 특히 롱테일(long-tail) 정보, 즉 자주 등장하지 않는 전문 지식이나 소수 의견이 먼저 사라진다. 이는 실용적 문제를 넘어 지식 생태계의 다양성 자체가 위협받을 수 있다는 우려를 낳는다.

업계는 이에 대응해 실제 인간 데이터를 앵커로 유지하거나, 합성 데이터 비율을 전체의 20~30%로 제한하거나, 다양한 모델 계열에서 교차 생성하는 방식으로 붕괴를 억제하려 하고 있다.

레이블 없는 데이터의 재발견

합성 데이터의 또 다른 축은 추론 추적(reasoning traces)이다. DeepMind의 Gemini 1.5와 OpenAI의 o1 계열은 단순히 정답을 학습하는 것이 아니라 사고 과정 자체를 합성해 학습했다. 수학 문제를 풀 때 인간이 어떻게 생각하는지를 모델이 스스로 생성하고, 그 사고 흔적을 다음 학습에 활용한다.

2024년 공개된 QwQ-32B(Alibaba)는 이 접근법의 극단적 사례다. 추론 과정이 수천 토큰에 달하는 합성 체인-오브-쏘트(chain-of-thought) 데이터로 학습한 이 모델은 수학·코딩 벤치마크에서 70B급 경쟁 모델을 압도했다. 파라미터 수가 아니라 학습 데이터의 인식론적 구조가 성능을 결정한다는 새로운 패러다임이 자리잡고 있다.

규제와 저작권

합성 데이터가 실제 저작물에서 학습한 모델로 생성됐다면, 그 합성 데이터의 저작권 지위는 어떻게 될까? 미국 저작권청은 2023~2024년 일련의 가이드라인에서 AI 생성 콘텐츠의 저작권 보호를 원칙적으로 부정했지만, 합성 데이터를 활용한 학습 자체의 적법성에 대한 판례는 아직 형성 중이다. EU AI Act는 학습 데이터 출처 공시 의무를 규정했고, 이는 합성 데이터의 원천 추적 문제를 규제 영역으로 끌어들였다.

현재 합성 데이터는 AI 업계의 가장 뜨거운 연구 주제이자 가장 첨예한 논쟁의 장이다. 데이터 고갈을 극복할 열쇠인가, 아니면 지식의 동질화를 가속하는 트로이목마인가 — 이 질문에 대한 답은 앞으로 10년의 AI 발전 방향을 결정할 것이다.