딥러닝 알고리즘의 발전 - Transformer 아키텍처

딥러닝 알고리즘의 발전 — Transformer 아키텍처

2017년 구글 브레인 팀이 논문 한 편을 arXiv에 올렸을 때, 제목이 좀 뻔뻔하다는 반응이 있었다. "Attention Is All You Need." 그러나 그 뻔뻔함은 결국 정당화됐다. 이 논문이 제안한 Transformer 아키텍처는 이후 8년 동안 자연어처리를 넘어 컴퓨터 비전·음성·단백질 구조 예측까지 집어삼켰다.

RNN의 한계와 Attention의 등장

Transformer 이전, 시퀀스 데이터를 다루는 표준은 RNN(Recurrent Neural Network)과 그 변종인 LSTM이었다. 1997년 Hochreiter & Schmidhuber가 LSTM을 제안한 이후 거의 20년간 번역·음성인식·텍스트 생성의 최강자 자리를 지켰다.

문제는 구조적 한계였다. RNN은 토큰을 왼쪽에서 오른쪽으로 순차 처리한다. "나는 어제 서울에서 만든 친구를 오늘 다시 만났다"에서 '만났다'가 '나는'과 연결된다는 사실을 파악하려면, 그 사이의 모든 토큰을 거쳐야 한다. 거리가 멀어질수록 기울기가 소실되고(vanishing gradient), 문맥이 희석된다. 2014년 Bahdanau 등이 제안한 Attention 메커니즘은 이 문제를 우회했다 — 디코더가 인코더의 모든 위치를 동시에 참조해 가중합을 구하는 방식이었다. Transformer는 이 Attention만으로 순환 구조를 완전히 대체했다.

아키텍처 핵심: Self-Attention과 Multi-Head

Transformer의 핵심 연산은 Self-Attention이다. 입력 시퀀스의 각 토큰이 다른 모든 토큰과 얼마나 '관련 있는지'를 동시에 계산한다. 수식으로는 Query(Q), Key(K), Value(V) 세 행렬을 만들어 다음과 같이 처리한다.

`` Attention(Q, K, V) = softmax(QKᵀ / √dₖ) · V ``

√dₖ로 나누는 이유는 차원이 커질수록 내적값이 커져 softmax 기울기가 소실되는 것을 방지하기 위함이다. 여기에 Multi-Head Attention을 추가해 서로 다른 표현 공간에서 병렬로 Attention을 수행한다 — 2017년 원 논문은 8개 헤드를 사용했다.

순환 구조가 없으니 위치 정보가 사라진다. 이를 해결하기 위해 Positional Encoding을 입력 임베딩에 더한다. 원 논문은 사인·코사인 함수를 썼고, 이후 BERT·GPT 계열은 학습 가능한 위치 임베딩(learnable positional embedding)으로 교체했다.

BERT에서 GPT-4까지: 사전학습 패러다임의 전환

Transformer가 진짜 폭발한 것은 사전학습(pre-training) + 미세조정(fine-tuning) 패러다임과 결합하면서다.

2018년 OpenAI의 GPT-1은 언어 모델링(다음 토큰 예측)으로 대규모 텍스트를 사전학습했다. 같은 해 Google의 BERT는 반대로 마스킹된 토큰 예측(MLM) 과 다음 문장 예측(NSP) 을 결합, 양방향 문맥을 학습했다. BERT는 당시 11개 NLP 벤치마크에서 동시에 SOTA를 갱신했다.

이후 스케일링 법칙(scaling law)이 발견됐다. 2020년 Kaplan 등(OpenAI)의 연구에 따르면 모델 성능은 파라미터 수, 데이터량, 컴퓨팅 파워에 대해 멱함수(power law) 로 증가한다. GPT-3(2020, 1750억 파라미터) → GPT-4(2023, 추정 1조+ 파라미터)로 이어지는 경쟁은 이 법칙에 대한 산업계의 베팅이었다.

Transformer의 확장: 언어를 넘어

2020년 OpenAI의 iGPT가 이미지 픽셀을 시퀀스로 취급해 생성 모델을 학습한 이후, 2021년 Google의 Vision Transformer(ViT) 는 이미지를 16×16 패치로 나눠 Transformer 인코더에 직접 입력하는 방식으로 ImageNet에서 CNN 수준을 달성했다. AlphaFold 2(2020)는 Transformer 기반 Evoformer 블록으로 단백질 구조 예측 문제를 사실상 해결하며 2024년 노벨 화학상(Demis Hassabis·John Jumper)으로 이어졌다.

음악(MusicLM), 동영상(Sora), 코드(Codex·GitHub Copilot), 멀티모달(GPT-4V) 등 현재 생성 AI의 사실상 모든 기반이 Transformer 변형체다.

한계와 현재의 논쟁

Transformer가 만능은 아니다. Self-Attention의 계산복잡도는 시퀀스 길이 n에 대해 O(n²) 다 — 긴 문서, 고해상도 이미지, 긴 동영상을 처리할 때 메모리·연산 비용이 폭발한다. 이를 해결하려는 시도로 Sparse Attention(Longformer, 2020), Linear Attention, 그리고 2023년 이후 급부상한 Mamba(SSM 기반) 가 있다. Mamba는 State Space Model을 기반으로 O(n) 복잡도를 달성하며 일부 태스크에서 Transformer에 도전했다.

또한 거대 언어모델의 환각(hallucination) 문제, 학습 데이터의 편향 재생산, 에너지 소비(GPT-3 학습에 500톤 CO₂ 추정) 등은 현재 진행형 논쟁이다. "스케일만 키우면 된다"는 믿음에도 균열이 생기기 시작했다 — 2024~2025년에는 추론 시간 컴퓨팅(Test-Time Compute, OpenAI o1)으로 방향이 일부 선회하고 있다.

Transformer는 딥러닝 역사에서 드물게 등장하는 '패러다임 시프트'였다. 그리고 아직, 그 시프트는 끝나지 않았다.