Attention Is All You Need — Transformer의 탄생

1. 한줄 요약

RNN·CNN을 완전히 걷어내고 self-attention만으로 시퀀스를 처리하는 Transformer를 제안. 병렬화 + 장거리 의존성 + SOTA를 한 논문에서 동시 달성.

2. 왜 등장했는가 (Background)

2017년 기준 기계번역은 RNN(LSTM)이 표준이었지만 두 가지 근본 문제가 있었습니다.

순차 계산: t번째 토큰을 처리하려면 1~t-1이 모두 끝나야 함 → GPU 병렬화 불가, 학습 수일~수주

장거리 의존성 손실: 시퀀스가 길어질수록 앞쪽 정보가 뒤로 흐르면서 희미해짐 (vanishing gradient)

Attention은 decoder가 encoder 출력 중 어디를 볼지 가중치를 주는 메커니즘으로 이미 일부 도입됐지만, 여전히 RNN 위에서 보조 수단으로만 쓰였습니다. 이 논문의 핵심 통찰은 — attention 자체를 메인으로 쓰면 RNN이 필요 없다는 것이었습니다.

3. 핵심 아이디어 — Self-Attention

입력 시퀀스의 모든 토큰이 서로를 한 번에 보고, 각 위치별로 "이 토큰에 얼마나 attention을 줘야 하는지" 가중치를 계산합니다.

수식은 단순합니다.

Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) · V

한 문장으로 비유하면: 한 반의 모든 학생이 동시에 서로의 답안지를 읽고, "나는 누구 의견에 가장 가중치를 둘지" 정하는 것입니다. RNN의 "앞사람에게 순서대로 묻기"와 정반대.

이걸 Multi-Head로 8개 병렬 실행하면 각 head가 다른 관계(문법·의미·지시 등)를 동시에 학습합니다.

4. Model Architecture

전체 구조는 인코더-디코더. 각 블록은 Multi-Head Attention → Add&Norm → Feed-Forward → Add&Norm 순서로 6번 쌓습니다.

Positional Encoding: RNN처럼 순서가 없으므로 sin/cos 함수로 위치 정보 주입

Masked Attention(디코더): 미래 토큰을 보지 못하게 마스킹 → 자기회귀 생성

Residual Connection: gradient 흐름 보존, 100층 이상도 학습 가능케 함

5. Training

데이터: WMT 2014 EN-DE (4.5M 문장쌍), EN-FR (36M, BPE 32K vocab)

하드웨어: 8 × NVIDIA P100 GPU, base 모델 12시간, big 모델 3.5일

Optimizer: Adam, learning rate warmup(4K step) 후 sqrt(decay)

Regularization: Residual dropout 0.1, label smoothing 0.1

6. Result

번역 SOTA + 학습 비용 1/10을 동시 달성:

EN-DE: BLEU 28.4 (이전 best 26.x) · 모델 크기 대비 학습 FLOPs 1/10

EN-FR: BLEU 41.8 (single model SOTA)

English Constituency Parsing: F1 91.3, 범용 task 일반화 입증

특히 (head 수 변화), (학습 데이터 크기), (positional embedding 종류) ablation을 통해 각 설계 선택의 기여를 정량화했습니다.

7. 한국 독자 적용 사례

한국어 LLM: Naver HyperCLOVA, Kakao Kanana, LG Exaone, NC Soft VARCO 모두 Transformer 디코더 기반

검색/광고: 네이버·카카오 검색 랭킹 모델이 BERT 인코더(self-attention) 활용

번역: 파파고의 핵심 엔진 — RNN 시절 대비 한국어-영어·일본어 BLEU 5~8점 향상, latency 1/3

금융: 토스·카카오뱅크의 부정거래 탐지 모델 — 거래 시퀀스의 장거리 패턴 학습에 Transformer 사용

8. 한계 + 후속 영향

한계:

Self-attention은 O(n²) 메모리 → 2017년 당시 시퀀스 512 토큰이 한계 (현 Longformer·Flash Attention으로 해결 중)

Decoder-only가 아닌 encoder-decoder 구조라 단순 생성에는 과한 파라미터

후속 영향 — 사실상 모든 현대 AI의 토대:

2018: GPT-1·BERT 등장 (Transformer 디코더·인코더)

2020: GPT-3 175B — few-shot in-context learning 가능

2023~: GPT-4·Claude 3·Gemini·Llama 3·Qwen3 — 전부 Transformer 변형

멀티모달: ViT(이미지)·Whisper(음성)·Sora(비디오)도 attention 기반

공식 인용 수 150,000+ (2026년 기준). 21세기 가장 영향력 있는 AI 논문으로 꼽힙니다.