Latent Diffusion Models — Stable Diffusion의 원리

1. 한줄 요약

픽셀 공간이 아닌 VAE로 압축한 잠재(latent) 공간에서 diffusion을 수행해, 학습·추론 비용을 1/10로 줄이면서 고해상도(512×512) 이미지를 생성하는 Latent Diffusion Model 제안.

2. 왜 등장했는가 (Background)

2021년 기준 이미지 생성은 두 진영이 있었습니다.

GAN(StyleGAN3, BigGAN): 빠르지만 학습 불안정·mode collapse

Denoising Diffusion (DDPM): 품질 최상, 그러나 픽셀 공간에서 1000 step U-Net → 512×512 한 장 학습에 GPU 주 단위

핵심 통찰: 이미지의 99%는 perceptual redundancy입니다. 사람 눈이 구분 못 하는 고주파 디테일을 픽셀 단위로 denoising할 필요가 없습니다. 저차원 잠재 공간에서 denoising을 하면 품질 유지 + 비용 1/10이 가능합니다.

3. 핵심 아이디어 — Latent Space Diffusion

3단계로 분해합니다.

Encoder E: 픽셀 이미지(3×H×W) → 잠재 z(H/8 × W/8 × 4)로 압축 (사전학습된 VAE)

Diffusion U-Net: 잠재 z에 노이즈 step-by-step 추가·제거. 조건부 입력(text, class)도 cross-attention으로 주입

Decoder D: 깨끗한 잠재 z' → 픽셀 이미지 복원

비유: 원본 4K 사진을 1/8 축소판으로 만들어 그림 그려 다시 확대 — 작업은 빠르고 결과는 동일하게 보입니다.

4. Model Architecture

Perceptual Compression: KL-regularized autoencoder (VQGAN 대비 부드러운 잠재)

UNet + Cross-Attention: timestep embedding + text embedding(BERT/CLIP 토크나이저) 동시 주입

Conditioning 메커니즘: text·class·image 모두 cross-attention layer로 통합 — 모듈식 확장

5. Training

데이터: LAION-400M(텍스트-이미지 쌍), 약 1000 GPU-day로 base 학습

손실 함수: ε-prediction (DDPM과 동일) + KL regularization on latent

스케줄러: linear β schedule, T=1000 step

최적화: AdamW, batch size 120, learning rate 1e-4

6. Result

픽셀 diffusion 대비 압도적 효율:

FID (낮을수록 좋음): 256² 기준 ADM(픽셀) 4.59 vs LDM 3.6·LDM-SR 4.25

추론 속도: 50 step만으로 동일 품질 → 한 장 생성 1초 미만 (A100)

멀티모달 일반화: inpainting·super-resolution·semantic synthesis 단일 모델로 처리

7. 한국 독자 적용 사례

Stable Diffusion (Stability AI + Runway): 이 논문의 직접 구현. 한국에서도 디자이너·1인 창작자 폭발적 채택

네이버·카카오 이미지 생성: HyperCLOVA-X·Karlo(카카오) 모두 LDM 계열

제조·건축: 현대차 디자인 시안 생성, 포스코 제철소 시뮬레이션에 LDM fine-tuning 활용

콘텐츠: 웹툰 스케치 보조, 광고 크리에이티브 1차 시안 생성에 사용

8. 한계 + 후속 영향

한계:

VAE 잠재 공간 품질 한계 → 복잡한 구조(손가락·글자) 생성 어려움 (SDXL·SD3에서 개선)

학습 데이터 편향(LAION) 그대로 반영 — 인종·성별 편향 이슈

해상도 1024 이상은 별도 upscaler 필요

후속 영향 — Open-source 생성 AI의 시작점:

2022.8: Stability AI가 weight 공개 → 글로벌 1차 생성 AI 붐

2023~: ControlNet·LoRA·SDXL·SD3 커뮤니티 확장, 100만+ 파생 모델

2024~: 비디오(Sora·Runway Gen-3)·오디오·3D 모두 latent diffusion 패턴 채택

생성형 AI 시장이 단일 오픈소스 모델에서 3,000억 달러 규모로 자라난 결정적 계기