내가 가져갈 핵심 한 줄
diffusion을 픽셀이 아니라 사전학습된 autoencoder의 (적당히 압축된, f=4~8) 2D latent 공간에서 돌리면 품질은 거의 유지하면서 학습·샘플링 비용이 크게 줄고, cross-attention으로 텍스트 등 임의 조건을 넣을 수 있다.
분야: generative-models · computer-vision · 핵심 개념: latent-diffusion-model, diffusion-model, u-net, classifier-free-guidance, text-to-image-generation, score-matching
읽은 원문: CVPR 2022 Open Access 판 (본문 8쪽 + 참고문헌, 학회 페이지 10684–10695). arXiv 판의 Appendix는 포함되지 않아, 본문이 “Appendix/Sec. C·D”로 미루는 세부(오토인코더 목적함수, Tab. 8·10·18 등)는 직접 확인하지 못했다. 아래 p.N은 PDF 쪽 번호(1–12).
문제·동기
- 픽셀 공간 diffusion model(DM)은 고해상도에서 학습·추론이 매우 비싸다: 최강 DM 학습에 150–1000 V100 days, A100 1장으로 50k 샘플 생성에 약 5일 (2021-guided-diffusion (미수록) 기준, §1, p.1–2).
- likelihood 기반 모델은 mode-covering 성질 때문에 눈에 띄지 않는 고주파 디테일에 용량을 과도하게 쓴다. reweighted objective(2020-ddpm)가 이를 일부 완화하지만, gradient와 네트워크 평가는 여전히 모든 픽셀에서 이루어진다 (§1, Fig. 2, §3).
- 학습을 perceptual compression(고주파 제거) 단계와 semantic compression(실제 생성 모델링) 단계로 나눌 수 있다는 rate-distortion 관찰이 출발점 (§1 “Departure to Latent Space”, Fig. 2).
- 기존 2-stage 방식(VQ-VAE, 2021-vqgan (미수록), DALL-E)은 autoregressive transformer가 다루기 쉽도록 공간 압축을 과하게(f=8~16) 해야 해 재구성 품질이 떨어진다 (§2 “Two-Stage Image Synthesis”, Fig. 1).
핵심 아이디어·방법
- 2단계 학습: ① 범용 autoencoder를 한 번 학습 → ② 그 latent 공간에서 DM 학습. autoencoder는 여러 DM 학습·다른 과제에 재사용 가능 (§1, §3).
- Perceptual image compression (§3.1, p.3–4)
- VQGAN(2021-vqgan) 기반: perceptual loss + patch 기반 adversarial objective로 학습해 L1/L2만 쓸 때의 blur를 피함.
- , , downsampling factor .
- latent 분산 폭주를 막는 정규화 2종: KL-reg.(표준정규로 약한 KL penalty, VAE 유사), VQ-reg.(decoder 안의 vector quantization layer — quantization이 decoder에 흡수된 VQGAN으로 해석).
- latent를 1D로 펼치지 않고 2D 구조 그대로 DM이 다루므로 약한 압축으로도 충분 → 재구성 품질 우수 (§3.1, Fig. 1: f=4 PSNR 27.4 / R-FID 0.58 vs DALL-E f=8 22.8 / 32.01, VQGAN f=16 19.9 / 4.98).
- Latent Diffusion Model (§3.2, p.4)
- DM 목적함수는 2020-ddpm의 단순화된 ε-prediction (Eq. 1) — reweighted variational bound이며 denoising score-matching과 대응된다고 설명.
- latent 버전: (Eq. 2).
- backbone 는 2D convolution 위주의 time-conditional u-net. 샘플은 한 번 통과로 이미지로 복원.
- Conditioning mechanism (§3.3, Fig. 3, p.4–5)
- 도메인별 encoder 가 조건 (텍스트, semantic map, 이미지 등)를 로 사영.
- U-Net 중간층에 cross-attention: , , .
- 조건부 목적함수 Eq. 3에서 와 를 함께 학습.
- 공간 정렬된 조건(semantic map, 저해상도 이미지, inpainting mask)은 latent에 concatenation (§4.3.2, §4.4).
- 샘플링은 전반적으로 DDIM sampler 사용 (Fig. 5–6, Table 1–3).
- 별다른 언급이 없으면 실험은 VQ-reg. LDM 사용 — VQ 쪽 재구성은 약간 떨어지지만 샘플 품질이 더 좋았기 때문 (§4, p.5).
주요 결과
압축률 f 분석 (§4.1, Fig. 5–6, p.5–6)
- f ∈ {1,2,4,8,16,32} 비교(LDM-1 = 픽셀 DM), A100 1장·같은 step·같은 파라미터 수로 고정.
- f=1,2는 학습이 느리고, f=32는 정보 손실로 품질이 정체됨. ImageNet 2M step 후 LDM-1과 LDM-8 사이 FID 차이가 38 (§4.1, p.6).
- LDM-4, LDM-8이 최적 구간. ImageNet처럼 복잡한 데이터는 더 약한 압축이 필요 (p.6, Fig. 6).
Unconditional 256² (Table 1)
| 데이터셋 | 지표 | LDM | 비교 대상 | 출처 |
|---|---|---|---|---|
| CelebA-HQ | FID↓ | 5.11 (LDM-4, 500 step) | 7.22 (LSGM), 7.16 (UDM) | Table 1 |
| FFHQ | FID↓ | 4.98 (LDM-4) | 4.16 (StyleGAN), 3.08 (ProjectedGAN) | Table 1 |
| LSUN-Churches | FID↓ | 4.02 (LDM-8, KL) | 7.89 (DDPM), 1.59 (ProjectedGAN) | Table 1 |
| LSUN-Bedrooms | FID↓ | 2.95 (LDM-4) | 4.9 (DDPM), 1.90 (ADM), 1.52 (ProjectedGAN) | Table 1 |
- CelebA-HQ에서 SOTA FID, 그리고 first stage를 함께 학습하는 LSGM을 앞섬. Bedrooms에서는 ADM에 근접하지만, 파라미터는 절반이고 학습 자원은 1/4 수준 (§4.2, p.6). GAN 대비 Precision/Recall은 일관되게 좋음 (§4.2).
Text-to-image, MS-COCO val (§4.3.1, Table 2) — 1.45B 파라미터, LAION-400M 학습, 250 DDIM step
| 모델 | FID↓ | IS↑ | 출처 |
|---|---|---|---|
| DALL-E | 27.50 | 17.90 | Table 2 ([105]에서 인용) |
| CogView | 27.10 | 18.20 | Table 2 |
| LAFITE | 26.94 | 26.02 | Table 2 |
| LDM-KL-8 | 23.35 | 19.93 | Table 2 |
| LDM-KL-8-G (CFG scale 1.5) | 12.61 | 26.62 | Table 2 |
Class-conditional ImageNet 256² (§4.3.1, Table 3) — 250 DDIM step
| 모델 | FID↓ | IS↑ | 파라미터 | 출처 |
|---|---|---|---|---|
| BigGAN-deep | 6.95 | 203.6 | 340M | Table 3 |
| ADM | 10.94 | 100.98 | 554M | Table 3 |
| ADM-G (classifier guidance) | 4.59 | 186.7 | 608M | Table 3 |
| LDM-4 | 10.56 | 103.49 | 400M | Table 3 |
| LDM-4-G (CFG scale 1.5) | 3.60 | 247.67 | 400M | Table 3 |
Super-resolution ×4, ImageNet 64→256 (§4.4, Table 4–5)
| 모델 | FID↓ | IS↑ | PSNR↑ | 파라미터 | 출처 |
|---|---|---|---|---|---|
| Image Regression | 15.2 | 121.1 | 27.9 | 625M | Table 4 |
| SR3 | 5.2 | 180.1 | 26.4 | 625M | Table 4 |
| LDM-4 (100 step) | 2.8 / 4.8 | 166.3 | 24.4 | 169M | Table 4 |
- FID는 SR3보다 좋고 IS는 SR3가 더 좋음. user study에서 픽셀 DM 대비 선호도 70.6% vs 29.4% (Table 5).
Inpainting, Places 512² 30k crops (§4.5, Table 6–7)
| 모델 | FID↓ (40–50% mask) | FID↓ (전체) | LPIPS↓ (전체) | 출처 |
|---|---|---|---|---|
| LDM-4 big, w/o attn, w/ ft | 9.39 | 1.50 | 0.137 | Table 7 |
| LaMa† (재계산) | 12.31 | 2.23 | 0.134 | Table 7 |
| CoModGAN | 10.4 | 1.82 | 0.15 | Table 7 |
- 같은 파라미터 수에서 픽셀 DM 대비 최소 2.7× 속도 향상, FID 최소 1.6× 개선 (Table 6, §4.5). 예: train throughput 0.11 → 0.33 samples/s, epoch 6 FID 24.74 → 14.99 (LDM-1 vs LDM-4 VQ, Table 6).
- user study에서 LaMa 대비 선호도 68.1% vs 31.9% (Table 5).
Convolutional sampling: 256²로 학습한 spatially conditioned 모델(semantic synthesis, SR, inpainting)이 512²~1024²(메가픽셀) 이미지까지 일반화 (§4.3.2, Fig. 8).
한계
- 압축이 너무 강하면(f=32) 품질 상한이 제한되고, 너무 약하면(f=1,2) 학습이 느림 — f 선택이 데이터셋 복잡도에 의존 (§4.1, Fig. 5–6).
- SR에서 PSNR/SSIM은 regression·SR3보다 낮고(Table 4), SR3가 미세 구조를 더 일관되게 합성 (Fig. 9). bicubic degradation으로 학습한 모델은 다른 전처리 이미지로 일반화가 잘 안 됨 (§4.4).
- Inpainting에서 LPIPS는 LaMa보다 약간 높음 (§4.5, Table 7). big 모델은 256²/512² 사이 품질 차이가 있어 512² fine-tuning이 필요했음 (§4.5).
- convolutional 고해상도 샘플링 결과가 latent scale(SNR)에 민감 (§4.3.2).
- 여전히 반복적 denoising(수십~수백 DDIM step)이 필요해 GAN처럼 단일 forward로 샘플링되지 않음 (Fig. 6, Table 2–3 설정; 단일 패스 GAN과의 속도 비교는 본문에 없음 — 해석).
- autoencoder 재구성 품질이 전체 품질의 상한이 되므로, 픽셀 단위 정밀도가 중요한 과제에서는 병목이 될 수 있음 (해석, Fig. 1·Table 4의 PSNR 결과에서 유추).
내 연구와의 연결
- (해석) 의료 영상(CT/MRI 3D 볼륨)은 픽셀 DM 비용이 특히 크므로, 의료 도메인 autoencoder를 먼저 학습한 뒤 latent에서 diffusion을 돌리는 구조가 합성 데이터 생성·augmentation에 그대로 이식 가능해 보인다. 다만 KL/VQ 정규화와 f 선택(본 논문은 f=4–8 권장, §4.1)이 미세 병변 보존에 미치는 영향은 별도 검증이 필요.
- (해석) concatenation 조건(§4.3.2)은 segmentation mask → 영상 합성, 저선량 → 고선량 복원(SR 유사 과제) 같은 의료 image-to-image 과제에, cross-attention 조건(§3.3)은 판독문 텍스트 기반 합성에 대응시킬 수 있다.
- (해석) 로보틱스/에이전트 쪽에서는 “사전학습 autoencoder latent + 조건부 diffusion”이라는 분리 구조가 latent 공간에서의 정책·세계모델 학습 아이디어로 연결될 수 있다 (예: 관측 이미지를 latent로 압축 후 생성 모델링).
관련 논문
- builds-on: 2020-ddpm — 단순화된 ε-prediction 목적함수(reweighted bound, Eq. 1)를 latent로 옮김 (§3.2, Eq. 1–2). Table 1에서 DDPM과 직접 비교 (Churches 7.89 → 4.02, Bedrooms 4.9 → 2.95). 샘플러는 DDPM ancestral이 아니라 DDIM 사용 (Fig. 5–6, Table 1–3).
- builds-on: 2021-cfg — classifier-free diffusion guidance([31], scale 1.5)를 text-to-image(LDM-KL-8-G, Table 2)와 class-conditional ImageNet(LDM-4-G, Table 3)에 적용, “greatly boosts sample quality” (§4.3.1).
- builds-on: 2021-vqgan (미수록) — perceptual + adversarial loss로 학습하는 first-stage autoencoder 설계를 계승; VQ-reg.는 quantization을 decoder에 흡수한 VQGAN (§3.1). Fig. 1에서 재구성 품질 비교.
- improves: 2021-guided-diffusion (미수록) — ADM 대비 class-conditional ImageNet FID 4.59 → 3.60, 파라미터 608M → 400M (Table 3).
- improves: 2020-ddpm — 무조건 생성 LSUN-Churches FID 7.89 → 4.02, Bedrooms 4.9 → 2.95 (Table 1)
- built-on-by: 2024-sd3 — pretrained autoencoder latent 설정·latent 정규화를 계승 (SD3 논문 §4, §5.2.1, Appendix B.2)
- improved-by: 2024-sd3 — formulation 비교에서 rf/lognorm(0,1) 평균 rank 1.54 vs LDM-Linear(eps/linear) 2.88 (SD3 논문 Table 1, §5.1.1)
- compares-with: —
- contradicts: —
- 참고: 2023-flow-matching — FM 논문이 LDM을 서론(§1)에서 인용할 뿐 직접 관계는 없음. 두 계열은 2024-sd3에서 결합됨 (해석).