내가 가져갈 핵심 한 줄
노이즈 ε를 예측하도록 reverse process를 parameterize하고 가중치를 뺀 MSE(
L_simple)로 학습하면, diffusion model이 GAN급 이미지를 생성한다 — 그리고 이는 denoising score matching + annealed Langevin dynamics와 사실상 같은 것이다.
분야: generative-models · computer-vision · 핵심 개념: diffusion-model, score-matching, u-net
원문 범위
읽은 PDF는 NeurIPS 2020 proceedings 본문(12쪽, 참고문헌 포함)이며 Appendix A–D(유도, 아키텍처 상세, LSUN/CelebA-HQ 표 등)는 포함되어 있지 않다. 따라서 본 페이지의 근거는 본문에 한정된다.
문제·동기
- GAN, autoregressive model, flow, VAE, EBM/score matching 등이 고품질 샘플을 내고 있었으나 (§1), diffusion probabilistic model(2015-diffusion-thermodynamics (미수록))은 정의가 간단하고 학습이 효율적임에도 고품질 샘플 생성이 시연된 적이 없었다 (§1, p.2).
- 목표: diffusion model이 실제로 고품질 샘플을 생성할 수 있음을 보이고, 그 설계를 denoising score matching과의 연결로 정당화 (§1, §3).
핵심 아이디어·방법
- Forward (diffusion) process: 고정된 variance schedule 로 데이터에 Gaussian noise를 점진적으로 더하는 Markov chain (§2, Eq. 2). , 로 두면 임의의 t에서 closed form 로 샘플 가능 (§2, Eq. 4).
- Reverse process: 에서 시작하는 learned Gaussian transition 의 Markov chain (§2, Eq. 1). 학습은 NLL의 variational bound 최적화 (Eq. 3), 이를 의 KL 항들로 재작성해 Gaussian 간 closed-form KL로 분산을 줄임 (Eq. 5–7).
- 분산 고정: 는 상수로 고정해 는 학습과 무관 (§3.1). 도 학습하지 않는 상수이며 와 가 비슷한 결과 (§3.2).
- ε-prediction parameterization: — 네트워크가 에 섞인 노이즈 ε를 예측 (§3.2, Eq. 11). 그러면 은 에 t별 가중치를 곱한 형태가 되어, 여러 noise scale에 걸친 denoising score matching과 닮는다 (Eq. 12). 샘플링(Algorithm 2)은 를 데이터 밀도의 학습된 gradient로 쓰는 Langevin dynamics와 유사 (§3.2, p.4).
- 직접 예측은 초기 실험에서 샘플 품질이 더 나빴다 (§3.2, p.4).
- Discrete decoder: [0,255] 정수 이미지를 [−1,1]로 스케일하고, 마지막 단계 를 Gaussian에서 유도한 독립 discrete decoder로 두어 variational bound가 lossless codelength가 되게 함 (§3.3, Eq. 13).
- Simplified objective , t ~ Uniform{1..T} (§3.4, Eq. 14; Algorithm 1). Eq. 12의 가중치를 버린 weighted variational bound로, 작은 t(쉬운 denoising)의 항을 down-weight하여 큰 t의 어려운 denoising에 집중하게 해 샘플 품질을 높인다 (§3.4, p.5). NCSN의 loss weighting과 유사 (§3.4).
- 설정: T = 1000, 는 에서 까지 선형 증가 (linear schedule); 이때 bits/dim (§4, p.5).
- 아키텍처: unmasked PixelCNN++와 유사한 u-net backbone + group normalization, 시간 t는 Transformer sinusoidal position embedding으로 주입하고 파라미터는 시간에 걸쳐 공유, 16×16 해상도에서 self-attention 사용 (§4, p.5). 상세는 Appendix B (본 PDF에 미포함).
주요 결과
| 벤치마크 | 지표 | 본 논문 | 비교 대상 | 출처 |
|---|---|---|---|---|
| CIFAR10 (unconditional) | FID ↓ | 3.17 () | 25.32 (NCSN), 31.75 (NCSNv2), 3.26 (StyleGAN2+ADA uncond.), 2.67 (StyleGAN2+ADA cond.), 14.73 (BigGAN cond.) | Table 1 |
| CIFAR10 (unconditional) | IS ↑ | 9.46±0.11 | 8.87 (NCSN), 9.09 (SNGAN-DDLS), 9.74 (StyleGAN2+ADA uncond.) | Table 1 |
| CIFAR10 | NLL (bits/dim) ↓ | ≤3.75 (), ≤3.70 (, fixed Σ) | 3.03 (Gated PixelCNN), 2.80 (Sparse Transformer), ≤5.40 (원조 Diffusion) | Table 1 |
| CIFAR10 FID (test set 기준) | FID | 5.24 | — | §4.1, p.5 |
| LSUN Church 256² | FID | 7.89 | — | Fig. 3 |
| LSUN Bedroom 256² | FID | 4.90 | — | Fig. 4 |
Ablation (CIFAR10, Table 2, §4.2)
| parameterization | objective | IS | FID |
|---|---|---|---|
| 예측 | , learned diagonal Σ | 7.28 | 23.69 |
| 예측 | , fixed isotropic Σ | 8.06 | 13.22 |
| 예측 | 불안정 | 불안정 | |
| ε 예측 | , learned diagonal Σ | 불안정 | 불안정 |
| ε 예측 | , fixed isotropic Σ | 7.67 | 13.51 |
| ε 예측 | 9.46 | 3.17 |
- 예측은 true variational bound에서만 잘 되고, reverse variance 학습은 불안정·품질 저하; ε 예측은 에서 훨씬 좋다 (§4.2).
- true bound 학습은 codelength가 더 좋고, 은 샘플 품질이 가장 좋다 (§4.1, p.6).
- Progressive coding: train–test 차이 ≤0.03 bits/dim으로 과적합 없음 (§4.3). 최고 품질 모델은 rate 1.78 bits/dim, distortion 1.97 bits/dim(RMSE 0.95, 0–255 스케일)로, lossless codelength의 절반 이상이 지각 불가능한 디테일 기술에 쓰임 → diffusion model은 뛰어난 lossy compressor라는 inductive bias (§4.3, p.6; Fig. 5).
- Progressive generation: reverse process 중 를 보면 큰 구조가 먼저, 디테일이 나중에 나타난다 (§4.3, Fig. 6, Fig. 7).
- Autoregressive와의 연결: 마스킹 forward process를 쓰면 diffusion 학습이 autoregressive model 학습과 같아지므로, Gaussian diffusion은 일반화된 bit ordering의 autoregressive decoding으로 볼 수 있다 (§4.3, Eq. 16, p.7–8).
- Interpolation: q를 stochastic encoder로 써서 공간에서 선형 보간 후 reverse process로 복원 → CelebA-HQ 256²에서 자세·피부톤·헤어 등은 부드럽게 변하나 안경은 보간되지 않음 (§4.4, Fig. 8).
한계
- log likelihood가 다른 likelihood 기반 모델(autoregressive 등)에 비해 경쟁력이 없다 (§1, §4.3; Table 1: 3.75 vs 2.80 bits/dim).
- 샘플링에 T = 1000번의 네트워크 평가가 필요 (§4, p.5) — 느린 샘플링은 이후 연구의 주요 개선 대상 (해석).
- reverse variance를 학습하면 학습이 불안정 (§4.2, Table 2).
- 실험은 unconditional 이미지 생성(CIFAR10, CelebA-HQ, LSUN)에 한정되며, 다른 모달리티와 다른 생성모델의 구성요소로의 활용은 향후 과제로 남김 (§6).
- 픽셀 공간에서 직접 diffusion을 수행해 고해상도에서 계산량이 크다 (해석) → 이후 2022-ldm이 latent 공간으로 이동.
- Broader Impact: 가짜 이미지·영상 생성 악용, 데이터셋 편향 강화 우려 (Broader Impact, p.9).
내 연구와의 연결
- (해석) 의료 AI: ε-prediction + 의 단순한 학습 루프(Algorithm 1)는 의료 영상 합성·데이터 증강, 그리고 노이즈 제거(denoising)·복원 문제에 그대로 이식하기 쉽다. §4.4의 “q로 노이즈를 입힌 뒤 reverse process로 복원” 아이디어는 병변이 있는 영상을 정상 영상으로 복원해 이상 부위를 찾는 anomaly detection 방식으로 연결해 볼 수 있다.
- (해석) 컴퓨터비전 기초 학습 관점: 이 논문의 forward/reverse process, ε-prediction, linear β schedule, U-Net backbone이 이후 2021-cfg, 2022-ldm, 2024-sd3 계열의 공통 출발점이므로, 수식(Eq. 4, 11, 14)을 직접 유도해 보는 것이 이후 논문 이해의 기반이 된다.
- (해석) 로보틱스·에이전트: Algorithm 2의 반복적 denoising 샘플링은 이미지뿐 아니라 연속 행동 시퀀스 같은 다른 모달리티에도 적용 가능한 일반적 생성 절차이며(논문도 §6에서 다른 모달리티 적용을 기대함), robot policy를 생성모델로 다루는 연구로 확장해 볼 수 있다.
관련 논문
- builds-on: 2015-diffusion-thermodynamics (미수록) — Sohl-Dickstein et al., diffusion probabilistic model의 원 제안; 정의·variational bound를 그대로 계승 (§1, §2)
- builds-on: 2019-ncsn (미수록) — Song & Ermon, denoising score matching + annealed Langevin dynamics; ε-prediction이 이와 동치임을 보이고 loss weighting을 차용 (§3.2, §3.4, §5)
- compares-with: 2019-ncsn (미수록) — CIFAR10 FID 25.32 vs 3.17 (Table 1)
- built-on-by: 2021-cfg — ε-prediction parameterization·목적함수·ancestral sampler를 사용 (CFG 논문 §2, p.3)
- built-on-by: 2022-ldm — 단순화된 ε 목적함수를 autoencoder latent 공간으로 옮김 (LDM 논문 §3.2, Eq. 1–2)
- built-on-by: 2024-sd3 — ε-prediction 형태의 손실 재매개화·noise-scale 재가중을 통일 손실의 출발점으로 사용 (SD3 논문 §1, §2)
- improved-by: 2023-flow-matching — 같은 U-Net에서 DDPM 손실 대비 NLL·FID·NFE 개선, 예: CIFAR-10 FID 7.48 → 6.35 (FM 논문 Table 1)
- improved-by: 2022-ldm — LSUN-Churches FID 7.89 → 4.02, Bedrooms 4.9 → 2.95 (LDM 논문 Table 1)
관련 개념: diffusion-model · score-matching · u-net · 후속 개념: classifier-free-guidance · latent-diffusion-model · flow-matching