분야: generative-models · computer-vision

정의

데이터에 Gaussian 노이즈를 점진적으로 더하는 고정된 forward process와, 이를 거꾸로 되돌리는 학습된 reverse process로 이루어진 latent variable 생성모델. 학습은 “노이즈가 섞인 입력에서 노이즈(또는 원본·velocity)를 예측”하는 회귀 문제로 귀결된다 (2020-ddpm §2–3).

  • Forward: , 임의 시점 closed form (2020-ddpm §2, Eq. 2, 4)
  • Reverse: , (2020-ddpm §2, Eq. 1)
  • 단순화 목적함수: (2020-ddpm §3.4, Eq. 14)

작동 방식 / 핵심 구성요소

  • Noise schedule: DDPM은 , → 선형 schedule (2020-ddpm §4). 이후 cosine schedule, EDM 등 다양한 변형이 있고, 2024-sd3는 이들을 하나의 가중 손실 로 통일해 비교 (§2–3, Table 1).
  • Parameterization: ε-prediction이 x₀ 예측보다 좋음 (2020-ddpm §3.2, Table 2). v-prediction, velocity(flow) 예측 등 변형은 2024-sd3 §3.1에서 비교.
  • Backbone: 시점 를 embedding으로 받는 u-net이 표준 (2020-ddpm §4, 2022-ldm §3.2). 이후 Transformer(DiT, MM-DiT)로 대체되는 흐름 (2024-sd3 §4).
  • Score matching과의 관계: ε-prediction 목적함수는 다중 noise scale의 denoising score-matching과 등가 (2020-ddpm §3.2, Eq. 12).

변형·발전

장단점

  • 장점: 안정적인 회귀형 학습, GAN급 샘플 품질 (2020-ddpm §4.1, CIFAR10 FID 3.17), 조건 주입·guidance가 쉬움 (2021-cfg, 2022-ldm §3.3).
  • 단점: 샘플링에 많은 반복 평가가 필요 (2022-ldm §1 — 50k 샘플에 A100 약 5일), 픽셀 공간 학습 비용이 큼 (150–1000 V100 days, 2022-ldm §1). log-likelihood는 경쟁력이 떨어짐 (2020-ddpm §4.2, ≤3.75 bits/dim).

등장·발전 논문 (연도순)

  • 2020 — 2020-ddpm — ε-prediction + 로 고품질 이미지 생성 실현
  • 2021 — 2021-cfg — classifier 없는 guidance
  • 2022 — 2022-ldm — latent 공간으로 이동해 비용 절감, cross-attention 조건화
  • 2023 — 2023-flow-matching — diffusion 경로를 포함하는 일반화(FM), 같은 U-Net에서 DDPM 손실보다 우수 (Table 1)
  • 2024 — 2024-sd3 — diffusion/EDM/RF formulation 61종 대규모 비교, RF + logit-normal 채택

관련 개념