개요

데이터 분포를 학습해 새 샘플을 만드는 모델군. 이 위키는 특히 diffusion → flow matching / rectified flow 계열과, 이를 고해상도·텍스트 조건 이미지 생성으로 확장한 흐름을 다룬다. 관점: 학습 목적함수(ε-prediction, score, velocity), 생성 공간(pixel vs latent), backbone(U-Net vs Transformer), 조건화(guidance)를 축으로 논문을 연결한다.

대표 논문

연도논문한 줄 요약status
20202020-ddpmε-prediction + 로 고품질 diffusion 이미지 생성read
20212021-cfgclassifier 없이 조건/비조건 예측을 섞는 guidanceread
20222022-ldmautoencoder latent에서 diffusion, cross-attention 조건화reading
20232023-flow-matchingCNF를 simulation-free로 학습, diffusion을 포함하는 일반화to-read
20242024-sd3rectified flow + logit-normal + MM-DiT를 8B까지 스케일링to-read

연구 흐름 (타임라인)

timeline
    title 생성모델 연구 흐름 (diffusion → flow)
    2020 : DDPM (2020-ddpm)
    2021 : Classifier-Free Guidance (2021-cfg)
    2022 : Latent Diffusion (2022-ldm)
    2023 : Flow Matching (2023-flow-matching)
    2024 : SD3 / Rectified Flow Transformers (2024-sd3)
  • 2020 — 2020-ddpm: diffusion 학습을 ε 회귀로 단순화하고 score matching과의 등가성을 보임
  • 2021 — 2021-cfg: DDPM식 ε-prediction 위에 classifier-free guidance (builds-on DDPM)
  • 2022 — 2022-ldm: DDPM 목적함수를 latent로 옮기고 CFG를 text-to-image에 적용 (builds-on DDPM·CFG)
  • 2023 — 2023-flow-matching: diffusion 경로를 특수 사례로 포함, 같은 U-Net에서 DDPM 손실보다 우수 (improves DDPM)
  • 2024 — 2024-sd3: FM의 CFM + LDM의 latent + CFG를 결합해 rectified flow로 스케일링 (builds-on FM·LDM·CFG, improves LDM)
flowchart LR
    DDPM["Ho 2020<br>DDPM"]
    CFG["Ho 2021<br>CFG"]
    LDM["Rombach 2022<br>LDM"]
    FM["Lipman 2023<br>Flow Matching"]
    SD3["Esser 2024<br>SD3"]
    DDPM -->|builds-on| CFG
    DDPM -->|builds-on / improves| LDM
    CFG -->|builds-on| LDM
    DDPM -->|improves| FM
    FM -->|builds-on| SD3
    LDM -->|builds-on / improves| SD3
    CFG -->|builds-on| SD3

(화살표 방향 = 선행 → 후속, 라벨 = 후속 논문 기준 관계)

하위 개념

미해결 문제

  • 샘플링 비용: 반복 평가가 많음. FM의 직선 경로(NFE 약 60%, 2023-flow-matching Fig. 7)와 RF의 timestep 샘플링(2024-sd3 Fig. 3)이 완화하지만, marginal 경로의 곡률은 남음 (2024-sd3 Appendix A).
  • guidance 비용·부작용: 스텝당 forward 2회, 강한 guidance 시 다양성 감소·색 포화 (2021-cfg §4.3, Fig. 3).
  • latent의 상한: autoencoder 재구성 품질이 생성 품질 상한 (2022-ldm §4.1, 2024-sd3 §5.2.1).
  • likelihood vs 샘플 품질: DDPM은 샘플 품질에 비해 NLL이 약함 (2020-ddpm §4.2); FM은 둘 다 개선 (2023-flow-matching Table 1) — (해석) 대규모 조건부 모델에서의 likelihood 평가는 위키 내 근거 없음.
  • (해석) 시간 규약 혼재: FM은 노이즈, SD3/RF는 데이터 — 논문 간 수식 비교 시 주의.

다른 분야와의 연결

  • computer-vision: 고해상도 이미지 합성, super-resolution, inpainting (2022-ldm §4.4–4.5, 2023-flow-matching Table 2), text-to-image (2024-sd3).
  • medical-ai: (해석) u-net이 의료 영상 분할에서 유래해 diffusion backbone이 되었고, latent diffusion/flow는 의료 영상 합성·데이터 증강에 응용 가능 — 위키 내 의료 논문 근거는 아직 없음.
  • robotics: (해석) diffusion/flow matching은 로봇 행동 정책(action generation)에도 쓰이는 흐름 — 관련 논문 미수록.