개요
데이터 분포를 학습해 새 샘플을 만드는 모델군. 이 위키는 특히 diffusion → flow matching / rectified flow 계열과, 이를 고해상도·텍스트 조건 이미지 생성으로 확장한 흐름을 다룬다. 관점: 학습 목적함수(ε-prediction, score, velocity), 생성 공간(pixel vs latent), backbone(U-Net vs Transformer), 조건화(guidance)를 축으로 논문을 연결한다.
대표 논문
| 연도 | 논문 | 한 줄 요약 | status |
|---|---|---|---|
| 2020 | 2020-ddpm | ε-prediction + 로 고품질 diffusion 이미지 생성 | read |
| 2021 | 2021-cfg | classifier 없이 조건/비조건 예측을 섞는 guidance | read |
| 2022 | 2022-ldm | autoencoder latent에서 diffusion, cross-attention 조건화 | reading |
| 2023 | 2023-flow-matching | CNF를 simulation-free로 학습, diffusion을 포함하는 일반화 | to-read |
| 2024 | 2024-sd3 | rectified flow + logit-normal + MM-DiT를 8B까지 스케일링 | to-read |
연구 흐름 (타임라인)
timeline title 생성모델 연구 흐름 (diffusion → flow) 2020 : DDPM (2020-ddpm) 2021 : Classifier-Free Guidance (2021-cfg) 2022 : Latent Diffusion (2022-ldm) 2023 : Flow Matching (2023-flow-matching) 2024 : SD3 / Rectified Flow Transformers (2024-sd3)
- 2020 — 2020-ddpm: diffusion 학습을 ε 회귀로 단순화하고 score matching과의 등가성을 보임
- 2021 — 2021-cfg: DDPM식 ε-prediction 위에 classifier-free guidance (builds-on DDPM)
- 2022 — 2022-ldm: DDPM 목적함수를 latent로 옮기고 CFG를 text-to-image에 적용 (builds-on DDPM·CFG)
- 2023 — 2023-flow-matching: diffusion 경로를 특수 사례로 포함, 같은 U-Net에서 DDPM 손실보다 우수 (improves DDPM)
- 2024 — 2024-sd3: FM의 CFM + LDM의 latent + CFG를 결합해 rectified flow로 스케일링 (builds-on FM·LDM·CFG, improves LDM)
flowchart LR DDPM["Ho 2020<br>DDPM"] CFG["Ho 2021<br>CFG"] LDM["Rombach 2022<br>LDM"] FM["Lipman 2023<br>Flow Matching"] SD3["Esser 2024<br>SD3"] DDPM -->|builds-on| CFG DDPM -->|builds-on / improves| LDM CFG -->|builds-on| LDM DDPM -->|improves| FM FM -->|builds-on| SD3 LDM -->|builds-on / improves| SD3 CFG -->|builds-on| SD3
(화살표 방향 = 선행 → 후속, 라벨 = 후속 논문 기준 관계)
하위 개념
- diffusion-model · score-matching · flow-matching · rectified-flow · latent-diffusion-model · classifier-free-guidance · text-to-image-generation · u-net
미해결 문제
- 샘플링 비용: 반복 평가가 많음. FM의 직선 경로(NFE 약 60%, 2023-flow-matching Fig. 7)와 RF의 timestep 샘플링(2024-sd3 Fig. 3)이 완화하지만, marginal 경로의 곡률은 남음 (2024-sd3 Appendix A).
- guidance 비용·부작용: 스텝당 forward 2회, 강한 guidance 시 다양성 감소·색 포화 (2021-cfg §4.3, Fig. 3).
- latent의 상한: autoencoder 재구성 품질이 생성 품질 상한 (2022-ldm §4.1, 2024-sd3 §5.2.1).
- likelihood vs 샘플 품질: DDPM은 샘플 품질에 비해 NLL이 약함 (2020-ddpm §4.2); FM은 둘 다 개선 (2023-flow-matching Table 1) — (해석) 대규모 조건부 모델에서의 likelihood 평가는 위키 내 근거 없음.
- (해석) 시간 규약 혼재: FM은 노이즈, SD3/RF는 데이터 — 논문 간 수식 비교 시 주의.
다른 분야와의 연결
- computer-vision: 고해상도 이미지 합성, super-resolution, inpainting (2022-ldm §4.4–4.5, 2023-flow-matching Table 2), text-to-image (2024-sd3).
- medical-ai: (해석) u-net이 의료 영상 분할에서 유래해 diffusion backbone이 되었고, latent diffusion/flow는 의료 영상 합성·데이터 증강에 응용 가능 — 위키 내 의료 논문 근거는 아직 없음.
- robotics: (해석) diffusion/flow matching은 로봇 행동 정책(action generation)에도 쓰이는 흐름 — 관련 논문 미수록.