분야: generative-models

정의

노이즈 분포에서 데이터 분포로 가는 확률 경로 를 정하고, 이를 생성하는 vector field 를 신경망 로 회귀해 Continuous Normalizing Flow(CNF)를 ODE 시뮬레이션 없이 학습하는 방법 (2023-flow-matching §3). 시간 규약: 노이즈, 데이터 (2023-flow-matching §2).

  • FM: — marginal 가 intractable (Eq. 5, 8)
  • CFM: — FM과 gradient가 같음 (Eq. 9, Theorem 2)

작동 방식 / 핵심 구성요소

  • Gaussian 조건부 경로: , 이를 생성하는 VF는 (2023-flow-matching Eq. 10, Theorem 3, Eq. 15).
  • Diffusion 경로 = 특수 사례: VE·VP diffusion 경로가 이 형태로 표현됨 (§4.1 Example I, Eq. 16–19). → diffusion-model
  • OT 경로: , → 직선·등속 궤적, 회귀 타깃 (Eq. 20–23, Fig. 3). 조건부 경로는 두 Gaussian 사이 OT displacement map이지만 marginal VF가 OT임은 보장되지 않음 (§4.1).
  • 대규모 적용: SD3는 CFM 목적함수와 FM⇔CFM 동치를 그대로 따르고, 일반 경로 에서 rectified-flow를 선택 (2024-sd3 §2, Eq. 6–8, Appendix B.1).

장단점

  • 장점: simulation-free, diffusion보다 안정적. 같은 U-Net에서 DDPM 손실 대비 CIFAR-10 FID 7.48 → 6.35, NFE 274 → 142 (2023-flow-matching Table 1). 같은 오차에 NFE 약 60% (Fig. 7).
  • 단점: marginal 경로는 여전히 곡선일 수 있음 (2023-flow-matching §4.1; 2024-sd3 Appendix A — RF도 곡률이 남음).

등장·발전 논문 (연도순)

  • 2018 — 2018-neural-ode (미수록) — CNF 기반
  • 2023 — 2023-flow-matching — FM/CFM 제안
  • 2023 — 2023-rectified-flow (미수록) — 동시 연구, 유사한 조건부 목적함수 (FM 논문 §5)
  • 2024 — 2024-sd3 — CFM 기반 rectified flow를 8B text-to-image로 스케일링

관련 개념