내가 가져갈 핵심 한 줄

샘플 하나에 조건을 건 확률 경로 의 vector field만 회귀해도(CFM) 전체 marginal vector field를 회귀하는 것(FM)과 gradient가 같다 — 그래서 CNF를 시뮬레이션 없이 학습할 수 있고, 경로를 diffusion 대신 직선(OT)으로 고르면 학습·샘플링이 더 빠르고 좋아진다.

분야: generative-models · 핵심 개념: flow-matching, diffusion-model, score-matching, rectified-flow, u-net

문제·동기

  • 최근 이미지 생성의 발전(예: 2022-ldm)은 대부분 diffusion 모델(2020-ddpm 등)의 확장성 있고 안정적인 학습 덕분이지만, 단순한 diffusion 과정에 한정되면 샘플링 확률 경로의 공간이 좁아져 학습이 매우 길고, 효율적 샘플링을 위해 별도 기법(DDIM 등)이 필요하다 (§1).
  • Continuous Normalizing Flow(CNF; Chen et al. 2018)는 임의의 확률 경로를 모델링할 수 있고 diffusion의 경로도 포함하지만, diffusion(denoising score matching으로 학습) 외에는 확장 가능한 CNF 학습법이 없다 (§1).
    • maximum likelihood 학습은 비싼 ODE 시뮬레이션이 필요하고 (§1, §5),
    • 기존 simulation-free 방법은 고차원에서 추정이 어려운 적분(Moser Flow, Rozen et al. 2021)이나 minibatch에서 biased gradient(Ben-Hamu et al. 2022) 문제가 있다 (§1, §5).
  • 목표: 일반적인 확률 경로로 CNF를 감독 학습할 수 있는 효율적 simulation-free 학습법 = Flow Matching (§1).

핵심 아이디어·방법

배경: CNF

  • 시간 의존 vector field 가 ODE 로 flow 를 정의하고, push-forward 로 단순한 prior (노이즈)를 로 변형한다 (§2, Eq. 1–4).
  • 가 를 “생성”하는지는 continuity equation 으로 확인 (§2, Appendix B, Eq. 26).
  • 규약: t=0이 노이즈, t=1이 데이터 (§3). diffusion 문헌과 시간 방향이 반대이며 Lemma 1로 변환 (Appendix D).

Flow Matching(FM) 목적함수

  • 목표 경로 와 이를 생성하는 에 신경망 를 회귀. 하지만 적절한 를 닫힌 형태로 알 수 없어 그대로는 intractable (§3, Eq. 5).

조건부 경로로부터 marginal 경로 구성 (§3.1)

  • 데이터 샘플 에 조건을 건 경로 : , (작은 ) (§3.1).
  • marginal 경로 (Eq. 6), (Eq. 7).
  • marginal vector field (Eq. 8).
  • Theorem 1: 조건부 VF 가 를 생성하면, Eq. 8의 marginal VF는 Eq. 6의 marginal 경로를 생성한다 (§3.1, 증명 Appendix A). Peluchetti(2021)의 Diffusion Mixture Representation Theorem에서도 유도 가능하다고 언급 (§3.1).

Conditional Flow Matching(CFM) (§3.2)

  • per-sample로 정의되므로 샘플링과 계산만 하면 unbiased 추정 가능 (§3.2, Eq. 9).
  • Theorem 2: 모든 에서 이면 과 은 θ와 무관한 상수 차이만 있고, (§3.2, 증명 Appendix A).
  • denoising score matching에서 영감을 받았다고 명시 (§1, §5).

Gaussian 조건부 경로 일반형 (§4)

  • , 경계조건 , (Eq. 10).
  • 하나의 경로를 생성하는 VF는 무한히 많지만(발산 없는 성분 추가 가능), 가장 단순한 affine flow 를 택함 (§4, Eq. 11).
  • 이때 CFM은 로 재매개화하여 (Eq. 14).
  • Theorem 3: 이 flow를 정의하는 유일한 VF는 (§4, Eq. 15, 증명 Appendix A).

특수 사례 (§4.1)

  • Example I — Diffusion 경로:
    • 역방향 VE: → (Eq. 16–17).
    • 역방향 VP: , → (Eq. 18–19).
    • 이 조건부 VF는 Song et al.(2020b)의 probability flow ODE VF와 일치 (§4.1, Appendix D — Fokker-Planck를 continuity equation 형태로 바꿔 , Eq. 40).
    • diffusion 경로는 유한 시간에 진짜 노이즈 분포에 도달하지 않아 를 근사해야 하지만, FM은 를 직접 지정해 경로를 완전히 제어 (§4.1).
  • Example II — Optimal Transport(OT) 경로: 평균·표준편차를 시간에 선형으로
    • 는 두 Gaussian , 사이의 OT displacement map (McCann 1997, Example 1.7) (§4.1, Eq. 24).
    • 입자가 직선·등속으로 이동; diffusion 경로는 최종 샘플을 “overshoot”했다 되돌아오는 반면 OT 경로는 항상 직선 (§4.1, Fig. 3).
    • OT 조건부 VF는 시간에 따라 방향이 일정()해 회귀가 더 쉬울 것 (§4.1, Fig. 2).
    • 단, 조건부 flow가 최적이라고 marginal VF가 OT 해인 것은 아님 (§4.1).
    • (해석) 이면 , 목표 로 rectified-flow의 선형 보간과 같은 형태가 된다. 논문은 이 동일성을 명시하지 않고 Liu et al.을 동시 연구로만 언급한다 (§5).

주요 결과

모든 비교는 동일 U-Net(Dhariwal & Nichol 2021) 구조·하이퍼파라미터·학습 반복수로 학습한 unconditional 모델; NLL은 BPD, NFE는 dopri5 adaptive solver(atol=rtol=1e-5) 기준 50k 샘플 평균 (§6, §6.1, Appendix E).

데이터셋지표FM w/ OTFM w/ DiffusionDDPMScore MatchingScoreFlow출처
CIFAR-10NLL↓2.993.103.123.163.09Table 1
CIFAR-10FID↓6.358.067.4819.9420.78Table 1
CIFAR-10NFE↓142183274242428Table 1
ImageNet 32×32NLL↓3.533.543.543.563.55Table 1
ImageNet 32×32FID↓5.026.376.995.6814.14Table 1
ImageNet 32×32NFE↓122193262178195Table 1
ImageNet 64×64NLL↓3.313.333.323.403.36Table 1
ImageNet 64×64FID↓14.4516.8817.3619.7424.95Table 1
ImageNet 64×64NFE↓138187264441601Table 1
  • FM-OT가 CIFAR-10·ImageNet 모든 정량 지표에서 최고 (§6.1, Table 1). CIFAR-10 FID가 기존 문헌보다 높은 것은 구조가 CIFAR-10에 최적화되지 않았기 때문일 수 있다고 저자가 언급 (§6.1).
  • NLL의 importance-weighted 추정(K 변화)에서도 FM-OT가 최저: CIFAR-10 K=50에서 2.99 vs DDPM 3.12 (Table 4, Appendix E.2).
ImageNet 128×128 (unconditional)NLL↓FID↓출처
FM w/ OT2.9020.9Table 1 (right)
PGMGAN–21.7Table 1 (right)
Uncond. BigGAN–25.3Table 1 (right)
Self-cond. GAN–41.7Table 1 (right)
  • IC-GAN(자기지도 ResNet50 조건 사용)을 제외하면 SOTA FID (§6.1).
Super-resolution 64→256 (ImageNet val)FID↓IS↑PSNR↑SSIM↑출처
Reference1.9240.8––Table 2
Regression15.2121.127.90.801Table 2
SR3 (Saharia et al. 2022)5.2180.126.40.762Table 2
FM w/ OT3.4200.824.70.747Table 2
  • 조건부 생성(super-resolution)에서도 SR3와 비슷한 PSNR/SSIM, FID·IS는 크게 개선 (§6.3, Table 2).
  • 학습 속도: ImageNet 64×64에서 FM-OT가 FID를 더 빨리, 더 낮게 내림 (§6.1, Fig. 5). ImageNet-128에서 Dhariwal & Nichol은 4.36m iter × batch 256, FM(25% 큰 모델)은 500k iter × batch 1.5k로 이미지 처리량 33% 적음 (§6.1, Table 3).
  • score matching은 학습 중 샘플링 비용(NFE)이 크게 변하지만 FM은 일정 (§6.1, Fig. 10).
  • 샘플링 효율: ImageNet-32 fixed-step solver에서 FM-OT는 diffusion 모델 대비 약 60% NFE로 같은 수치 오차 도달, 저 NFE에서도 괜찮은 FID (§6.2, Fig. 7). OT 모델은 이미지가 더 일찍 형성되고, diffusion 경로는 마지막에야 노이즈가 제거됨 (§6.2, Fig. 6). 2D checkerboard에서도 같은 경향 (Fig. 4).
  • FM은 diffusion 경로에서도 score matching보다 학습이 더 안정적·강건 (§1, §4.1, Fig. 4).

한계

  • 조건부 OT 경로가 최적이어도 marginal VF가 OT 해라는 보장은 없음 — marginal 경로는 여전히 곡선일 수 있음 (§4.1).
  • 실험은 Gaussian 조건부 경로(diffusion, OT)에 한정; 비등방 Gaussian이나 더 일반적인 kernel은 향후 과제로 남김 (§7).
  • 주요 생성 실험은 unconditional 모델과 super-resolution뿐이며 텍스트 조건 생성·guidance는 다루지 않음 (§6) (해석: 다루지 않았다는 판단은 실험 범위로부터의 추론).
  • CIFAR-10 FID가 기존 문헌 대비 높음 (§6.1).
  • 샘플링은 여전히 ODE 적분이 필요(adaptive solver에서 NFE 122–142 수준) (Table 1) — 1-step 생성은 아님 (해석).

내 연구와의 연결

  • (해석) 로보틱스: 최근 로봇 정책(visuomotor policy)에서 diffusion policy의 대안으로 flow matching을 쓰는 흐름이 있다. 직선 OT 경로 덕분에 적은 NFE로 action을 샘플링할 수 있다는 점(§6.2, Fig. 7)이 실시간 제어 지연 시간에 직접 유리할 것으로 보인다.
  • (해석) 의료 AI: CNF는 정확한 log-likelihood를 계산할 수 있으므로(Appendix C) 의료 영상의 이상 탐지(OOD likelihood)나 재구성·super-resolution(§6.3)에 FM을 적용하는 방향을 검토할 만하다.
  • (해석) 컴퓨터비전: 이 논문의 CFM + OT 경로가 이후 대규모 text-to-image 모델(2024-sd3)의 학습 목적으로 이어지므로, 최신 생성 모델을 이해하는 기초 이론으로 학습(purpose: study) 가치가 크다.

관련 논문

  • builds-on: 2018-neural-ode (미수록) — CNF 정의와 instantaneous change of variables를 그대로 사용 (§2, Appendix C)
  • builds-on: 2021-score-sde (미수록) — VE/VP diffusion 경로와 probability flow ODE를 FM의 특수 사례로 재유도 (§4.1, Appendix D)
  • builds-on: 2021-guided-diffusion (미수록) — Dhariwal & Nichol의 U-Net 구조를 거의 그대로 사용 (§6.1, Appendix E)
  • improves: 2020-ddpm — 같은 U-Net·같은 VP 경로 계열에서 DDPM(noise matching) 손실보다 NLL·FID·NFE 모두 개선 (Table 1, Appendix E.1 Eq. 44–45). DDPM의 VP 경로는 Gaussian 조건부 경로의 특수 사례로 포함됨 (§4.1 Example I)
  • improves: 2021-score-sde (미수록) — Score Matching 손실 baseline 대비 개선 (Table 1, Appendix E.1 Eq. 42–43)
  • compares-with: 2021-scoreflow (미수록) — Song et al. 2021 ScoreFlow 손실과 비교 (Table 1)
  • compares-with: 2022-sr3 (미수록) — super-resolution 비교 (Table 2)
  • compares-with: 2023-rectified-flow (미수록) — Liu et al.(2022, arXiv 2209.03003)을 “유사한 조건부 목적함수에 도달한 동시 연구”로 언급; 실험 비교는 없음 (§5)
  • built-on-by: 2024-sd3 — CFM 목적함수·marginal vector field 구성·FM⇔CFM 동치를 그대로 따라 rectified flow를 대규모 text-to-image에 확장 (SD3 논문 §2 Eq. 6–8, Appendix B.1)