내가 가져갈 핵심 한 줄

두 분포의 점을 직선으로 잇는 방향 를 회귀하기만 하면 그 직선 보간과 같은 marginal을 갖는 ODE(rectified flow)가 나오고, 그 ODE가 만든 쌍으로 다시 학습하는 reflow를 반복하면 경로가 곧게 펴져 Euler 1 step으로도 생성할 수 있다.

분야: generative-models · 핵심 개념: rectified-flow, flow-matching, diffusion-model, prediction-target

원문 범위·표기

읽은 PDF는 arXiv v1(2022-09, 40쪽, 부록 포함)이다. 게재처는 ICLR 2023. 쪽 번호 p.N은 PDF 물리 페이지(= arXiv 인쇄 쪽). 시간 규약: (노이즈 또는 원본 도메인), (데이터), → 노이즈, 데이터 (2023-flow-matching과 같고 2024-sd3와 반대).

문제·동기

  • 생성 모델링(노이즈 → 데이터)과 도메인 전이(이미지 → 이미지)는 모두 “두 경험적 분포 사이의 transport map 를 찾는” 같은 문제다 (§1, p.2 “The Transport Mapping Problem”).
  • GAN은 minimax 학습이 불안정하고 mode collapse가 있으며, MLE 계열(VAE, normalizing flow)은 likelihood 계산 때문에 구조 제약·근사가 필요하다 (§1, p.2).
  • ODE/SDE 기반 연속시간 모델(score-based, DDPM, PF-ODE, DDIM)은 학습은 안정적이지만 추론 시 수치 solver로 신경망을 여러 번 호출해야 해 느리고, 설계 공간이 복잡하다 (§1, p.2).
  • 최적수송(OT)은 생성·전이를 통일하지만 고차원·대용량에서 느리고, transport cost가 실제 성능과 꼭 맞지도 않는다 (§1, p.2).

핵심 아이디어·방법

1. Rectified flow — 직선 방향의 최소제곱 회귀 (§2.1, Eq. 1, Algorithm 1)

  • 결합(coupling) 이 주어지면 ODE 의 drift를 다음 최소제곱으로 학습한다 (§2.1, Eq. 1):
  • 직선 보간 는 을 미리 알아야 하는 non-causal 과정이지만, 를 에 회귀시키면 미래를 보지 않고 시뮬레이션 가능한 ODE로 causalize된다 (§2.1, p.4).
  • 최적해는 — 를 지나는 직선들의 평균 방향 (§2.2, Eq. 2, p.6).
  • 학습은 , 추가 파라미터 없는 표준 회귀. 샘플링은 에서 정방향, 또는 에서 역방향 ODE (Algorithm 1, p.6; §2.1, p.5). 목적함수는 교환과 부호 반전에 대해 대칭 (§2.1, p.5).

2. 경로는 교차하지 않는다 → “재배선(rewiring)” (§2.1, Fig. 2)

  • 해가 유일한 ODE의 궤적은 서로 교차할 수 없다. 직선 보간 경로는 교차하지만, rectified flow는 교차점에서 궤적을 재배선해 같은 밀도 지도를 따라가면서 결정론적 쌍 을 새로 만든다 (§2.1, p.5, Fig. 2).

Figure 2. (a) 독립 결합 의 직선 보간은 경로가 X자로 교차한다. (b) 그로부터 유도된 rectified flow 는 교차점에서 궤적을 바꿔 타 교차하지 않는다. (c) 의 끝점 쌍 을 다시 직선으로 이으면 교차가 없고, (d) 그 쌍으로 다시 만든 rectified flow는 직선 경로를 따른다 — 출처: Liu et al., 2023, Fig. 2 (arXiv)

3. 이론적 성질 (§2.2, §3)

  • Marginal 보존: 모든 에서 → 은 의 유효한 결합. continuity equation의 해 유일성으로 증명 (Theorem 3.3, §3.1, p.13). 직선이 아닌 보간에도 성립 (§3.1).
  • Transport cost 감소: 모든 볼록 비용 에 대해 — Jensen 부등식 두 번으로 증명 (Theorem 3.5, §3.2, p.13–14). 특정 를 겨냥하지 않고 모든 볼록 비용에 대한 Pareto 감소 (§2.2, p.6).
  • Straightness: (Eq. 3). 이면 Euler 1 step 이 정확 (§2.2, p.7).
  • Reflow 수렴: 를 반복하면 , 즉 (Theorem 3.7, §3.3, p.15).
  • Straight ≠ optimal: -optimal 결합이면 straight이지만 역은 성립하지 않는다(1차원만 예외: straight = 유일한 monotonic 결합, 모든 볼록 비용에 최적) (Theorem 3.8, Lemma 3.9, Theorem 3.10, §3.4, p.15–16). 를 gradient field로 제한하면 OT를 얻는다는 후속 연구 언급 (§3.4, p.17).
  • 직선 경로 ODE의 velocity는 inviscid Burgers 방정식 을 만족해야 해서, 흐름을 곧게 만드는 것 자체가 비자명하다 (§2.2, p.7).

4. Reflow·Distillation (§2.2, Fig. 3, Algorithm 1)

  • Reflow: 학습된 flow로 쌍을 생성해 그것으로 새 rectified flow를 학습. transport cost를 줄이면서 경로를 곧게 편다. 추정 오차가 쌓이므로 reflow를 너무 많이 하는 것은 권하지 않는다 (§2.2, p.8).
  • Distillation: 마지막에 을 에 맞추는 1-step 모델로 증류. Distillation은 쌍을 충실히 근사하는 것이고 rectification은 다른(더 나은) 결합을 만드는 것이라 구분해야 하며, 증류는 마지막 단계에만 쓴다 (§2.2, p.8).

Figure 3. (a)–(c) toy 예제에서 1-rectified flow → reflow 2회로 갈수록 궤적(초록·파랑)이 곧게 펴진다. (d) reflow step에 따른 straightness(파랑)는 1회 reflow 후 거의 0으로, 상대 transport cost(초록)는 첫 단계에서 크게 줄고 이후 완만히 감소 — 출처: Liu et al., 2023, Fig. 3 (arXiv)

5. 비선형 확장과 PF-ODE·DDIM (§2.3, §3.5)

  • 직선 대신 임의의 미분가능 보간 에 대해 를 가중 손실 로 학습 (Eq. 6). marginal 보존은 유지되지만 transport cost 감소·straightening 보장은 사라진다 (§2.3, p.9).
  • PF-ODE(VE·VP·sub-VP)와 DDIM은 인 비선형 rectified flow의 특수 사례 (Proposition 3.11, §3.5, p.17–18). VP ODE는 DDIM의 연속시간 극한 (§2.3.1, p.10).
  • (sub-)VP ODE는 등으로 경로가 곡선이라 reflow로도 펴지지 않고, 지수형 때문에 초반에 느리고 에 갱신이 몰리는 비균일 속도 문제가 있다 (§2.3.1, p.11, Fig. 4–5). → 저자 권고: 기본은 선형 보간 , ·보간 선택은 서로 독립적으로 자유롭게 (§2.3.1, p.12).

6. 도메인 전이용 손실 (§5.3, Eq. 20)

  • 스타일 특징 (두 도메인을 구분하도록 fine-tune한 분류기의 latent)를 두고, 로 학습해 객체 정체성은 유지하고 스타일만 옮기게 한다 (§5.3, Eq. 20, p.27).
  • 적대적 학습·cycle-consistency 정규화 없이, ODE 가역성으로 cycle consistency가 자동으로 성립 (§5.3, p.25).

주요 결과

CIFAR-10 무조건 생성 (Table 1, p.24 — DDPM++ U-Net 동일 구조)

설정방법NFEFID ↓Recall ↑출처
Euler 1 step1-Rectified Flow (+Distill)1378 (6.18)0.0 (0.45)Table 1(a)
Euler 1 step2-Rectified Flow (+Distill)112.21 (4.85)0.34 (0.50)Table 1(a)
Euler 1 step3-Rectified Flow (+Distill)18.15 (5.21)0.41 (0.51)Table 1(a)
Euler 1 stepVP ODE (+Distill)1451 (16.23)0.0 (0.29)Table 1(a)
Euler 1 stepsub-VP ODE (+Distill)1451 (14.32)0.0 (0.35)Table 1(a)
RK451-Rectified Flow1272.580.57Table 1(a)
RK452-Rectified Flow1103.360.54Table 1(a)
RK453-Rectified Flow1043.960.53Table 1(a)
RK45VP ODE1403.930.51Table 1(a)
RK45sub-VP ODE1463.160.55Table 1(a)
SDE EulerVP SDE20002.550.58Table 1(a)
참고TDPM (T=1), U-Net 1-step GAN 계열18.910.46Table 1(b)
참고StyleGAN2 + ADA12.920.49Table 1(b)
참고DDPM10003.210.57Table 1(b)
  • RK45로 끝까지 풀면 1-rectified flow가 ODE 방법 중 FID 최저·recall 최고이며 NFE도 VP/sub-VP ODE보다 적다 (§5.2, p.23–24, Table 1(a)).
  • reflow는 적은 step 영역(N ≲ 80)에서 FID·recall을 크게 개선하지만, 많은 step 영역에서는 추정 오차 누적으로 오히려 나빠진다 (§5.2, p.24, Fig. 8a; RK45 FID 2.58 → 3.36 → 3.96).
  • 증류한 2-rectified flow의 1-step FID 4.85는 U-Net 구조 1-step 모델 최고(TDPM 8.91)를 넘고, 2·3-rectified flow의 recall(0.50, 0.51)은 GAN 최고(StyleGAN2+ADA 0.49)보다 높다 (§5.2, p.25).
  • 1-rectified flow는 에서 이미 알아볼 만한 외삽 이미지 를 내지만 sub-VP ODE는 이 필요하다; 2-rectified flow의 은 에 거의 무관(= 거의 직선) (§5.2, p.25, Fig. 10).
  • 256² LSUN Bedroom·Church, CelebA-HQ, AFHQ Cat에서도 고품질 생성 (§5.2, Fig. 11).

도메인 적응 (Table 2, p.29) — 사전학습 모델 latent에서 1-rectified flow, Euler 100 step

데이터셋ERMDeep CORALOurs출처
OfficeHome66.5 ± 0.368.7 ± 0.369.2 ± 0.5Table 2
DomainNet40.9 ± 0.141.5 ± 0.241.4 ± 0.1Table 2
  • 저자는 “SOTA, 최고 기존 방법(Deep CORAL)과 대등 이상”이라 서술 (§5.4, p.29). DomainNet에서는 CORAL이 0.1 높다 (Table 2).
  • 이미지 변환(AFHQ·MetFace·CelebA-HQ, 512²): 고양이→야생동물에서 여우·사자·호랑이 등 다양한 결과, 2-rectified flow는 N=1에서도 양호 (§5.3, Fig. 13–14) — 정량 지표는 없음.

한계

  • reflow의 trade-off: reflow마다 생성한 쌍(CIFAR-10에서 400만 쌍, 300k step fine-tune)을 다시 학습해야 해 비용이 들고 (Appendix A, p.37), 많은 step 영역의 품질은 오히려 떨어진다 (Table 1(a), Fig. 8a). 저자도 많은 reflow를 권하지 않는다 (§2.2, p.8).
  • 1-step 최고 수치(4.85)는 distillation 결과이며, 증류에는 L2 대신 LPIPS(사전학습 네트워크 기반 perceptual loss)를 썼다 (Appendix A, p.37) — (해석) “추가 파라미터 없는 단순 회귀”라는 주장과 별개로 1-step 성능에는 외부 사전학습 모델이 개입한다.
  • straight 결합은 특정 비용에 대해 최적이 아니다(고차원). OT를 원하면 절차를 수정해야 함 (§3.4, p.16).
  • 이론은 (1)을 정확히 풀고 ODE 해가 유일하다는 가정(rectifiable) 위에 있다. 에 밀도가 없으면 가 정의되지 않거나 불연속일 수 있어 Gaussian 노이즈 평활화가 필요 (§2.2, p.8).
  • 실험은 CIFAR-10·256² 무조건 생성과 소규모 변환·적응에 한정되고, 이미지 변환은 정성 결과뿐이다 (§5.2–5.4) (해석). 대규모 조건부(text-to-image) 검증은 이후 2024-sd3가 수행 (해석).
  • (해석) uniform 학습을 기본으로 하는데, 이후 2024-sd3는 uniform RF가 LDM-Linear보다 못하고(rank 5.67 vs 2.88) logit-normal 샘플링이 필요함을 보였다 (SD3 Table 1).

내 연구와의 연결

  • (해석) 의료 영상 도메인 전이: 같은 알고리즘에서 를 다른 도메인(예: 다른 병원·스캐너·모달리티)으로 바꾸기만 하면 unpaired 변환이 되고, ODE 가역성으로 cycle consistency가 공짜로 따라온다 (§5.3). CycleGAN 대체 후보로, 특징 가중 손실(Eq. 20)의 를 해부학 구조 분할 네트워크로 바꾸면 구조 보존형 변환을 설계할 수 있을 듯.
  • (해석) feature-space 도메인 적응: 사전학습 모델의 latent에서 rectified flow로 테스트 도메인을 학습 도메인으로 옮기는 방식(§5.4)은 가볍고 모델 재학습이 필요 없어, 의료 AI의 site shift 대응 실험에 바로 쓸 수 있다.
  • (해석) 로보틱스 정책: 1-step 추론이 가능한 직선 flow는 실시간 제어가 필요한 flow 기반 action 생성에서 지연 시간을 줄이는 근거가 된다.

관련 논문

  • builds-on: 2021-score-sde (미수록) — Song et al.의 오픈소스 코드와 DDPM++ U-Net, RK45 설정을 그대로 사용 (§5.2, p.23; Appendix A)
  • improves: 2021-score-sde (미수록) — 같은 DDPM++ 구조에서 1-step FID: VP ODE 451 → 2-RF 12.21 (증류 16.23 → 4.85), RK45 FID: VP ODE 3.93 / sub-VP 3.16 → 1-RF 2.58 (Table 1(a))
  • compares-with: 2020-ddpm — DDPM(VP SDE)을 비선형 rectified flow의 특수 사례로 해석하고 (Proposition 3.11, §3.5), CIFAR-10 FID 3.21(NFE 1000)과 비교 (Table 1(b))
  • compares-with: 2021-ddim (미수록) — VP ODE = DDIM의 연속시간 극한, 곡선·비균일 속도 경로 문제를 지적 (§2.3.1, Fig. 4–5)
  • compares-with: 2023-flow-matching — 같은 시기 독립적으로 유사한 조건부 회귀 목적함수에 도달 (관계는 FM 논문 §5 근거; 이 논문 v1은 FM을 인용하지 않음)
  • built-on-by: 2024-sd3 — 직선 forward process와 uniform-timestep RF를 출발점으로, logit-normal 샘플링을 더해 8B text-to-image로 스케일링 (SD3 논문 §3, §3.1)
  • built-on-by: 2026-jit — 선형 schedule , velocity , v-loss와 ODE 샘플링을 그대로 쓰되 네트워크는 를 직접 예측 (JiT 논문 §3.1, Eq. 1–4, §4.3)