분야: generative-models

정의

데이터 와 노이즈 을 직선으로 잇는 forward process를 쓰고, 그 velocity를 회귀하는 생성모델 formulation. 원 제안은 Liu et al. 2022(2023-rectified-flow (미수록)). 위키 내 근거는 2024-sd3.

(2024-sd3 Eq. 13, §3.1) — 시간 규약: 데이터, 노이즈 (Flow Matching 논문과 반대). 통일 손실 표기에서 가중치 (2024-sd3 §3).

작동 방식 / 핵심 구성요소

  • CFM과의 관계: RF 손실은 flow-matching의 CFM 손실과 동일 (2024-sd3 §3). (해석) FM의 OT 경로에서 이면 같은 직선 보간이 됨 — FM 논문은 이를 명시하지 않고 Liu et al.을 “동시 연구”로만 언급 (2023-flow-matching §5).
  • Timestep 샘플링: uniform 는 최선이 아님. 분포 를 바꾸는 것은 가중 와 동치 (2024-sd3 Eq. 18).
    • logit-normal (Eq. 19), mode (Eq. 20), cosmap (Eq. 21–22).
    • 61개 formulation 중 rf/lognorm(0,1) 평균 rank 1.54로 1위, LDM-Linear(eps/linear) 2.88, uniform rf 5.67 (2024-sd3 Table 1).
    • 고해상도에서는 timestep을 노이즈 쪽으로 shift (, 1024²) (2024-sd3 Eq. 34, Appendix C.2, Fig. 10).
  • 곡률: RF도 OT 해가 아니어서 곡률이 남음. 큰 모델일수록 path length가 짧아 적은 step 샘플링에 유리 (2024-sd3 Appendix A, Table 6).

장단점

  • 장점: 직선 경로라 적은 step에서 유리, 수정된 timestep 샘플링과 결합 시 diffusion formulation(LDM-Linear, EDM)보다 우수 (2024-sd3 §5.1.1, Fig. 3).
  • 단점: uniform timestep RF 그대로는 LDM-Linear보다 못함 (rank 5.67 vs 2.88, 2024-sd3 Table 1).

등장·발전 논문 (연도순)

  • 2023 — 2023-rectified-flow (미수록) — 원 제안 (Liu et al., ICLR 2023)
  • 2023 — 2023-flow-matching — 동일 계열의 일반 프레임워크 (OT 경로)
  • 2024 — 2024-sd3 — logit-normal timestep 샘플링 + MM-DiT로 8B 스케일

관련 개념