내가 가져갈 핵심 한 줄

Rectified flow(직선 경로) + 중간 timestep을 더 자주 뽑는 logit-normal 샘플링 + 텍스트/이미지 별도 가중치에 joint attention을 쓰는 MM-DiT를 8B까지 스케일하면, validation loss가 예측 가능하게 줄고 그 loss가 GenEval·사람 선호도와 강하게 상관된다 — Stable Diffusion 3의 기반 논문.

분야: generative-models · computer-vision · 핵심 개념: rectified-flow, flow-matching, diffusion-model, latent-diffusion-model, text-to-image-generation, classifier-free-guidance

문제·동기

  • Diffusion model은 고해상도 이미지·비디오 생성의 사실상 표준이 됐지만, 반복 샘플링으로 인한 계산 비용·긴 추론 시간이 문제다 (§1).
  • forward path(data→noise) 선택이 샘플링 효율에 직접 영향을 준다: 곡선 경로는 많은 적분 step이 필요하고, 직선 경로는 이론상 한 step으로도 시뮬레이션 가능하며 오차 누적이 적다 (§1).
  • rectified-flow는 data와 noise를 직선으로 잇고 이론적 성질이 좋지만, 아직 실무 표준으로 자리잡지 못했고 장점은 주로 소·중규모 class-conditional 실험에서만 보였다 (§1, Appendix A).
  • 기존 text-to-image의 “고정된 텍스트 표현을 cross-attention으로 주입”하는 방식이 이상적이지 않다고 본다 (§1).
  • text-to-image diffusion에서 transformer backbone의 scaling law는 탐구되지 않았다 (Appendix A, “Scaling Diffusion Models”).

핵심 아이디어·방법

1. Simulation-free flow 학습의 통합 표기 (§2)

  • noise 에서 data 로 가는 ODE 를 학습한다 (Eq. 1).
  • 일반 forward process (Eq. 2). flow-matching 목적함수 은 marginal vector field 때문에 intractable하지만, Conditional Flow Matching 은 동치이면서 tractable하다 (Eq. 7–8, Appendix B.1에서 2023-flow-matching을 따라 동치성 증명, Eq. 27–33).
  • SNR 를 이용해 CFM을 noise-prediction 형태로 바꾸고 (Eq. 10–12), Kingma & Gao (2023)를 따라 모든 formulation을 가중치 만 다른 하나의 형태로 통일한다 (§2):
  • time-dependent weighting은 최적해를 바꾸지 않고 최적화 궤적만 바꾼다 (§2).

2. 비교한 flow trajectory (§3)

  • Rectified Flow (RF): (Eq. 13), 사용 → , 네트워크가 velocity 를 직접 출력 ([2023-rectified-flow], Albergo & Vanden-Eijnden 2022, 2023-flow-matching 인용) (§3).
  • EDM: , , F-prediction (Eq. 14–16) ([2022-edm]).
  • Cosine: (Eq. 17); ε-parameterization이면 , v-prediction이면 (§3) ([2021-improved-ddpm]).
  • (LDM-)Linear: 2022-ldm의 schedule은 2020-ddpm schedule의 변형. 둘 다 variance preserving (); DDPM은 를 선형, LDM은 를 선형 보간 (§3, p.4).

3. RF용 timestep 샘플러 (§3.1) — 논문의 핵심 제안

  • RF 손실은 의 모든 timestep을 균등하게 학습하지만, velocity 타깃 는 가 중간일 때 가장 어렵다 (양 끝에서는 최적 예측이 각 분포의 평균) (§3.1).
  • timestep 분포를 로 바꾸는 것은 가중 손실 와 동치 (Eq. 18) → 중간 timestep을 더 자주 샘플링.
  • Logit-Normal: (Eq. 19). 를 뽑아 logistic 함수로 매핑. 이면 data 쪽, 이면 noise 쪽으로 편향 (§3.1, Fig. 8).
  • Mode sampling with heavy tails: (Eq. 20). 양 끝점에서도 밀도가 양수. 이면 uniform (기존 RF 관행) (§3.1).
  • CosMap: cosine schedule과 log-SNR이 같도록 (Eq. 21–22).

4. MM-DiT 아키텍처 (§4, Fig. 2)

  • 2022-ldm처럼 pretrained autoencoder의 latent 공간에서 학습하고, 텍스트는 frozen pretrained text encoder로 인코딩 (§4, Appendix B.2).
  • 텍스트 인코더 3개: CLIP L/14 + OpenCLIP bigG/14 + T5-v1.1-XXL. pooled 출력(768+1280) concat → ; CLIP penultimate hidden을 concat해 → 4096으로 zero-pad 후 T5의 와 시퀀스 축으로 concat → (Appendix B.2, Fig. 2a).
  • [2023-dit]를 기반으로, timestep 와 임베딩은 modulation(adaLN 계열)에 입력. latent는 2×2 patch로 flatten + positional encoding (§4).
  • 텍스트·이미지 토큰 시퀀스를 concat하되 modality별로 별도 가중치 세트를 사용 → “두 개의 독립 transformer인데 attention 연산에서만 시퀀스를 합치는 것”과 같음 (joint attention, 양방향 정보 흐름) (§4, Fig. 2b).
  • 크기는 depth 하나로 파라미터화: hidden size , MLP , attention head 수 (§4).
  • 고해상도 fine-tuning 시 mixed precision에서 attention logit 폭주로 loss가 발산 → Q, K에 learnable RMSNorm (QK-normalization)을 넣어 bf16 학습 안정화 (Appendix C.2, Fig. 9).

5. 기타 학습 구성

  • Autoencoder latent 채널: 채널 사용 (downsampling ) (§5.2.1, Table 3, Fig. 7).
  • 캡션: CogVLM 합성 캡션 50% + 원본 50% 혼합 (§5.2.2, Table 4).
  • 해상도 의존 timestep shift: 해상도가 높을수록 신호를 지우는 데 더 많은 noise가 필요 → (Eq. 34), log-SNR이 만큼 이동 (Eq. 35–36). 1024² 학습·샘플링에 shift 사용 (Appendix C.2, Fig. 10).
  • 가변 aspect ratio: bucketed sampling + 확장·보간한 2D positional grid를 center-crop (Appendix C.2).
  • DPO: Diffusion-DPO(Wallace et al., 2023)를 rank 128 LoRA로 2B/8B 모델에 적용 (Appendix C.3).
  • 데이터: NSFW·미적 점수 필터링, SSCD 기반 cluster dedup (Appendix C.1, D). 이미지·텍스트 임베딩 사전 계산 (Appendix C.1, Table 7).

주요 결과

Formulation 비교 (§5.1) — 61개 formulation, ImageNet·CC12M

  • 24개 조건(샘플러 설정 6 × EMA 유무 × 데이터셋 2)에서 CLIP score·FID 기준 non-dominated sorting으로 순위를 매기고 평균 (§5.1.1).
variant평균 rank (전체)5 steps50 steps출처
rf/lognorm(0.00, 1.00)1.541.251.50Table 1
rf/lognorm(1.00, 0.60)2.083.502.00Table 1
rf/lognorm(0.50, 0.60)2.718.501.00Table 1
rf/mode(1.29)2.753.253.00Table 1
eps/linear (= LDM-Linear)2.884.252.75Table 1
rf/cosmap4.133.754.00Table 1
edm(0.00, 0.60)5.6313.253.25Table 1
rf (uniform)5.676.505.75Table 1
v/linear6.835.757.75Table 1
v/cos9.1712.258.75Table 1
edm(-1.20, 1.20) (EDM 원 설정)15.5820.2515.00Table 1
variant (25 steps)ImageNet CLIPImageNet FIDCC12M CLIPCC12M FID출처
rf0.24749.700.21794.90Table 2
eps/linear0.24548.420.22290.34Table 2
v/cos0.24450.740.20997.87Table 2
edm(-1.20, 1.20)0.23663.120.200116.60Table 2
rf/lognorm(0.00, 1.00)0.25045.780.22489.91Table 2
rf/mode(1.75)0.25344.390.21894.06Table 2
  • rf/lognorm(0.00, 1.00)이 uniform RF보다 일관되게 좋음 → “중간 timestep이 더 중요하다”는 가설 확인. 모든 variant 중 timestep 샘플링을 바꾼 RF만 기존 LDM-Linear(eps/linear)보다 낫다 (§5.1.1, Table 1).
  • 일부 variant는 설정에 따라 기복이 큼: rf/lognorm(0.50, 0.60)은 50 step에서 1위지만 5 step에서는 평균 rank 8.5 (§5.1.1).
  • RF 계열은 sampling step을 줄여도 성능 저하가 작다; 25 step 이상에서는 rf/lognorm(0.00, 1.00)만 eps/linear와 경쟁 (Fig. 3).

표현·아키텍처 개선 (§5.2)

Autoencoder4 chn8 chn16 chn출처
재구성 FID ↓2.411.561.06Table 3
Perceptual Similarity ↓0.850.680.45Table 3
SSIM ↑0.750.790.86Table 3
PSNR ↑25.1226.4028.62Table 3
  • 16채널 latent는 생성 모델 용량이 더 필요하지만 depth 에서 8채널과의 차이가 무시할 만해짐 → 대형 스케일을 노리고 16채널 채택 (Fig. 7, Appendix B.2).
GenEval (d=15, 250k steps)원본 캡션50/50 혼합출처
Overall43.2749.78Table 4
Color Attribution11.7524.75Table 4
Position6.5018.00Table 4
  • CC12M에서 DiT(concat) < UViT < CrossDiT < MM-DiT 순 (UViT는 초기 수렴이 빠름). 3 weight set(CLIP·T5 분리)은 2 set 대비 이득이 작아 2 set 채택 (§5.2.3, Fig. 4).

스케일링 (§5.3)

  • 이미지: 다양한 크기 모델을 256² 해상도, batch 4096, 500k step 학습. 최대 depth 38 = 8B 파라미터, 학습 FLOPs (§5.3.1, §6). depth 24 = 2B (Appendix C.3, Fig. 9 캡션).
  • validation loss가 모델 크기·학습 step에 따라 매끄럽게 감소하고, GenEval·T2I-CompBench·사람 선호도와 강하게 상관. 이미지·비디오 모두 포화 징후 없음 (§5.3.1, Fig. 5).
  • 큰 모델일수록 적은 step으로 샘플링 가능 (Table 6):
모델CLIP 감소율 5/50 steps10/5020/50path length출처
depth=154.30%0.86%0.21%191.13Table 6
depth=303.59%0.70%0.24%187.96Table 6
depth=382.71%0.14%0.08%185.96Table 6

최종 모델 vs 기존 모델 (GenEval, Table 5)

모델OverallCountingPositionColor Attr.출처
SD v1.50.430.350.040.06Table 5
PixArt-α0.480.440.080.07Table 5
SDXL0.550.390.150.23Table 5
IF-XL0.610.660.130.35Table 5
DALL-E 30.670.470.430.45Table 5
Ours depth=38, 512²0.680.660.400.43Table 5
Ours depth=38, 512² w/DPO0.710.730.340.47Table 5
Ours depth=38, 1024² w/DPO0.740.720.330.60Table 5
  • 사람 선호도 평가(Parti-prompts, pairwise): 본문은 depth=38(8B) 모델이 proprietary·open SOTA 모델보다 visual aesthetics·prompt following·typography에서 우세하다고 서술 (§5.3.1, Fig. 6). Fig. 6의 SD3 승률(%)은 다음과 같다 — 막대그래프를 확대해 눈금으로 판독한 근사값(±1–2%p), 원문에 수치 표기 없음:
비교 대상Visual AestheticsPrompt FollowingTypography출처
PixArt-α≈71≈75≈100Fig. 6
SDXL≈72≈75≈93Fig. 6
SDXL-Turbo≈71≈72≈90Fig. 6
Stable Cascade≈63≈69≈80Fig. 6
Playground-V2.5≈55≈64≈99Fig. 6
MJ-V6≈54≈60≈88Fig. 6
Ideogram-V1.0≈49≈57≈54Fig. 6
DALL-E 3≈53≈55≈67Fig. 6
Ours w/o T5≈50≈54≈62Fig. 6
  • 그래프상 Ideogram-V1.0 대비 visual aesthetics는 50% 기준선 약간 아래(≈49%)로, “모든 범주에서 우세”라는 본문 서술과 달리 이 항목은 사실상 동률 또는 근소 열세 (Fig. 6) (해석). DALL-E 3·MJ-V6 대비 aesthetics 우위도 50%대 초반으로 근소함 (Fig. 6).
  • T5 제거 시(CLIP 2개만) win rate: aesthetic 50%, prompt adherence 46%, typography 38% → T5는 긴 텍스트·복잡한 프롬프트에 주로 기여 (Appendix C.4, Fig. 13, Fig. 6).
  • DPO fine-tuning 후 2B·8B 모두 prompt following·품질에서 사람 선호도 향상 (Appendix C.3, Fig. 12).
  • 1024²에서 timestep shift > 1.5에 강한 선호, 그 이상에서는 차이가 작음 (Appendix C.2, Fig. 10).
  • SSCD dedup(threshold 0.5)으로 clique size 10 기준 memorized 예시가 5배 감소 (Appendix D, Fig. 17).

한계

  • formulation 비교(§5.1)는 ImageNet·CC12M에서의 소규모 실험이고, 평가는 CLIP score·CLIP 특징 기반 FID에 의존한다 (§5.1, Appendix B.3). 최적 variant가 step 수·지표에 따라 달라진다 (§5.1.1, Table 2).
  • 해상도 timestep shift의 유도는 “모든 픽셀이 같은 상수 이미지”라는 비현실적 가정에 기반해, 실제 값은 사람 선호도로 정했다 (Appendix C.2).
  • QK-norm은 범용 해법이 아니며 학습 설정에 따라 조정이 필요할 수 있다고 저자가 명시 (Appendix C.2).
  • RF는 optimal transport 해를 주지 않으며 궤적 곡률이 여전히 남는다 (Appendix A).
  • T5-XXL(4.7B)이 큰 VRAM을 요구 (Appendix C.4); 사전 임베딩 계산 시 epoch별 random augmentation 불가 (Appendix C.1).
  • 비디오 scaling은 예비 실험 수준 (§5.3.1). 사람 선호도 평가의 수치는 그림으로만 제공되고(위 표는 그래프 판독값) 평가자 규모 정보가 본문에 거의 없음 (Fig. 6) (해석).
  • 학습 데이터셋 자체의 구성·규모가 공개되지 않아 재현성이 제한적 (해석).

내 연구와의 연결

  • (해석) 의료 영상 생성·합성 데이터: logit-normal timestep 샘플링과 해상도 의존 timestep shift(Eq. 34)는 CT/MRI처럼 고해상도·3D 볼륨을 다루는 latent flow 모델에 그대로 이식할 만한 학습 레시피다. 특히 해상도가 바뀔 때 noise schedule을 조정하는 근거로 쓸 수 있다.
  • (해석) 멀티모달 조건부 생성 (CV·로보틱스): MM-DiT의 “modality별 별도 가중치 + joint attention” 구조는 텍스트 외에 리포트(의료), 행동·proprioception(로보틱스) 같은 다른 modality를 조건으로 넣을 때의 설계 템플릿이 된다. 실제로 동일 아이디어가 이후 robot policy용 flow 모델에도 쓰이는지 추적해볼 가치가 있다.
  • (해석) 에이전트·평가: “validation loss가 사람 선호도·벤치마크와 강하게 상관”한다는 결과(Fig. 5)는 비싼 사람 평가 없이 모델 선택을 하는 근거로, 생성 모델을 도구로 쓰는 에이전트 파이프라인의 모델 선정 기준으로 참고할 만하다.

관련 논문

  • builds-on: 2023-flow-matching — Conditional Flow Matching 목적함수와 marginal vector field 구성, FM⇔CFM 동치 증명을 그대로 따름 (§2 Eq. 6–8, Appendix B.1)
  • builds-on: 2023-rectified-flow (미수록) — 직선 forward process 와 uniform timestep RF의 출발점 (§3, §3.1)
  • builds-on: 2022-ldm — pretrained autoencoder latent 공간에서 학습하는 전체 설정, latent 정규화 (§4, §5.2.1, Appendix B.2)
  • builds-on: 2023-dit (미수록) — MM-DiT의 기반 아키텍처(modulation, 2×2 patch) (§4, §5.3.1)
  • builds-on: 2021-cfg — 학습 시 세 텍스트 인코더 출력을 각각 46.4% 확률로 0으로 drop해 약 10% 비조건 학습, 샘플링 시 guidance scale 1.0/2.5/5.0 사용 (Appendix B.3)
  • builds-on: 2020-ddpm — ε-prediction 형태의 손실 재매개화와 noise-scale 재가중 아이디어, LDM-Linear schedule의 원형 (§1, §2 Eq. 12, §3)
  • improves: 2022-ldm — formulation 비교에서 rf/lognorm(0.00, 1.00)(rank 1.54)이 LDM-Linear(eps/linear, rank 2.88)보다 우수 (Table 1, §5.1.1, Appendix B.4)
  • improves: 2022-edm (미수록) — EDM 원 설정 edm(-1.20, 1.20) rank 15.58, 최고 EDM 변형 edm(0.00, 0.60) 5.63 대비 rf/lognorm 1.54 (Table 1, Table 2)
  • improves: 2023-dit (미수록) — CC12M에서 MM-DiT가 DiT·CrossDiT·UViT보다 validation loss·CLIP·FID 모두 우수 (§5.2.3, Fig. 4)
  • improves: 2023-sdxl (미수록) — GenEval Overall 0.55 → 0.74 (Table 5), 사람 선호도 승률 ≈72/75/93% (aesthetics/prompt/typography, Fig. 6 판독값)
  • improves: 2023-dalle3 (미수록) — GenEval Overall 0.67 → 0.74 (Table 5), 사람 선호도 승률 ≈53/55/67% (Fig. 6 판독값, aesthetics 우위는 근소)
  • compares-with: 2021-improved-ddpm (미수록) — cosine schedule(eps/cos, v/cos)과 이를 RF로 옮긴 rf/cosmap을 비교 (§3, §3.1, Table 1)
  • compares-with: 2023-simple-diffusion (미수록) — UViT backbone 비교 (§5.2.3, Fig. 4), log-SNR shift 유사성 (Appendix C.2)
  • compares-with: 2023-pixart-alpha (미수록) — CrossDiT 설계 출처이자 GenEval·사람 선호도 비교 대상 (§5.2.3, Table 5, Fig. 6)