내가 가져갈 핵심 한 줄
Rectified flow(직선 경로) + 중간 timestep을 더 자주 뽑는 logit-normal 샘플링 + 텍스트/이미지 별도 가중치에 joint attention을 쓰는 MM-DiT를 8B까지 스케일하면, validation loss가 예측 가능하게 줄고 그 loss가 GenEval·사람 선호도와 강하게 상관된다 — Stable Diffusion 3의 기반 논문.
분야: generative-models · computer-vision · 핵심 개념: rectified-flow, flow-matching, diffusion-model, latent-diffusion-model, text-to-image-generation, classifier-free-guidance
문제·동기
- Diffusion model은 고해상도 이미지·비디오 생성의 사실상 표준이 됐지만, 반복 샘플링으로 인한 계산 비용·긴 추론 시간이 문제다 (§1).
- forward path(data→noise) 선택이 샘플링 효율에 직접 영향을 준다: 곡선 경로는 많은 적분 step이 필요하고, 직선 경로는 이론상 한 step으로도 시뮬레이션 가능하며 오차 누적이 적다 (§1).
- rectified-flow는 data와 noise를 직선으로 잇고 이론적 성질이 좋지만, 아직 실무 표준으로 자리잡지 못했고 장점은 주로 소·중규모 class-conditional 실험에서만 보였다 (§1, Appendix A).
- 기존 text-to-image의 “고정된 텍스트 표현을 cross-attention으로 주입”하는 방식이 이상적이지 않다고 본다 (§1).
- text-to-image diffusion에서 transformer backbone의 scaling law는 탐구되지 않았다 (Appendix A, “Scaling Diffusion Models”).
핵심 아이디어·방법
1. Simulation-free flow 학습의 통합 표기 (§2)
- noise 에서 data 로 가는 ODE 를 학습한다 (Eq. 1).
- 일반 forward process (Eq. 2). flow-matching 목적함수 은 marginal vector field 때문에 intractable하지만, Conditional Flow Matching 은 동치이면서 tractable하다 (Eq. 7–8, Appendix B.1에서 2023-flow-matching을 따라 동치성 증명, Eq. 27–33).
- SNR 를 이용해 CFM을 noise-prediction 형태로 바꾸고 (Eq. 10–12), Kingma & Gao (2023)를 따라 모든 formulation을 가중치 만 다른 하나의 형태로 통일한다 (§2):
- time-dependent weighting은 최적해를 바꾸지 않고 최적화 궤적만 바꾼다 (§2).
2. 비교한 flow trajectory (§3)
- Rectified Flow (RF): (Eq. 13), 사용 → , 네트워크가 velocity 를 직접 출력 ([2023-rectified-flow], Albergo & Vanden-Eijnden 2022, 2023-flow-matching 인용) (§3).
- EDM: , , F-prediction (Eq. 14–16) ([2022-edm]).
- Cosine: (Eq. 17); ε-parameterization이면 , v-prediction이면 (§3) ([2021-improved-ddpm]).
- (LDM-)Linear: 2022-ldm의 schedule은 2020-ddpm schedule의 변형. 둘 다 variance preserving (); DDPM은 를 선형, LDM은 를 선형 보간 (§3, p.4).
3. RF용 timestep 샘플러 (§3.1) — 논문의 핵심 제안
- RF 손실은 의 모든 timestep을 균등하게 학습하지만, velocity 타깃 는 가 중간일 때 가장 어렵다 (양 끝에서는 최적 예측이 각 분포의 평균) (§3.1).
- timestep 분포를 로 바꾸는 것은 가중 손실 와 동치 (Eq. 18) → 중간 timestep을 더 자주 샘플링.
- Logit-Normal: (Eq. 19). 를 뽑아 logistic 함수로 매핑. 이면 data 쪽, 이면 noise 쪽으로 편향 (§3.1, Fig. 8).
- Mode sampling with heavy tails: (Eq. 20). 양 끝점에서도 밀도가 양수. 이면 uniform (기존 RF 관행) (§3.1).
- CosMap: cosine schedule과 log-SNR이 같도록 (Eq. 21–22).
4. MM-DiT 아키텍처 (§4, Fig. 2)
- 2022-ldm처럼 pretrained autoencoder의 latent 공간에서 학습하고, 텍스트는 frozen pretrained text encoder로 인코딩 (§4, Appendix B.2).
- 텍스트 인코더 3개: CLIP L/14 + OpenCLIP bigG/14 + T5-v1.1-XXL. pooled 출력(768+1280) concat → ; CLIP penultimate hidden을 concat해 → 4096으로 zero-pad 후 T5의 와 시퀀스 축으로 concat → (Appendix B.2, Fig. 2a).
- [2023-dit]를 기반으로, timestep 와 임베딩은 modulation(adaLN 계열)에 입력. latent는 2×2 patch로 flatten + positional encoding (§4).
- 텍스트·이미지 토큰 시퀀스를 concat하되 modality별로 별도 가중치 세트를 사용 → “두 개의 독립 transformer인데 attention 연산에서만 시퀀스를 합치는 것”과 같음 (joint attention, 양방향 정보 흐름) (§4, Fig. 2b).
- 크기는 depth 하나로 파라미터화: hidden size , MLP , attention head 수 (§4).
- 고해상도 fine-tuning 시 mixed precision에서 attention logit 폭주로 loss가 발산 → Q, K에 learnable RMSNorm (QK-normalization)을 넣어 bf16 학습 안정화 (Appendix C.2, Fig. 9).
5. 기타 학습 구성
- Autoencoder latent 채널: 채널 사용 (downsampling ) (§5.2.1, Table 3, Fig. 7).
- 캡션: CogVLM 합성 캡션 50% + 원본 50% 혼합 (§5.2.2, Table 4).
- 해상도 의존 timestep shift: 해상도가 높을수록 신호를 지우는 데 더 많은 noise가 필요 → (Eq. 34), log-SNR이 만큼 이동 (Eq. 35–36). 1024² 학습·샘플링에 shift 사용 (Appendix C.2, Fig. 10).
- 가변 aspect ratio: bucketed sampling + 확장·보간한 2D positional grid를 center-crop (Appendix C.2).
- DPO: Diffusion-DPO(Wallace et al., 2023)를 rank 128 LoRA로 2B/8B 모델에 적용 (Appendix C.3).
- 데이터: NSFW·미적 점수 필터링, SSCD 기반 cluster dedup (Appendix C.1, D). 이미지·텍스트 임베딩 사전 계산 (Appendix C.1, Table 7).
주요 결과
Formulation 비교 (§5.1) — 61개 formulation, ImageNet·CC12M
- 24개 조건(샘플러 설정 6 × EMA 유무 × 데이터셋 2)에서 CLIP score·FID 기준 non-dominated sorting으로 순위를 매기고 평균 (§5.1.1).
| variant | 평균 rank (전체) | 5 steps | 50 steps | 출처 |
|---|---|---|---|---|
| rf/lognorm(0.00, 1.00) | 1.54 | 1.25 | 1.50 | Table 1 |
| rf/lognorm(1.00, 0.60) | 2.08 | 3.50 | 2.00 | Table 1 |
| rf/lognorm(0.50, 0.60) | 2.71 | 8.50 | 1.00 | Table 1 |
| rf/mode(1.29) | 2.75 | 3.25 | 3.00 | Table 1 |
| eps/linear (= LDM-Linear) | 2.88 | 4.25 | 2.75 | Table 1 |
| rf/cosmap | 4.13 | 3.75 | 4.00 | Table 1 |
| edm(0.00, 0.60) | 5.63 | 13.25 | 3.25 | Table 1 |
| rf (uniform) | 5.67 | 6.50 | 5.75 | Table 1 |
| v/linear | 6.83 | 5.75 | 7.75 | Table 1 |
| v/cos | 9.17 | 12.25 | 8.75 | Table 1 |
| edm(-1.20, 1.20) (EDM 원 설정) | 15.58 | 20.25 | 15.00 | Table 1 |
| variant (25 steps) | ImageNet CLIP | ImageNet FID | CC12M CLIP | CC12M FID | 출처 |
|---|---|---|---|---|---|
| rf | 0.247 | 49.70 | 0.217 | 94.90 | Table 2 |
| eps/linear | 0.245 | 48.42 | 0.222 | 90.34 | Table 2 |
| v/cos | 0.244 | 50.74 | 0.209 | 97.87 | Table 2 |
| edm(-1.20, 1.20) | 0.236 | 63.12 | 0.200 | 116.60 | Table 2 |
| rf/lognorm(0.00, 1.00) | 0.250 | 45.78 | 0.224 | 89.91 | Table 2 |
| rf/mode(1.75) | 0.253 | 44.39 | 0.218 | 94.06 | Table 2 |
- rf/lognorm(0.00, 1.00)이 uniform RF보다 일관되게 좋음 → “중간 timestep이 더 중요하다”는 가설 확인. 모든 variant 중 timestep 샘플링을 바꾼 RF만 기존 LDM-Linear(eps/linear)보다 낫다 (§5.1.1, Table 1).
- 일부 variant는 설정에 따라 기복이 큼: rf/lognorm(0.50, 0.60)은 50 step에서 1위지만 5 step에서는 평균 rank 8.5 (§5.1.1).
- RF 계열은 sampling step을 줄여도 성능 저하가 작다; 25 step 이상에서는 rf/lognorm(0.00, 1.00)만 eps/linear와 경쟁 (Fig. 3).
표현·아키텍처 개선 (§5.2)
| Autoencoder | 4 chn | 8 chn | 16 chn | 출처 |
|---|---|---|---|---|
| 재구성 FID ↓ | 2.41 | 1.56 | 1.06 | Table 3 |
| Perceptual Similarity ↓ | 0.85 | 0.68 | 0.45 | Table 3 |
| SSIM ↑ | 0.75 | 0.79 | 0.86 | Table 3 |
| PSNR ↑ | 25.12 | 26.40 | 28.62 | Table 3 |
- 16채널 latent는 생성 모델 용량이 더 필요하지만 depth 에서 8채널과의 차이가 무시할 만해짐 → 대형 스케일을 노리고 16채널 채택 (Fig. 7, Appendix B.2).
| GenEval (d=15, 250k steps) | 원본 캡션 | 50/50 혼합 | 출처 |
|---|---|---|---|
| Overall | 43.27 | 49.78 | Table 4 |
| Color Attribution | 11.75 | 24.75 | Table 4 |
| Position | 6.50 | 18.00 | Table 4 |
- CC12M에서 DiT(concat) < UViT < CrossDiT < MM-DiT 순 (UViT는 초기 수렴이 빠름). 3 weight set(CLIP·T5 분리)은 2 set 대비 이득이 작아 2 set 채택 (§5.2.3, Fig. 4).
스케일링 (§5.3)
- 이미지: 다양한 크기 모델을 256² 해상도, batch 4096, 500k step 학습. 최대 depth 38 = 8B 파라미터, 학습 FLOPs (§5.3.1, §6). depth 24 = 2B (Appendix C.3, Fig. 9 캡션).
- validation loss가 모델 크기·학습 step에 따라 매끄럽게 감소하고, GenEval·T2I-CompBench·사람 선호도와 강하게 상관. 이미지·비디오 모두 포화 징후 없음 (§5.3.1, Fig. 5).
- 큰 모델일수록 적은 step으로 샘플링 가능 (Table 6):
| 모델 | CLIP 감소율 5/50 steps | 10/50 | 20/50 | path length | 출처 |
|---|---|---|---|---|---|
| depth=15 | 4.30% | 0.86% | 0.21% | 191.13 | Table 6 |
| depth=30 | 3.59% | 0.70% | 0.24% | 187.96 | Table 6 |
| depth=38 | 2.71% | 0.14% | 0.08% | 185.96 | Table 6 |
최종 모델 vs 기존 모델 (GenEval, Table 5)
| 모델 | Overall | Counting | Position | Color Attr. | 출처 |
|---|---|---|---|---|---|
| SD v1.5 | 0.43 | 0.35 | 0.04 | 0.06 | Table 5 |
| PixArt-α | 0.48 | 0.44 | 0.08 | 0.07 | Table 5 |
| SDXL | 0.55 | 0.39 | 0.15 | 0.23 | Table 5 |
| IF-XL | 0.61 | 0.66 | 0.13 | 0.35 | Table 5 |
| DALL-E 3 | 0.67 | 0.47 | 0.43 | 0.45 | Table 5 |
| Ours depth=38, 512² | 0.68 | 0.66 | 0.40 | 0.43 | Table 5 |
| Ours depth=38, 512² w/DPO | 0.71 | 0.73 | 0.34 | 0.47 | Table 5 |
| Ours depth=38, 1024² w/DPO | 0.74 | 0.72 | 0.33 | 0.60 | Table 5 |
- 사람 선호도 평가(Parti-prompts, pairwise): 본문은 depth=38(8B) 모델이 proprietary·open SOTA 모델보다 visual aesthetics·prompt following·typography에서 우세하다고 서술 (§5.3.1, Fig. 6). Fig. 6의 SD3 승률(%)은 다음과 같다 — 막대그래프를 확대해 눈금으로 판독한 근사값(±1–2%p), 원문에 수치 표기 없음:
| 비교 대상 | Visual Aesthetics | Prompt Following | Typography | 출처 |
|---|---|---|---|---|
| PixArt-α | ≈71 | ≈75 | ≈100 | Fig. 6 |
| SDXL | ≈72 | ≈75 | ≈93 | Fig. 6 |
| SDXL-Turbo | ≈71 | ≈72 | ≈90 | Fig. 6 |
| Stable Cascade | ≈63 | ≈69 | ≈80 | Fig. 6 |
| Playground-V2.5 | ≈55 | ≈64 | ≈99 | Fig. 6 |
| MJ-V6 | ≈54 | ≈60 | ≈88 | Fig. 6 |
| Ideogram-V1.0 | ≈49 | ≈57 | ≈54 | Fig. 6 |
| DALL-E 3 | ≈53 | ≈55 | ≈67 | Fig. 6 |
| Ours w/o T5 | ≈50 | ≈54 | ≈62 | Fig. 6 |
- 그래프상 Ideogram-V1.0 대비 visual aesthetics는 50% 기준선 약간 아래(≈49%)로, “모든 범주에서 우세”라는 본문 서술과 달리 이 항목은 사실상 동률 또는 근소 열세 (Fig. 6) (해석). DALL-E 3·MJ-V6 대비 aesthetics 우위도 50%대 초반으로 근소함 (Fig. 6).
- T5 제거 시(CLIP 2개만) win rate: aesthetic 50%, prompt adherence 46%, typography 38% → T5는 긴 텍스트·복잡한 프롬프트에 주로 기여 (Appendix C.4, Fig. 13, Fig. 6).
- DPO fine-tuning 후 2B·8B 모두 prompt following·품질에서 사람 선호도 향상 (Appendix C.3, Fig. 12).
- 1024²에서 timestep shift > 1.5에 강한 선호, 그 이상에서는 차이가 작음 (Appendix C.2, Fig. 10).
- SSCD dedup(threshold 0.5)으로 clique size 10 기준 memorized 예시가 5배 감소 (Appendix D, Fig. 17).
한계
- formulation 비교(§5.1)는 ImageNet·CC12M에서의 소규모 실험이고, 평가는 CLIP score·CLIP 특징 기반 FID에 의존한다 (§5.1, Appendix B.3). 최적 variant가 step 수·지표에 따라 달라진다 (§5.1.1, Table 2).
- 해상도 timestep shift의 유도는 “모든 픽셀이 같은 상수 이미지”라는 비현실적 가정에 기반해, 실제 값은 사람 선호도로 정했다 (Appendix C.2).
- QK-norm은 범용 해법이 아니며 학습 설정에 따라 조정이 필요할 수 있다고 저자가 명시 (Appendix C.2).
- RF는 optimal transport 해를 주지 않으며 궤적 곡률이 여전히 남는다 (Appendix A).
- T5-XXL(4.7B)이 큰 VRAM을 요구 (Appendix C.4); 사전 임베딩 계산 시 epoch별 random augmentation 불가 (Appendix C.1).
- 비디오 scaling은 예비 실험 수준 (§5.3.1). 사람 선호도 평가의 수치는 그림으로만 제공되고(위 표는 그래프 판독값) 평가자 규모 정보가 본문에 거의 없음 (Fig. 6) (해석).
- 학습 데이터셋 자체의 구성·규모가 공개되지 않아 재현성이 제한적 (해석).
내 연구와의 연결
- (해석) 의료 영상 생성·합성 데이터: logit-normal timestep 샘플링과 해상도 의존 timestep shift(Eq. 34)는 CT/MRI처럼 고해상도·3D 볼륨을 다루는 latent flow 모델에 그대로 이식할 만한 학습 레시피다. 특히 해상도가 바뀔 때 noise schedule을 조정하는 근거로 쓸 수 있다.
- (해석) 멀티모달 조건부 생성 (CV·로보틱스): MM-DiT의 “modality별 별도 가중치 + joint attention” 구조는 텍스트 외에 리포트(의료), 행동·proprioception(로보틱스) 같은 다른 modality를 조건으로 넣을 때의 설계 템플릿이 된다. 실제로 동일 아이디어가 이후 robot policy용 flow 모델에도 쓰이는지 추적해볼 가치가 있다.
- (해석) 에이전트·평가: “validation loss가 사람 선호도·벤치마크와 강하게 상관”한다는 결과(Fig. 5)는 비싼 사람 평가 없이 모델 선택을 하는 근거로, 생성 모델을 도구로 쓰는 에이전트 파이프라인의 모델 선정 기준으로 참고할 만하다.
관련 논문
- builds-on: 2023-flow-matching — Conditional Flow Matching 목적함수와 marginal vector field 구성, FM⇔CFM 동치 증명을 그대로 따름 (§2 Eq. 6–8, Appendix B.1)
- builds-on: 2023-rectified-flow (미수록) — 직선 forward process 와 uniform timestep RF의 출발점 (§3, §3.1)
- builds-on: 2022-ldm — pretrained autoencoder latent 공간에서 학습하는 전체 설정, latent 정규화 (§4, §5.2.1, Appendix B.2)
- builds-on: 2023-dit (미수록) — MM-DiT의 기반 아키텍처(modulation, 2×2 patch) (§4, §5.3.1)
- builds-on: 2021-cfg — 학습 시 세 텍스트 인코더 출력을 각각 46.4% 확률로 0으로 drop해 약 10% 비조건 학습, 샘플링 시 guidance scale 1.0/2.5/5.0 사용 (Appendix B.3)
- builds-on: 2020-ddpm — ε-prediction 형태의 손실 재매개화와 noise-scale 재가중 아이디어, LDM-Linear schedule의 원형 (§1, §2 Eq. 12, §3)
- improves: 2022-ldm — formulation 비교에서 rf/lognorm(0.00, 1.00)(rank 1.54)이 LDM-Linear(eps/linear, rank 2.88)보다 우수 (Table 1, §5.1.1, Appendix B.4)
- improves: 2022-edm (미수록) — EDM 원 설정 edm(-1.20, 1.20) rank 15.58, 최고 EDM 변형 edm(0.00, 0.60) 5.63 대비 rf/lognorm 1.54 (Table 1, Table 2)
- improves: 2023-dit (미수록) — CC12M에서 MM-DiT가 DiT·CrossDiT·UViT보다 validation loss·CLIP·FID 모두 우수 (§5.2.3, Fig. 4)
- improves: 2023-sdxl (미수록) — GenEval Overall 0.55 → 0.74 (Table 5), 사람 선호도 승률 ≈72/75/93% (aesthetics/prompt/typography, Fig. 6 판독값)
- improves: 2023-dalle3 (미수록) — GenEval Overall 0.67 → 0.74 (Table 5), 사람 선호도 승률 ≈53/55/67% (Fig. 6 판독값, aesthetics 우위는 근소)
- compares-with: 2021-improved-ddpm (미수록) — cosine schedule(eps/cos, v/cos)과 이를 RF로 옮긴 rf/cosmap을 비교 (§3, §3.1, Table 1)
- compares-with: 2023-simple-diffusion (미수록) — UViT backbone 비교 (§5.2.3, Fig. 4), log-SNR shift 유사성 (Appendix C.2)
- compares-with: 2023-pixart-alpha (미수록) — CrossDiT 설계 출처이자 GenEval·사람 선호도 비교 대상 (§5.2.3, Table 5, Fig. 6)