분야: generative-models · computer-vision

정의

Diffusion·flow 모델의 denoiser backbone으로 u-net 대신 Transformer를 쓰는 구조. 입력(latent 또는 픽셀)을 패치로 나눠 토큰 시퀀스로 만들고, 시간 ·조건을 adaLN(-Zero) modulation으로 주입한 뒤, 출력 토큰을 다시 패치로 되돌린다. 원 제안은 Peebles & Xie (2023-dit (미수록)). 위키 내 근거는 2024-sd3 §4와 2026-jit §4.1.

작동 방식 / 핵심 구성요소

  • Patchify: latent를 2×2 패치로 flatten + positional encoding (2024-sd3 §4); 픽셀에 직접 쓰면 16×16(768-d)~64×64(12288-d) 패치 (2026-jit §4.1, Table 5).
  • 조건 주입: timestep·클래스(또는 pooled 텍스트) 임베딩으로 adaLN(-Zero) modulation (2024-sd3 §4, 2026-jit §4.1).
  • MM-DiT: 텍스트·이미지 토큰에 modality별 별도 가중치를 두고 attention에서만 시퀀스를 합치는 joint attention (2024-sd3 §4, Fig. 2). CC12M에서 DiT(concat) < UViT < CrossDiT < MM-DiT (2024-sd3 §5.2.3, Fig. 4).
  • 크기 파라미터화: SD3는 depth 하나로 hidden , head 를 정함, 최대 (8B) (2024-sd3 §4, §5.3). JiT는 ViT의 B/L/H(+G) 크기 사용 (2026-jit Table 6).
  • 범용 Transformer 개선 흡수: QK-norm(RMSNorm)으로 bf16 고해상도 학습 안정화 (2024-sd3 Appendix C.2); SwiGLU·RMSNorm·RoPE·qk-norm·in-context class token으로 JiT-B/16 FID 7.48 → 5.49 (2026-jit Table 4).
  • 토큰 차원 문제: 픽셀 DiT는 큰 패치에서 토큰당 차원이 hidden 폭에 맞먹거나 커진다. 이때 ε/v-prediction은 실패하고 -prediction만 동작하며, 저랭크 bottleneck 임베딩(예: 768 → 64 → hidden)이 오히려 도움이 된다 (2026-jit Table 2, Fig. 4) → prediction-target

변형·발전

  • MM-DiT — 텍스트·이미지 joint attention (2024-sd3)
  • 픽셀 공간 plain DiT(JiT) — tokenizer 없이 큰 패치 + -prediction (2026-jit)

장단점

  • 장점: 모델 크기에 따라 validation loss가 예측 가능하게 줄어드는 스케일링 (2024-sd3 §5.3, Fig. 5; 2026-jit Table 6). 패치 크기를 해상도에 비례시키면 시퀀스 길이·연산량이 해상도와 거의 무관 (2026-jit Table 5, 25 → 30 Gflops for 256² → 1024²). 언어모델 쪽 아키텍처 개선을 그대로 가져올 수 있음 (2026-jit §4.4).
  • 단점: 토큰 수에 대해 attention 비용이 제곱 (해석). 고해상도 혼합정밀 학습에서 attention logit 폭주 (2024-sd3 Appendix C.2). 픽셀에서 큰 패치를 쓰면 예측 대상 선택에 민감 (2026-jit Table 2(a)).

등장·발전 논문 (연도순)

  • 2023 — 2023-dit (미수록) — DiT 제안 (Peebles & Xie, ICCV 2023)
  • 2024 — 2024-sd3 — MM-DiT, 8B까지 스케일링
  • 2026 — 2026-jit — 픽셀 패치 위 plain DiT + -prediction

관련 개념

추천 학습 자료

  • lecture-2026-cme296-architectures — 강의 · 중급 · 1:46 · U-Net의 한계 → DiT(patchify·adaLN) → MM-DiT(joint attention) 진화와 DiT end-to-end 예시 (35:43–1:24:27)