분야: generative-models · computer-vision
정의
Diffusion·flow 모델의 denoiser backbone으로 u-net 대신 Transformer를 쓰는 구조. 입력(latent 또는 픽셀)을 패치로 나눠 토큰 시퀀스로 만들고, 시간 ·조건을 adaLN(-Zero) modulation으로 주입한 뒤, 출력 토큰을 다시 패치로 되돌린다. 원 제안은 Peebles & Xie (2023-dit (미수록)). 위키 내 근거는 2024-sd3 §4와 2026-jit §4.1.
작동 방식 / 핵심 구성요소
- Patchify: latent를 2×2 패치로 flatten + positional encoding (2024-sd3 §4); 픽셀에 직접 쓰면 16×16(768-d)~64×64(12288-d) 패치 (2026-jit §4.1, Table 5).
- 조건 주입: timestep·클래스(또는 pooled 텍스트) 임베딩으로 adaLN(-Zero) modulation (2024-sd3 §4, 2026-jit §4.1).
- MM-DiT: 텍스트·이미지 토큰에 modality별 별도 가중치를 두고 attention에서만 시퀀스를 합치는 joint attention (2024-sd3 §4, Fig. 2). CC12M에서 DiT(concat) < UViT < CrossDiT < MM-DiT (2024-sd3 §5.2.3, Fig. 4).
- 크기 파라미터화: SD3는 depth 하나로 hidden , head 를 정함, 최대 (8B) (2024-sd3 §4, §5.3). JiT는 ViT의 B/L/H(+G) 크기 사용 (2026-jit Table 6).
- 범용 Transformer 개선 흡수: QK-norm(RMSNorm)으로 bf16 고해상도 학습 안정화 (2024-sd3 Appendix C.2); SwiGLU·RMSNorm·RoPE·qk-norm·in-context class token으로 JiT-B/16 FID 7.48 → 5.49 (2026-jit Table 4).
- 토큰 차원 문제: 픽셀 DiT는 큰 패치에서 토큰당 차원이 hidden 폭에 맞먹거나 커진다. 이때 ε/v-prediction은 실패하고 -prediction만 동작하며, 저랭크 bottleneck 임베딩(예: 768 → 64 → hidden)이 오히려 도움이 된다 (2026-jit Table 2, Fig. 4) → prediction-target
변형·발전
- MM-DiT — 텍스트·이미지 joint attention (2024-sd3)
- 픽셀 공간 plain DiT(JiT) — tokenizer 없이 큰 패치 + -prediction (2026-jit)
장단점
- 장점: 모델 크기에 따라 validation loss가 예측 가능하게 줄어드는 스케일링 (2024-sd3 §5.3, Fig. 5; 2026-jit Table 6). 패치 크기를 해상도에 비례시키면 시퀀스 길이·연산량이 해상도와 거의 무관 (2026-jit Table 5, 25 → 30 Gflops for 256² → 1024²). 언어모델 쪽 아키텍처 개선을 그대로 가져올 수 있음 (2026-jit §4.4).
- 단점: 토큰 수에 대해 attention 비용이 제곱 (해석). 고해상도 혼합정밀 학습에서 attention logit 폭주 (2024-sd3 Appendix C.2). 픽셀에서 큰 패치를 쓰면 예측 대상 선택에 민감 (2026-jit Table 2(a)).
등장·발전 논문 (연도순)
- 2023 — 2023-dit (미수록) — DiT 제안 (Peebles & Xie, ICCV 2023)
- 2024 — 2024-sd3 — MM-DiT, 8B까지 스케일링
- 2026 — 2026-jit — 픽셀 패치 위 plain DiT + -prediction
관련 개념
- 대비: u-net · 사용처: latent-diffusion-model, text-to-image-generation · 학습 목표와의 상호작용: prediction-target · 상위: diffusion-model
추천 학습 자료
- lecture-2026-cme296-architectures — 강의 · 중급 · 1:46 · U-Net의 한계 → DiT(patchify·adaLN) → MM-DiT(joint attention) 진화와 DiT end-to-end 예시 (35:43–1:24:27)