분야: computer-vision · medical-ai · generative-models
정의
downsampling encoder와 upsampling decoder를 같은 해상도끼리 skip connection으로 잇는 대칭형 convolutional 구조. 원래 의료 영상 분할을 위해 제안됐고(Ronneberger et al. 2015, 2015-unet (미수록) — 위키 외 지식), diffusion model의 표준 denoiser backbone이 되었다.
작동 방식 / 핵심 구성요소 (diffusion에서의 사용)
- DDPM: unmasked PixelCNN++ 유사 U-Net, 전체 group normalization, timestep은 Transformer sinusoidal embedding으로 주입, 16×16 해상도에 self-attention (2020-ddpm §4).
- LDM: latent 위에서 도는 time-conditional U-Net, 주로 2D convolution — U-Net의 inductive bias 덕에 약한 압축(f=4–8)으로 충분 (2022-ldm §3, §3.2). 중간층에 cross-attention을 넣어 조건화 (§3.3, Fig. 3).
- Flow Matching: Dhariwal & Nichol(ADM)의 U-Net을 거의 그대로 사용해 DDPM·SM 손실과 같은 조건에서 비교 (2023-flow-matching §6.1, Appendix E).
변형·발전
- ADM U-Net (Dhariwal & Nichol, 2021-guided-diffusion (미수록)) — 2021-cfg와 2023-flow-matching이 사용.
- Transformer backbone으로의 대체: DiT → MM-DiT. 2024-sd3는 CC12M에서 MM-DiT가 DiT·CrossDiT·UViT(U-Net형 skip을 가진 ViT)보다 우수함을 보임 (§5.2.3, Fig. 4).
장단점
- 장점: 다중 해상도 특징과 공간 정보 보존 — dense prediction(분할)과 denoising 모두에 적합 (해석).
- 단점: 대규모 text-to-image에서 스케일링은 Transformer 계열이 더 유리한 흐름 (2024-sd3 §5.2.3, §5.3) (해석: 위키 내 근거는 SD3 한 편).
등장·발전 논문 (연도순)
- 2015 — 2015-unet (미수록) — 의료 영상 분할용 제안 (위키 외 지식)
- 2020 — 2020-ddpm — diffusion denoiser로 사용
- 2022 — 2022-ldm — latent 공간 U-Net + cross-attention
- 2023 — 2023-flow-matching — FM 학습에도 같은 U-Net 사용
- 2024 — 2024-sd3 — MM-DiT로 대체, UViT와 비교
관련 개념
- 사용처: diffusion-model · latent-diffusion-model · flow-matching · 대비: Transformer backbone (MM-DiT, 2024-sd3)