내가 가져갈 핵심 한 줄

U-Net → DiT(adaLN) → MM-DiT(joint attention) → RoPE로 이어지는 denoiser backbone의 진화를 “왜 이 부품이 계속 재사용되는가”라는 직관(global structure·local detail·조건 주입·scalability)으로 한 번에 정리해 주는 강의.

이 영상은 외부 임베드가 막혀 있어 YouTube에서 직접 재생: YouTube에서 보기

종류: 대학 강의 영상 · 수준: 중급 · 길이: 1:46:26 · 분야: generative-models, computer-vision (링크하지 않음)

한 줄 소개

Stanford CME296(Diffusion & Large Vision Models, 2026 봄학기) 5강. 앞 강의들에서 블랙박스로 둔 “생성 모델 본체”(입력 , , 조건 → velocity 출력)의 아키텍처를 다룬다. 전반부는 Afshine Amidi(U-Net·DiT·MM-DiT), 후반부는 Shervine Amidi(position embedding·RoPE)가 강의한다. 앞선 강의(DDPM·score·flow matching·VAE latent·CFG)를 들었다고 가정한다.

내용 요약

  • 설계 요구사항 4가지: ① global structure 이해 ② local detail 보존 ③ 외부 조건(텍스트·이미지) 주입 ④ scalability. 이후 모든 아키텍처를 이 wish list로 평가한다 (08:35). 출력은 velocity로 통일하고, noise·score 예측도 “거의 같은 것”으로 취급 (08:10).
  • 입력·조건 구분: 텍스트 조건이면 T2I, 텍스트+이미지 조건이면 image editing(TI2I) 모델 (07:36).
  • convolution의 inductive bias와 한계: 사람이 이미지를 훑어보는 방식을 흉내 낸 inductive bias. local detail은 잘 잡지만 receptive field가 filter 크기·stride에 묶여 있어 global structure를 보려면 층이 너무 많이 필요 → downsampling·upsampling 아이디어로 이어짐 (14:26, 16:02).
  • U-Net: downsampling(encoder 유사)으로 receptive field를 키워 global structure를, skip connection의 crop & copy(채널 축 concat)로 local detail을 전달. 출력 차원이 입력과 같아야 하는 이유는 Euler 업데이트 때문 (20:18, 23:19, 26:13). autoencoder와 모양은 비슷하지만 목표는 재구성이 아니라 denoising 방향 예측 (25:21).
  • timestep 표현: 시계의 시·분·초처럼 서로 다른 주파수를 갖는 sinusoidal 벡터로 를 표현 (28:08). 조건은 class embedding, token embedding(최근엔 pretrained LLM embedding), ViT CLS token 등으로 표현 (30:34).
  • 조건 주입 3방식: feature map에 더하기 / modulation / cross-attention — “합의된 표준은 없다” (31:57).
  • U-Net 계보: 2015 U-Net(의료 영상 분할) → DDPM의 backbone → LDM의 latent U-Net → SDXL의 대형 U-Net (33:21).
  • U-Net이 실패하는 예: “거울 옆 테디베어”처럼 이미지의 멀리 떨어진 두 부분이 같은 texture를 가져야 할 때, convolution은 국소적이라 patch-to-patch 직접 상호작용이 없다 → self-attention 동기 (36:05).
  • DiT: noisy latent를 patch로 patchify → 시퀀스 길이 , patch가 작을수록 세밀하지만 연산량 증가 (42:34). 조건 주입 비교(adaLN / cross-attention / in-context concat)에서 adaLN-Zero가 FID 최저 (44:33, 46:40). Transformer 크기와 patch 크기를 함께 키워야(=FLOPs 증가) 성능이 크게 좋아진다 (1:00:29, 1:01:46).
  • adaLN 직관: patch 벡터의 차원을 “갈색 정도·둥근 정도·푹신함·흰색 정도”로 가정하고, noise가 많은 초기()엔 global 특징을, 후기()엔 디테일을 키우도록 조건에 따라 차원별 강도를 조절 (48:34, 50:54). 수식: — =scale, =shift, =gate. adaLN-Zero는 gate를 0으로 초기화해 학습 시작 시 블록이 항등에 가깝게 동작 (52:50, 56:02).
  • DiT end-to-end 예시: VAE latent에서 샘플 → patchify·linear projection·position embedding → ·label embedding을 더해 MLP로 6개 계수(, self-attention용·FFN용) → DiT block 반복 → LN·linear·reshape로 velocity 예측 → Euler step 반복해 → VAE decoder로 픽셀 복원 (1:03:01, 1:06:59, 1:10:28, 1:12:18).
  • DiT의 한계 → MM-DiT: adaLN modulation은 모든 토큰에 똑같이 적용되므로 “흰 벽 앞의 갈색 테디베어”처럼 위치마다 다른 조건 반영이 불가능. timestep은 모든 토큰에 공통이니 modulation이 맞지만, 텍스트는 토큰별로 다르게 다뤄야 한다 (1:14:14, 1:15:35).
  • cross-attention vs joint attention: 화가(이미지)가 시인(텍스트)의 지시문을 일방적으로 참조하는 것(cross) vs 둘이 같은 방에서 서로 조율하는 것(joint)이라는 비유. 요즘 대부분은 joint attention이며, 이를 MM-DiT(Stable Diffusion 3, 2024)라 부른다 (1:17:03, 1:20:23, 1:20:53).
  • single / double stream / hybrid: modality별 projection을 공유하면 single stream, 따로 두면 double stream, 섞으면 hybrid. 예: Qwen-Image(double), Z-Image(single), FLUX.1 Kontext(hybrid) (1:21:19, 1:22:56, 1:23:18).
  • absolute position embedding: 원조 Transformer의 sin/cos PE는 내적이 로 정리되어 거리에 따라 (비단조적으로) 감소. 단점은 position 정보를 attention이 아닌 입력 단계에 넣고, input embedding과의 cross term이 생긴다는 점. ViT는 learned, DiT는 2D sin/cos를 입력에 더함 (1:28:29, 1:32:55, 1:36:56, 1:37:57).
  • RoPE: query·key를 위치에 따른 회전으로 변환한 뒤 내적 → 상대 위치 의 회전 행렬만 남음. “현재 가장 많이 쓰는 방식” (1:38:47, 1:39:10).
  • 2D RoPE 변형: axial RoPE(x·y를 벡터의 다른 부분에 배정 → x-y 상호작용 없음, Fourier 재구성에서 축 방향 artifact) vs mixed RoPE(한 벡터에서 x·y 회전을 섞음). 해상도가 달라도 중심을 맞추는 centered 좌표(Seedream 2.0), MM-DiT에서 텍스트 토큰을 이미지 영역 밖 대각선 위치에 두는 방식(Qwen-Image로 추정)도 소개. “아직 열린 문제”라고 마무리 (1:41:13, 1:41:39, 1:43:24, 1:44:51, 1:45:36).

구간별 정리 (영상)

시간내용
00:00Introduction — 1~4강 복습: DDPM(noise L2), score, flow matching(velocity L2), VAE latent·adversarial/perceptual loss, CFG
05:26Objective — 입력 ·· → velocity 출력. T2I/TI2I 구분, 4가지 요구사항(global·local·조건·scalability)
09:58Convolutions, filters — inductive bias 개념, filter 개, stride, feature map
14:44Receptive field — global structure를 보려면 convolution이 너무 많이 필요 → down/up-sampling 아이디어
17:14Pooling — 학습 파라미터 없는 max/avg downsampling, 업샘플링은 transpose convolution
19:06U-Net — encoder/bottleneck/decoder, crop & copy skip connection, 출력 차원 = 입력 차원인 이유(Euler step)
27:52Timestep representation — 시·분·초 비유로 다중 주파수 sinusoidal embedding 설명
30:31Class label representation — class/token/LLM embedding, ViT CLS. 주입 방식: 더하기·modulation·cross-attention
33:21Timeline of U-Net models — U-Net(2015) → DDPM → LDM → SDXL(2023)
35:43Diffusion Transformer (DiT) — U-Net의 장거리 상호작용 한계, self-attention·ViT 복습, patchify, 조건 주입 3방식 비교
48:08Adaptive layer normalization (adaLN) — 테디베어 차원 비유, scale·shift·gate, adaLN-Zero, model·patch 동시 스케일링(FLOPs)
1:02:30DiT end-to-end example — latent 샘플 → patch embedding + PE → 6개 modulation 계수 → velocity → Euler 반복 → VAE decode
1:12:57Multimodal DiT (MM-DiT) — 전역 modulation의 한계, cross vs joint attention(화가·시인 비유), single/double stream
1:23:33Qwen-Image, Z-Image, FLUX.1 — double / single / hybrid stream 사례 (시험 범위 아님)
1:24:27Timeline of DiT models — DiT(2022) → SD3 MM-DiT(2024) → 2025~2026 모델 대부분 MM-DiT 계열
1:25:25Absolute position embeddings — sin/cos PE, 내적 = , 장단점, Transformer·ViT·DiT 사용
1:38:48Rotary position embeddings (RoPE) — Q·K 회전, 상대 위치만 남는 성질
1:39:592D RoPE variants — axial vs mixed RoPE, centered 좌표(Seedream 2.0), 텍스트 토큰 대각선 배치

논문과 비교한 이 자료의 가치

  • 직관: 논문들은 아키텍처 선택을 ablation 수치로 정당화하지만, 이 강의는 “global structure·local detail·조건 주입·scalability”라는 하나의 wish list로 U-Net→DiT→MM-DiT 전환을 일관되게 설명한다. 특히 adaLN의 scale·shift·gate를 “차원별 특징 강도 조절”로, cross vs joint attention을 화가·시인 비유로 푼 부분은 논문에 없는 설명이다 (해석).
  • 흐름 정리: 위키의 2020-ddpm, 2022-ldm, 2024-sd3를 backbone 관점으로 이어 주는 연결 고리 역할을 한다. 위키에 아직 없는 2023-dit (미수록)를 상세히(end-to-end 예시까지) 다루므로, DiT 논문을 넣기 전 예습용으로 적합하다 (해석).
  • 논문과 다르거나 단순화한 부분:
    • MM-DiT의 조건 주입: 강의는 “timestep은 modulation, 텍스트는 joint attention”으로 깔끔하게 나누지만, SD3의 MM-DiT는 timestep뿐 아니라 pooled 텍스트 벡터 (CLIP pooled 출력)도 modulation에 넣는다 — 즉 텍스트의 전역 정보는 여전히 모든 토큰에 같은 modulation으로 들어간다 (해석, 2024-sd3 §4, Appendix B.2와 비교).
    • “요즘은 cross보다 joint attention”이라는 주장의 근거로 SD3가 CC12M에서 DiT(concat) < UViT < CrossDiT < MM-DiT 순 결과를 냈다는 점이 대응된다. 강의는 수치 없이 비유로만 설명한다 (해석, 2024-sd3 §5.2.3, Fig. 4와 비교).
    • double stream의 의미: 강의의 “modality별 별도 projection”은 SD3의 “modality별 별도 가중치 세트, attention에서만 시퀀스 결합”과 같다. 다만 SD3는 3개 weight set(CLIP·T5 분리)도 실험했고 2개로 충분하다고 결론냈는데, 강의엔 이 부분이 없다 (해석, 2024-sd3 §4, §5.2.3).
    • position embedding: 강의는 RoPE를 “현재 주류”로 소개하지만, SD3는 2D positional grid를 확장·보간한 뒤 center-crop하는 방식으로 가변 해상도·종횡비를 다룬다. 강의의 Seedream 2.0 centered 좌표와 같은 문제(해상도 간 위치 의미 맞추기)를 다른 방식으로 푼 셈이다 (해석, 2024-sd3 §4, Appendix C.2와 비교).
    • 시간 규약: 강의는 noise, clean(flow matching 관례)을 쓰는데, SD3의 rectified flow는 으로 이 데이터다. 강의의 “은 noise가 많다” 예시를 SD3 수식에 그대로 대입하면 반대가 되므로 주의 (해석, 2024-sd3 §3, Eq. 13과 비교).
    • U-Net의 장거리 상호작용 한계: 강의는 convolution-only U-Net으로 설명하지만, DDPM의 U-Net은 이미 16×16 해상도에 self-attention을 넣었고, LDM은 U-Net 중간층에 cross-attention으로 조건을 주입한다. 즉 “U-Net vs attention”은 실제로는 이분법이 아니다 (해석, 2020-ddpm §4, 2022-ldm §3.3, Fig. 3과 비교).
    • LDM의 위치: 강의는 LDM을 “latent 생성을 대중화한 U-Net 모델”로만 짧게 언급하고, cross-attention 조건화의 대표 사례라는 점은 연결하지 않는다 (해석, 2022-ldm §3.3).
    • DiT 조건: 강의는 “DiT는 텍스트 전체를 하나의 embedding으로 썼다”고 말하지만, DiT는 ImageNet class-conditional 모델이라 조건은 class label embedding이다 (위키 외 지식). 같은 구간에서 “this was the DiT”는 ViT를 잘못 말한 것으로 보인다 (41:44, 해석).
  • 코드: 강의 자체에 코드는 없다. 슬라이드에 Qwen-Image·Z-Image·FLUX.1 Kontext 논문 링크가 있다고 언급한다 (1:23:46).

관련 논문·개념