내가 가져갈 핵심 한 줄
실전 text-to-image 학습은 “flow matching loss + 중간 timestep을 더 뽑는 logit-normal 샘플링 + 해상도별 timestep shift”로 시작해, pre-training → post-training(CT·SFT·preference tuning) → tuning(DreamBooth·LoRA) → distillation(적은 step) 순으로 이어진다는 전체 지도를 한 강의로 보여준다.
이 영상은 외부 임베드가 막혀 있어 YouTube에서 직접 재생: YouTube에서 보기
종류: 대학 강의 영상 · 수준: 중급 · 길이: 1:40:58 · 분야: generative-models, computer-vision (링크하지 않음)
한 줄 소개
Stanford CME296(Diffusion & Large Vision Models, Spring 2026) 6강. Afshine·Shervine Amidi가 앞선 강의(DDPM·score·flow 이론, U-Net·DiT 아키텍처)를 전제로, text-to-image 모델을 실제로 학습·정렬·개인화·가속하는 방법을 수식보다 직관 위주로 훑는다. 전반부(~1:16:31)는 Afshine, distillation 파트는 Shervine이 진행 (1:16:31).
내가 주목한 구간
⭐ 15:06 — “요즘은 flow matching 관점이 주류이므로, 이후 강의에서는 flow matching loss를 기본 loss로 쓴다” 는 선언 지점.
- 직전 11:26–14:38에서 1–3강의 세 관점을 loss로 복습: ① DDPM — 예측 노이즈 와 실제 노이즈의 L2, ② score/SDE — 추정 score와 실제 score의 차이, ③ flow — (Gaussian)와 (데이터) 두 점을 잇는 velocity(vector field) 회귀 (ODE solver·Euler로 샘플링).
- 15:16: 기본 loss를 슬라이드로 다시 읽음 — 에 대해 , , 에 대한 기댓값을 최소화.
- 16:06: 이 loss에서 “를 uniform에서 뽑는다”는 부분에서 멈추고, 시간 규약( 순수 노이즈, 깨끗한 이미지)을 확인 → 이것이 다음 챕터 Timestep sampling(왜 uniform이 아닌가)의 출발점.
- 즉 15:06은 “loss parameterization 선택(ε / score / velocity) → velocity로 확정”과 “그 loss 안의 분포를 바꾸는 실전 트릭”을 잇는 경첩 구간이다 (해석).
내용 요약
- 학습 lifecycle: pre-training(이미지 생성 자체) → post-training(“좋은” 이미지) → 선택적 tuning(개인화) → distillation(적은 step으로 서빙) (08:11–09:56). VAE와 텍스트 임베딩 모델은 다루지 않고 denoiser 학습에 집중 (06:46–07:14).
- Loss: 2020-ddpm의 ε-prediction L2, score-matching의 score 회귀, flow-matching의 velocity 회귀를 복습하고 flow matching loss를 기본으로 채택 (11:26–15:16).
- Timestep sampling: (거의 노이즈)에서는 모델이 데이터 평균 방향만 배우면 되고, (거의 깨끗)에서는 작은 수정만 하면 되므로 쉽다. 중간()에서 형태·질감·눈 위치 같은 “어려운 결정”이 일어난다 → uniform 샘플링은 쉬운 문제와 어려운 문제에 같은 비중을 준다 (16:51–22:16).
- Logit-normal: 를 sigmoid로 에 매핑해 중간 timestep에 밀도를 모음. 정규분포를 바로 쓰지 않는 이유는 범위 보장. 평균·표준편차로 원하는 구간(예: 후반 step)으로 이동 가능 (22:43–25:31).
- 해상도별 timestep shift: 같은 noise level이라도 저해상도 이미지가 더 noisy하게 “지각”된다. 이미지의 공간적 상관 때문에 고해상도에서는 여러 픽셀의 평균으로 원래 값을 더 잘 추정할 수 있기 때문 (26:02–28:54). 모든 픽셀이 상수 인 toy 이미지로 를 놓고 평균 추정량의 표준편차가 임을 칠판에서 유도, 두 해상도의 불확실성을 같게 두면 이 의 함수로 나온다 (31:45–41:09). 여기서는 논문 규약( clean, noise)으로 바꿔 계산했다고 명시 (33:13). 은 latent 공간 해상도 (43:37) — latent-diffusion-model 설정.
- REPA: DiT 중간 layer의 (noisy) patch 표현을 projection해 pretrained encoder의 clean patch 표현과 유사도를 맞추는 보조 loss. 학습 약 18배 가속, 앞쪽 layer에 걸 때 더 좋고, 모델이 클수록 이득이 큼 (43:56–48:50) — 2025-repa (미수록).
- Pre-training: 데이터 파이프라인(필터링·해상도·정제)이 큰 비중 (49:57). Curriculum learning — 저해상도·정사각형·짧은 프롬프트에서 고해상도·다양한 aspect ratio·긴 프롬프트로. DiT는 해상도가 커지면 토큰 수만 늘어난다 (50:44–52:30).
- Post-training: CT(새 지식, 도메인 데이터로 계속 학습)와 SFT(미학·조명·텍스트 충실도 같은 행동) 구분 (52:56–54:20). Preference tuning은 “하지 말아야 할 것”을 가르침 (54:55).
- ReFL: Bradley-Terry pairwise loss로 reward model을 학습하고, 미분 가능한 reward를 생성 모델로 역전파 (57:08–1:00:13).
- Flow-GRPO: SDE로 한 프롬프트에 다양한 이미지를 만들고, 그룹 내 상대 reward(advantage)로 policy 갱신. reward hacking 완화용 KL 항 (1:00:13–1:03:23) — 2025-flow-grpo (미수록).
- Diffusion-DPO: “이긴” 이미지의 velocity는 더 잘, “진” 이미지의 velocity는 더 못 예측하도록 (1:03:23–1:04:59) — 2024-diffusion-dpo (미수록).
- Prompt enhancement: 짧은 사용자 프롬프트를 학습 분포와 비슷한 길고 상세한 프롬프트로 바꿔 주는 단계 (1:06:31–1:07:35). 요리 비유로 전체 정리 (1:07:35).
- Tuning: DreamBooth — rare token
[V]로 특정 대상을 학습하되 prior preservation loss로 기존 능력 망각 방지. LoRA로 base weight + 저랭크 행렬만 학습해 비용 절감. 한 대상의 이미지를 대량 생성할 때 유리하지만 대상마다 학습 비용이 든다 (1:10:25–1:16:31). 이 방법들은 text-to-image-generation 파이프라인의 개인화 단계로 소개됨. - Distillation: 이미지 쪽에서는 모델 크기보다 step 수를 줄이는 것이 주 레버 (1:19:43). 1-step 직접 회귀는 너무 어려움 (1:20:46).
- Progressive distillation: 매번 step 수를 절반으로 (1:21:42–1:24:41).
- InstaFlow: rectified-flow의 reflow로 경로를 곧게 편 뒤 distillation 추가. reflow를 여러 번 하면 pair에 discretization error가 쌓이므로 보통 1회, distillation loss는 MSE warm-up 후 LPIPS (1:25:08–1:28:45) — 2024-instaflow (미수록). pre-training에서 경로가 곧지 않은 것은 무작위 noise–data pairing이 최적이 아니어서라는 Q&A (1:29:13).
- Consistency models: 같은 궤적 위 모든 점을 끝점으로 보내도록. consistency training / distillation, EMA target으로 collapse 방지, latent 버전 LCM (1:30:14–1:33:46) — 2023-consistency-models (미수록).
- DMD: 분포 수준 KL의 gradient가 teacher(“real”)와 student(“fake”) score의 차이로 해석되며(flow matching에서는 velocity 차이), regression loss로 학습 안정화 (1:34:13–1:38:02) — 2024-dmd (미수록).
- ADD: GAN식 판별 loss로 더 선명한 출력, 이후 LADD는 latent 공간에서만 수행. 최근 추세는 모두 latent 공간 (1:38:53–1:40:27).
구간별 정리 (영상)
| 시간 | 내용 |
|---|---|
| 00:00 | Introduction — 5강 복습(U-Net, DiT, adaLN, MM-DiT) |
| 07:45 | Training lifecycle overview — pre-training / post-training / tuning / distillation |
| 10:39 | Loss parameterization — DDPM(ε), score, flow(velocity) loss 복습 |
| ⭐ 15:06 | flow matching loss를 기본 loss로 채택, uniform 가정 재검토 시작 (내가 주목한 구간) |
| 16:08 | Timestep sampling — 양 끝은 쉽고 중간이 어렵다 |
| 22:27 | Logit normal distribution — sigmoid로 매핑한 정규분포 |
| 25:44 | Sampling shift for different resolutions — 지각 노이즈, 상수 이미지 toy 유도 |
| 43:56 | Representation alignment (REPA) |
| 49:21 | Pre-training — 데이터 파이프라인, curriculum learning |
| 52:46 | Continued training (CT) |
| 54:02 | Supervised finetuning (SFT) |
| 54:39 | Preference tuning |
| 56:48 | Reward feedback learning (ReFL) |
| 1:00:16 | Flow-GRPO |
| 1:03:23 | Diffusion-DPO |
| 1:05:06 | Prompt enhancement (PE) |
| 1:10:00 | DreamBooth, low-rank adaptation (LoRA) |
| 1:16:35 | Distillation — step 수 줄이기 |
| 1:21:42 | Progressive distillation (PD) |
| 1:25:14 | InstaFlow — reflow + distillation |
| 1:30:18 | Consistency models (CM) |
| 1:34:23 | Distribution matching distillation (DMD) |
| 1:39:16 | Adversarial diffusion distillation (ADD) |
논문과 비교한 이 자료의 가치
- 직관: “왜 중간 timestep이 어려운가”를 테디베어 예시로 설명 (20:58–21:46)하는데, 이는 2024-sd3 §3.1의 “양 끝에서는 최적 예측이 각 분포의 평균이라 쉽고 중간이 가장 어렵다”는 논증과 같은 내용을 말로 풀어준 것이다 (해석).
- 해상도 shift 유도: 강의의 칠판 유도(표준편차 을 두 해상도에서 같게 놓기, 39:21–41:09)를 끝까지 풀면 , 즉 2024-sd3 Eq. 34 와 정확히 일치한다. 강의는 마지막 정리 단계를 생략했다 (해석, 2024-sd3 Appendix C.2).
- 논문과 다르거나 단순화한 부분 (해석):
- 강의는 logit-normal이 “중간을 강조한다”는 정성적 설명만 하고, 논문의 정량 근거 — 61개 formulation 중 rf/lognorm(0.00, 1.00) 평균 rank 1.54로 1위, uniform rf 5.67, LDM-Linear(eps/linear) 2.88 — 는 소개하지 않는다 (2024-sd3 Table 1). 논문이 함께 제안한 mode sampling(Eq. 20)·CosMap(Eq. 21–22)도 다루지 않는다.
- 강의는 해상도 shift 공식의 “모양”만 보여주고, 실제 값(1024²에서 shift )과 그 값을 사람 선호도 평가로 정했다는 점은 언급하지 않는다 (2024-sd3 Eq. 34, Appendix C.2, Fig. 10). 논문 스스로 이 유도가 비현실적인 상수 이미지 가정에 기반한다고 한계를 밝힌 점도 빠져 있다 (2024-sd3 Appendix C.2).
- Parameterization: 강의는 ε(DDPM) / score / velocity(flow) 세 가지를 “같은 문제의 세 관점”으로 나열하고 flow로 정리하지만, 2024-sd3가 비교한 v-prediction(v/linear, v/cos)이나 EDM의 F-prediction은 등장하지 않는다. 논문은 이들을 가중치 만 다른 하나의 손실로 통일해 비교한다 (2024-sd3 §2–3, Table 1).
- uniform 의 계보: 강의는 flow matching loss가 uniform이라고 설명(16:06)하는데, 2020-ddpm도 로 을 학습하되 가중치를 버려 “어려운 큰 (노이즈 쪽)“에 집중시킨다고 해석한다 (2020-ddpm §3.4, Eq. 14). 반면 2024-sd3는 RF에서 가장 어려운 곳을 “중간”으로 본다 (2024-sd3 §3.1) — 무엇이 어려운지에 대한 관점 차이로 읽을 수 있다.
- 시간 규약: 강의 기본 규약은 노이즈, 데이터(16:06)로 2023-flow-matching §2와 같고, shift 유도에서만 논문 규약( 데이터, 노이즈)으로 바꾼다(33:13). 이 규약이 2024-sd3 Eq. 13의 이며, logit-normal의 / 편향 방향을 읽을 때 규약을 꼭 확인해야 한다 (2024-sd3 §3.1).
- 넓이: 논문 한 편이 다루지 않는 post-training(ReFL·Flow-GRPO·Diffusion-DPO·prompt enhancement), 개인화(DreamBooth·LoRA), distillation(PD·InstaFlow·CM·DMD·ADD)을 한 lifecycle 위에 배치해 준다. 각 방법은 개요 수준이므로 세부는 원 논문으로 확인해야 한다 (해석). 참고로 2024-sd3도 최종 모델에 Diffusion-DPO를 rank 128 LoRA로 적용했다 (2024-sd3 Appendix C.3) — 강의의 post-training·LoRA 파트와 연결된다 (해석).
관련 논문·개념
- explains: 2020-ddpm — ε-prediction L2 loss 복습 (11:26)
- explains: 2023-flow-matching — 두 점( 노이즈, 데이터) 사이 velocity 회귀 loss를 기본 loss로 채택 (14:02–16:06)
- explains: 2024-sd3 — logit-normal timestep 샘플링과 해상도 의존 timestep shift의 직관·유도 (16:08–43:37), MM-DiT 복습 (04:33)
- explains: 2025-repa (미수록) — representation alignment 보조 loss (43:56)
- explains: 2025-flow-grpo (미수록) — GRPO를 flow 모델에 적용 (1:00:16)
- explains: 2024-diffusion-dpo (미수록) — velocity 기반 선호 학습 (1:03:23)
- explains: 2024-instaflow (미수록) — reflow + distillation으로 1-step 생성 (1:25:14)
- explains: 2023-consistency-models (미수록) — consistency training/distillation (1:30:18)
- explains: 2024-dmd (미수록) — distribution matching distillation (1:34:23)
- 개념: diffusion-model · score-matching · flow-matching · rectified-flow · text-to-image-generation · latent-diffusion-model · prediction-target
- 링크 없이 언급: DiT·MM-DiT, U-Net(5강 복습), ReFL, DreamBooth, LoRA, Progressive Distillation, ADD/LADD, DDIM, LPIPS