내가 가져갈 핵심 한 줄
별도 classifier 없이, 하나의 네트워크를 condition dropout으로 conditional·unconditional 겸용으로 학습한 뒤 두 ε 예측을 로 섞기만 하면 classifier guidance와 같은 fidelity–diversity trade-off를 얻는다.
분야: generative-models · 핵심 개념: classifier-free-guidance, diffusion-model, score-matching
버전 정보
짧은 버전이 NeurIPS 2021 Workshop on Deep Generative Models and Downstream Applications에 실렸고(p.1 각주, OpenReview
qw8AKxfYbI), 이 페이지는 2022-07 arXiv 확장판(2207.12598v1)을 기준으로 정리했다 (p.1).
문제·동기
- Diffusion model에는 BigGAN의 truncation이나 Glow의 low temperature sampling처럼 “다양성을 줄이고 개별 샘플 품질을 높이는” 손잡이가 없었다. score를 스케일하거나 reverse process의 noise 분산을 줄이는 단순한 방법은 흐릿하고 품질 낮은 샘플을 만든다 (§1, §3).
- Dhariwal & Nichol의 classifier guidance는 이 trade-off를 가능하게 했지만, (1) noisy data 로 학습한 별도 classifier가 필요해 pre-trained classifier를 그대로 쓸 수 없고 학습 파이프라인이 복잡해지며, (2) classifier gradient 방향으로 샘플을 미는 것이 classifier에 대한 gradient 기반 adversarial attack으로 해석될 수 있어, IS·FID 같은 classifier 기반 지표 향상이 진짜 품질 향상인지 의문이 남는다 (§1, p.2; §5).
- 질문: classifier 없이 순수 생성모델만으로 guidance가 가능한가? (§1)
핵심 아이디어·방법
- 배경 (diffusion 정식화): continuous-time variance-preserving forward process , , = log SNR (§2, Eq. 1–2). Reverse process는 Sohl-Dickstein et al. / Ho et al. (2020)의 discrete-time ancestral sampler를 따르고, 분산은 Nichol & Dhariwal식 log-space 보간(상수 ) (§2, Eq. 4, p.3).
- ε-prediction & 학습 목표: DDPM의 ε-parameterization 와 목표 사용 (§2, Eq. 5, p.3). 이는 다중 noise scale의 denoising score-matching이므로 (p.3). 는 cosine schedule에서 유도한 분포 로 샘플링 (p.3).
- Classifier guidance 복습: → (§3.1, p.4). 3-Gaussian toy 예시에서 guidance가 강해질수록 각 조건부 분포가 다른 클래스로부터 멀어지고 좁은 영역에 집중됨 (Fig. 2, §3.1).
- Classifier-free guidance (§3.2):
- 학습: 하나의 네트워크로 conditional 와 unconditional 를 함께 학습. 확률 로 조건 를 null token 으로 바꿔 학습 (Algorithm 1, p.4–5). 별도 모델 2개도 가능하지만 joint training이 구현이 단순하고 파라미터 수도 늘지 않음 (p.5).
- 샘플링: (Eq. 6, Algorithm 2). 이 논문의 표기에서 이 guidance 없음(순수 conditional 모델) 이다 (Table 1·2 캡션 “w = 0.0 refers to non-guided models”). Sampler는 DDIM 등으로 대체 가능 (Algorithm 2 주석).
- 해석: implicit classifier 의 gradient가 이므로 Eq. 6은 이 implicit classifier로 guidance를 준 것과 닮았다. 다만 는 제약 없는 신경망이라 conservative vector field가 아니고, 따라서 는 일반적으로 어떤 classifier의 gradient도 아니다 → classifier에 대한 adversarial attack으로 해석될 수 없음 (§3.2, p.5).
- 직관: guidance는 conditional likelihood를 높이면서 unconditional likelihood를 음의 score 항으로 낮춘다 (§5, p.9).
- (해석) 표기 주의 — 이후 문헌(예: 2022-ldm 등)은 흔히 형태로 쓰며, 이때 이고 이 guidance 없음에 해당한다.
- 실험 설정: Dhariwal & Nichol(ADM)의 guided diffusion과 같은 아키텍처·하이퍼파라미터를 사용(continuous-time 학습만 다름) — classifier guidance에 맞춰 튜닝된 값이라 CFG에는 최적이 아닐 수 있음 (§4, p.6). ; 64×64는 , 400K step; 128×128은 , 2.7M step; FID·IS는 50,000 샘플 (§4.1, p.7). 목표는 SOTA가 아니라 proof of concept (§4, p.5–6).
주요 결과
ImageNet 128×128 (Table 2, §4.1·4.3)
| 설정 | FID ↓ | IS ↑ | 비교 대상 | 출처 |
|---|---|---|---|---|
| CFG (guidance 없음), T=256 | 7.27 | 82.45 | — | Table 2 |
| CFG , T=256 (최저 FID) | 2.43 | 158.47 | ADM-G 2.97 / LOGAN 3.36 (IS 148.2) / CDM 3.52 (IS 128.8) | Table 2 |
| CFG , T=256 | 7.86 | 297.98 | BigGAN-deep 5.7 / 124.5 | Table 2, Fig. 7 |
| CFG , T=128 (최고 IS) | 21.55 | 422.29 | BigGAN-deep max-IS truncation 25 / 253 | Table 2 |
| CFG , T=128 (ADM-G와 연산량 동등) | 3.04 | 156.09 | ADM-G 2.97 | Table 2, §4.3 |
ImageNet 64×64, 비교 (Table 1, §4.1·4.2) — 값은
| FID ↓ | IS ↑ | 출처 | |
|---|---|---|---|
| 0.0 (guidance 없음) | 1.8 / 1.8 / 2.21 | 53.71 / 52.9 / 47.61 | Table 1 |
| 0.1 (최저 FID) | 1.55 / 1.62 / 1.91 | 66.11 / 64.58 / 56.1 | Table 1 |
| 1.0 | 12.6 / 11.21 / 9.13 | 170.1 / 158.29 / 131.1 | Table 1, Fig. 6 |
| 4.0 (최고 IS) | 26.22 / 23.84 / 21.48 | 260.2 / 248.97 / 225.1 | Table 1 |
| 비교: ADM / CDM | 2.07 / 1.48 | – / 67.95 | Table 1 |
- 를 키우면 FID는 작은 (0.1~0.3)에서 최저점을 찍은 뒤 나빠지고 IS는 단조 증가 — classifier guidance·GAN truncation과 같은 형태의 trade-off (§4.1, Fig. 4, Fig. 5). 시각적으로도 가 클수록 다양성 감소·개별 fidelity 증가, 강한 guidance에선 색 포화(saturated colors) 가 나타남 (Fig. 1, Fig. 3, Fig. 6–8).
- 128×128에서 의 FID가 classifier-guided ADM-G를 능가하고, 은 best-IS truncation의 BigGAN-deep을 FID·IS 모두에서 능가 — 저자들은 128×128 결과를 당시 문헌 SOTA로 주장 (§4.1, p.7).
- 는 IS/FID frontier 전 구간에서 0.1·0.2보다 나쁘고, 0.1과 0.2는 비슷 → 모델 용량 중 작은 부분만 unconditional 과제에 할당해도 충분 (§4.2, Table 1, Fig. 4).
- 샘플링 스텝 : 가 클수록 좋아지며 이 품질·속도 균형점 (§4.3, Table 2, Fig. 5).
- (해석) 64×64에서는 최저 FID 1.55가 CDM(1.48)에는 못 미친다 (Table 1) — “SOTA” 주장은 128×128에 한정.
한계
- 샘플링 비용 2배: 매 스텝 conditional·unconditional 두 번의 forward pass 필요. 연산량을 맞춘 공정 비교()에서는 ADM-G보다 FID가 나쁨(3.04 vs 2.97) (§4.3, §5).
- 다양성 감소 자체가 배포 시 문제일 수 있음 — 데이터에서 과소대표된 부분의 다양성이 중요할 때 부정적 영향 가능 (§5, p.9).
- 하이퍼파라미터는 classifier guidance용으로 튜닝된 것을 그대로 사용해 CFG에 최적이 아닐 수 있음 (§4, p.6). 실험은 class-conditional ImageNet(64·128)에 한정 (§4).
- unconditional 모델 학습을 피하려면 를 쓸 수 있으나 클래스 수만큼 forward pass가 필요해 고차원 조건에는 비효율적 (§5).
- 문서상 불일치: §4.1 본문은 “FID monotonically decreasing … with “라고 쓰지만 Table 1·2에서는 FID가 와 함께 증가한다; §4.3 본문/Table 2는 인데 Fig. 5 범례는 (p.7–9). (해석) 둘 다 표기 오류로 보임.
- (해석) 텍스트 등 고차원 조건이나 다른 모달리티에서의 검증은 이 논문 범위 밖이며, 저자도 향후 과제로 남김 (§6).
내 연구와의 연결
- (해석) 의료 영상 조건부 생성: 병변 클래스·소견 텍스트를 조건으로 한 합성 데이터 증강에서 로 “클래스 전형성 vs 다양성”을 조절할 수 있다. 다만 §5의 지적처럼 강한 guidance는 희귀 소견의 다양성을 줄일 수 있어, 증강 목적이라면 작은 (FID 최적 구간)가 적절할 가능성이 크다.
- (해석) Robotics / diffusion policy: 관측·언어 지시를 조건으로 하는 diffusion 기반 행동 생성에서 condition dropout + CFG를 적용하면 지시 준수도를 높일 수 있으나, 매 스텝 2회 forward로 인한 지연(§4.3)이 실시간 제어에 부담이 될 수 있다.
- (해석) 학습 관점: text-to-image-generation 모델(2022-ldm, 2024-sd3)의 “guidance scale”을 이해하는 기초이며, 2023-flow-matching 계열에서도 velocity 예측에 같은 선형 결합을 적용하는 방식으로 이어진다.
관련 논문
- builds-on: 2020-ddpm — ε-prediction parameterization과 학습 목표(Eq. 5), ancestral sampler를 그대로 사용 (§2, p.3); continuous-time VP 정식화는 Kingma et al.(VDM)·Song et al.(SDE)을 따름 (§2)
- builds-on: 2021-guided-diffusion (미수록) — Dhariwal & Nichol의 classifier guidance 정식화에서 출발해 classifier 없이 같은 효과를 내고, 같은 ADM 아키텍처·하이퍼파라미터 사용 (§3.1, §4)
- improves: 2021-guided-diffusion (미수록) — 128×128에서 FID 2.43 vs ADM-G 2.97 (Table 2); 단 동일 연산량()에선 3.04로 열세 (§4.3)
- built-on-by: 2022-ldm — text-to-image(LDM-KL-8-G)와 class-conditional ImageNet(LDM-4-G)에 scale 1.5로 적용 (LDM 논문 §4.3.1, Table 2–3)
- built-on-by: 2024-sd3 — 텍스트 인코더 dropout으로 비조건 학습, 샘플링 시 guidance scale 1.0/2.5/5.0 (SD3 논문 Appendix B.3)