분야: generative-models

정의

하나의 네트워크를 조건부·비조건부 겸용으로 학습한 뒤, 샘플링 때 두 예측을 외삽해 조건 충실도(fidelity)와 다양성 사이를 조절하는 기법. 별도 classifier가 필요 없다 (2021-cfg §3.2).

(2021-cfg Eq. 6, Algorithm 2). 이 논문의 표기에서 이 guidance 없음 (Table 1–2 캡션). (해석) 이후 논문들은 흔히 로 쓰며 , 즉 이 guidance 없음 — LDM의 “scale 1.5”, SD3의 “CFG 5.0”은 이 표기로 보인다.

작동 방식 / 핵심 구성요소

  • 학습: 확률 로 조건을 null token ∅로 바꿈. 추가 파라미터 없음 (2021-cfg Algorithm 1). 0.1–0.2가 0.5보다 좋음 (§4.2, Table 1).
  • 해석: 암묵적 classifier 의 gradient를 따르는 것. 다만 은 일반적으로 어떤 classifier의 gradient도 아니어서 adversarial attack으로 볼 수 없음 (2021-cfg §3.2).
  • 비용: 매 스텝 forward 2회 (2021-cfg §4.3).
  • text-to-image에서의 사용:
    • LDM: scale 1.5, MS-COCO FID 23.35 → 12.61 (2022-ldm Table 2), ImageNet LDM-4-G FID 3.60 (2022-ldm Table 3).
    • SD3: 세 텍스트 인코더를 각각 46.4% 확률로 drop해 약 10% 비조건 학습, 샘플링 scale 1.0/2.5/5.0 비교 (2024-sd3 Appendix B.3, §5.1).

장단점

  • 장점: classifier 학습 불필요, 단순, 모든 조건 유형에 적용 가능. ImageNet 128² FID 2.43 vs classifier guidance(ADM-G) 2.97 (2021-cfg Table 2).
  • 단점: 스텝당 연산 2배, guidance가 강하면 다양성 감소·색 포화 (2021-cfg §4.3, Fig. 3).

등장·발전 논문 (연도순)

  • 2021 — 2021-guided-diffusion (미수록) — classifier guidance (선행)
  • 2021 — 2021-cfg — 최초 제안
  • 2022 — 2022-ldm — text-to-image·class-conditional LDM에 적용
  • 2024 — 2024-sd3 — rectified flow 기반 대규모 text-to-image에 적용

관련 개념