정의
데이터 분포의 score 를 신경망 로 추정하는 학습법. denoising score matching은 노이즈를 섞은 데이터에서 조건부 score 를 회귀한다. 학습된 score로 (annealed) Langevin dynamics를 돌려 샘플을 만든다. (정의 일반론은 위키 외 지식, 연결 관계는 아래 논문 근거)
작동 방식 / 핵심 구성요소
- Diffusion과의 등가성: DDPM의 ε-prediction 손실은 시점별 가중치 를 곱한 ε-MSE이며, 이는 다중 noise scale denoising score matching과 닮았다 (2020-ddpm §3.2, Eq. 12). 샘플링(Algorithm 2)은 를 데이터 밀도의 학습된 gradient로 쓰는 Langevin dynamics와 유사 (2020-ddpm §3.2). 저자들은 이 등가성을 주요 기여로 명시 (§1).
- 가중치: 가중치를 뺀 은 NCSN의 손실 가중과 유사 (2020-ddpm §3.4).
- Guidance 해석: classifier-free guidance는 암묵적 classifier 의 score 를 더하는 것으로 해석 (2021-cfg §3.2).
- Flow matching과의 관계: SM 손실은 형태 (2023-flow-matching Appendix E.1, Eq. 42–43). CFM은 denoising score matching에서 영감을 받았지만 vector field를 직접 회귀하도록 일반화 (§5). diffusion 경로에서 FM의 vector field는 probability flow ODE와 일치 (Appendix D, Eq. 40).
장단점
- 장점: 정규화 상수가 필요 없음, 노이즈 다중 스케일로 안정적 학습 (위키 외 지식).
- 단점: 같은 경로에서 FM보다 학습이 덜 안정적·느림 — CIFAR-10 FID 19.94 vs FM-OT 6.35 (2023-flow-matching Table 1, §4.1 Fig. 4).
등장·발전 논문 (연도순)
- 2019 — 2019-ncsn (미수록) — denoising score matching + annealed Langevin
- 2020 — 2020-ddpm — diffusion 학습 목적함수가 DSM과 등가임을 보임
- 2021 — 2021-cfg — guidance를 score 조합으로 해석
- 2022 — 2022-ldm — 목적함수가 denoising score matching을 반영한다고 언급 (§3.2)
- 2023 — 2023-flow-matching — SM을 vector field 회귀로 일반화하고 baseline으로 비교
관련 개념
- 연결: diffusion-model · 일반화: flow-matching · 응용: classifier-free-guidance