분야: generative-models

정의

Diffusion·flow 모델에서 네트워크가 직접 출력하는 양의 선택. 노이즈 섞인 입력 와 시간 를 받아 깨끗한 데이터 , 노이즈 , 또는 velocity 중 하나를 예측한다.

  • ε-prediction: 섞인 노이즈를 예측 — DDPM이 대중화 (2020-ddpm §3.2, Eq. 11).
  • v-prediction / velocity: flow의 속도를 예측. 직선 경로에서는 (데이터−노이즈) 회귀 (2023-rectified-flow Eq. 1), FM의 조건부 VF 회귀 (2023-flow-matching Eq. 9).
  • x-prediction: 깨끗한 데이터를 직접 예측 (2026-jit §3.2).

예측 공간 ≠ 손실 공간: 하나를 예측하면 보간식으로 나머지 둘을 계산할 수 있고, 다른 공간에서 손실을 매기는 것은 시간별 손실 재가중과 같다 (2026-jit §3.2, Table 1; 2024-sd3 §2의 통일 손실 ). 예: 일 때 -pred + v-loss (2026-jit §3.2).

작동 방식 / 핵심 구성요소

  • 변환표 (, ): -pred이면 , ; ε-pred이면 ; v-pred이면 (2026-jit Table 1). 어떤 조합이든 v로 바꿔 같은 ODE로 샘플링 가능 (2026-jit §3.2).
  • DDPM의 선택: 직접 예측은 초기 실험에서 품질이 나빴고 ε-prediction + 이 가장 좋았다 (2020-ddpm §3.2, §4.2, Table 2).
  • SD3의 비교: eps/linear, v/linear, v/cos, rf(velocity) 등을 가중치 만 다른 하나의 손실로 통일해 비교 — 최고는 velocity 예측 RF + logit-normal (rf/lognorm(0,1) rank 1.54) (2024-sd3 §2–3, Table 1).
  • JiT의 주장 — 차원이 결정적: 토큰당 차원이 네트워크 폭과 비슷하거나 크면 ε/v-pred는 손실 공간·노이즈 shift와 무관하게 파국적으로 실패하고 -pred만 동작한다 (ImageNet 256², JiT-B/16: 8.62 vs ε 372.38 vs v 96.53, v-loss 기준) (2026-jit Table 2(a), Table 3). 토큰당 48-d일 때는 차이가 작다 (2026-jit Table 2(b)). 근거는 manifold 가정 — 데이터는 저차원, 노이즈·velocity는 고차원 (2026-jit §1, Fig. 1–2).

변형·발전

  • diffusion-transformer — 큰 패치(고차원 토큰)를 쓰는 픽셀 DiT에서 예측 대상 선택이 성패를 가른다 (2026-jit §4.2)
  • (해석) EDM의 pre-conditioned F-prediction은 와 노이즈를 섞은 출력이라 JiT 기준으로는 -pred가 아니다 (2026-jit §2; 2024-sd3 Eq. 14–16)

장단점

  • ε-prediction — 장점: 저차원(CIFAR, latent)에서 강함, score-matching과 등가 해석 (2020-ddpm §3.2). 단점: 고차원 토큰에서 붕괴 (2026-jit Table 2(a)).
  • v-prediction — 장점: 직선 경로 ODE와 바로 맞물리고 적은 step 샘플링에 유리 (2023-rectified-flow §2.2, 2024-sd3 Table 1). 단점: 노이즈가 섞인 양이라 고차원 토큰에서 같은 문제 (2026-jit Table 2(a)).
  • x-prediction — 장점: 네트워크 폭 < 출력 차원이어도 동작, bottleneck 임베딩도 허용 (2026-jit Fig. 4). 단점: v로 바꿀 때 가 에서 커져 분모 clip이 필요 (2026-jit §4.3); 저차원에서는 DDPM 보고대로 ε보다 약할 수 있음 (2020-ddpm §3.2, 2026-jit Table 2(b) x-loss 행).

등장·발전 논문 (연도순)

  • 2020 — 2020-ddpm — ε-prediction 도입, 예측보다 우수 보고
  • 2023 — 2023-flow-matching — 조건부 vector field(velocity) 회귀
  • 2023 — 2023-rectified-flow — 직선 방향 회귀(velocity)
  • 2024 — 2024-sd3 — eps/v/velocity를 통일 손실로 대규모 비교
  • 2026 — 2026-jit — 고차원에서 -prediction이 결정적임을 보이고 픽셀 ViT diffusion 실현

관련 개념

추천 학습 자료

  • lecture-2026-cme296-model-training — 강의 · 중급 · 1:41 · ε(DDPM)·score·velocity(flow) 손실을 “같은 문제의 세 관점”으로 비교 (x-prediction은 다루지 않음)