내가 가져갈 핵심 한 줄

깨끗한 데이터는 저차원 manifold 위에 있지만 노이즈·velocity는 고차원 전체에 퍼져 있으므로, 네트워크가 (깨끗한 이미지)를 직접 예측하게 하면 hidden 차원보다 큰 패치(768~12288-d)도 처리할 수 있다 — 그래서 tokenizer·사전학습·보조 손실 없이 픽셀 위의 plain ViT만으로 diffusion이 된다.

분야: generative-models · computer-vision · 핵심 개념: prediction-target, diffusion-transformer, diffusion-model, flow-matching, rectified-flow, latent-diffusion-model

원문 범위·표기

읽은 PDF는 CVPR 2026 Open Access 본문(11쪽, 인쇄 쪽 36115–36125, 참고문헌 포함)이며 부록은 포함되어 있지 않다 (본문이 “see appendix”로 미루는 noise scaling·in-context token 수·EDM 비교 등은 확인 불가). 쪽 번호 p.N은 PDF 물리 페이지. 시간 규약: → 노이즈, 데이터 (2023-rectified-flow·2023-flow-matching과 같고 2024-sd3와 반대).

문제·동기

  • Diffusion은 원래 “깨끗한 이미지를 예측하는 denoising”이었지만, 실제로는 ε-prediction(2020-ddpm)과 v-prediction(flow)이 표준이 되면서 네트워크가 노이즈 또는 노이즈 섞인 양을 예측하게 되었다 (§1, p.1).
  • 손실 가중치만 바꾸면 /ε/v 예측은 서로 변환 가능하다는 이유로, “네트워크가 무엇을 직접 출력하는가”는 덜 주목받았다 (§1, p.1).
  • Manifold 가정: 자연 이미지는 고차원 픽셀 공간의 저차원 manifold 위에 있지만, 노이즈 ε와 velocity 은 본질적으로 off-manifold다 (§1, Fig. 1, p.1). 고차원 노이즈를 예측하려면 노이즈 정보를 전부 보존할 큰 용량이 필요하지만, 깨끗한 데이터는 저차원 정보만 남기면 되므로 제한된 용량으로도 예측 가능하다 (§1, p.1–2).
  • latent 공간은 이 어려움을 “해결한 게 아니라 숨긴” 것이고, pretrained tokenizer 의존으로 diffusion이 self-contained하지 않다 (§1, p.2). 픽셀 diffusion은 dense conv·작은 패치·채널 증가·long skip으로 정보 병목을 피해 왔는데, 이는 고차원 noised quantity를 예측해야 했기 때문이라고 본다 (§1, p.2).
  • ViT식 diffusion은 토큰당 차원이 커지면 픽셀·latent 모두에서 급격히·파국적으로 무너진다는 보고가 반복되었다 (§2 “High-dimensional Diffusion”, p.3).

핵심 아이디어·방법

1. 예측 공간 vs 손실 공간 — 9가지 조합 (§3.1–3.2, Table 1)

  • 선형 schedule (Eq. 1), (Eq. 2), flow 손실 (Eq. 3), 샘플링은 를 50-step Heun으로 풂 (Eq. 4, §3.1, p.3). logit-normal (2024-sd3) (§3.1).
  • “x/ε/v-prediction”은 네트워크의 직접 출력이 각각 일 때만 부른다. 하나를 예측하면 Eq. 1–2로 나머지 둘을 계산할 수 있다 — 예: -pred이면 , (Eq. 5, Table 1, §3.2, p.4).
  • 손실은 어느 공간에서든 정의 가능하고, 공간을 바꾸는 것은 손실 재가중과 같다. 예: -pred + v-loss (§3.2, p.4). 3 예측 × 3 손실 = 9 조합, 이 중 수학적으로 같은 것은 없다 (§3.2, p.4–5). 어떤 조합이든 v로 변환해 같은 ODE로 샘플링 가능 (§3.2 “Generator Space”, p.5).
손실 \ 직접 출력(a) -pred(b) ε-pred(c) v-pred출처
(1) x-lossTable 1
(2) ε-lossTable 1
(3) v-lossTable 1

2. Toy 실험 — 고차원에 묻힌 저차원 데이터 (§3.3, Fig. 2)

  • 2차원 나선 데이터를 고정된 무작위 column-orthogonal 행렬 로 차원에 묻고, 256-d hidden 5층 ReLU MLP로 생성 학습(모두 v-loss) (§3.3, p.4–5).

Figure 2. 관측 차원 (행)에서 정답(주황)과 /ε/v-prediction(파랑)의 생성 결과. 부터 ε·v-pred는 나선이 뭉개지고, MLP 폭(256)보다 큰 에서는 ε-pred의 점이 플롯 범위에 거의 남지 않고 v-pred는 노이즈 구름이 되지만, -pred는 모든 에서 나선을 유지 — 출처: Li & He, 2026, Fig. 2 (arXiv)

  • -pred는 MLP가 under-complete( > 256)여도 잘 된다: 이상적인 출력이 암묵적으로 차원이기 때문 (§3.3, p.5).

3. JiT 아키텍처 — “Just image Transformers” (§4.1, Fig. 3)

  • 이미지를 비중첩 패치로 나눠 선형 임베딩 + positional embedding → Transformer 블록 → 선형 예측기로 패치()를 복원. 시간·클래스 조건은 adaLN-Zero. 즉 DiT를 픽셀 패치에 그대로 적용한 것 (§4.1, p.5, Fig. 3).
  • JiT/16(256², 패치 768-d), JiT/32(512², 3072-d) (§4.1, p.5). 1024²에서는 JiT/64(12288-d) (Table 5).
  • 최종 알고리즘 = -prediction + v-loss (Table 1 (3)(a)): , (Eq. 6, §4.3, p.7). 의 분모는 0.05로 clip (§4.3). Algorithm 1(학습)·2(Euler 샘플링) (p.7).
  • Bottleneck 패치 임베딩: 선형 임베딩을 차원으로 줄였다 늘리는 두 선형층(저랭크)으로 바꿈 (§4.2 “Bottleneck can be beneficial”, p.6, Fig. 4).
  • “Just Advanced” Transformer: 언어모델용 범용 개선 SwiGLU, RMSNorm, RoPE, qk-norm과 여러 개(기본 32개)의 in-context class token을 추가 (§4.4, p.7, Table 4).

주요 결과

무엇을 예측하는가 — 9 조합 (Table 2, p.6; FID-50K, 200 epoch, CFG)

손실-predε-predv-pred설정출처
x-loss10.14379.21107.55ImageNet 256², JiT-B/16 (768-d/패치)Table 2(a)
ε-loss10.45394.58126.88〃Table 2(a)
v-loss8.62372.3896.53〃Table 2(a)
x-loss5.766.206.12ImageNet 64², JiT-B/4 (48-d/패치)Table 2(b)
ε-loss3.564.023.76〃Table 2(b)
v-loss3.553.633.46〃Table 2(b)
  • 패치가 hidden(768)과 같은 768-d이면 -pred만 동작하고 ε/v-pred는 손실 공간과 무관하게 파국적으로 실패한다 (§4.2 “x-prediction is critical”, p.5, Table 2(a)).
  • 패치가 48-d로 hidden보다 훨씬 작으면 9 조합 모두 무난하고 차이는 작다 → 기존 latent diffusion은 입력 차원이 작아 이 문제에 노출되지 않았다 (§4.2, p.5, Table 2(b)).
  • 손실 가중만으로는 부족: ε/v-pred는 어떤 손실 공간(= 다른 유효 가중)에서도 실패하고, -pred는 세 손실 모두에서 동작한다. v-loss가 유도하는 가중이 선호되지만 결정적이지 않다 (§4.2 “Loss weighting is not sufficient”, p.5–6).

Noise-level shift (Table 3, p.6) — logit-normal μ로 노이즈 수준 조절

-predε-predv-pred출처
0.0 (낮은 노이즈)14.44464.25120.03Table 3
−0.49.79372.91109.93Table 3
−0.88.62372.3696.53Table 3
−1.2 (높은 노이즈)8.99355.25106.85Table 3
  • 적절히 높은 노이즈는 이미 잘 되는 -pred에 도움이 되지만, ε/v-pred의 실패는 노이즈 shift만으로 고칠 수 없다 — 실패 원인은 고차원 정보를 전달하지 못하는 것 (§4.2 “Noise-level shift is not sufficient”, p.6). 이후 256² 실험은 (§4.2).

Bottleneck 임베딩 (Fig. 4, p.6 — JiT-B/16, 원 패치 768-d)

bottleneck 163264128256512없음(768)출처
FID-50K9.408.387.357.487.898.158.62Fig. 4
  • 16-d까지 줄여도 파국적 실패가 없고, 32~512 범위의 bottleneck은 최대 약 1.3 FID 개선 (§4.2, p.6, Fig. 4). 고전 manifold learning의 bottleneck 관찰과 맞닿는다 (§4.2).
  • hidden 폭을 패치 차원 이상으로 늘리는 것은 필요하지 않다: 3072-d·12288-d 패치에서도 B/L/H 모델이 노이즈만 비례 조정(512에서 2×, 1024에서 4×)하고 동작 (§4.2 “Increasing hidden units is not necessary”, p.6–7).

Just Advanced Transformer (Table 4, p.7 — 256², bottleneck 128-d, 괄호는 CFG interval 적용)

구성JiT-B/16JiT-L/16출처
Baseline (SwiGLU, RMSNorm)7.48 (6.32)—Table 4
+ RoPE, qk-norm6.69 (5.44)—Table 4
+ in-context class tokens5.49 (4.37)3.39 (2.79)Table 4
  • SwiGLU·RMSNorm을 빼면 7.48 → 7.89로 약간 나빠진다 (p.7 각주 5).

고해상도·스케일링 (Table 5–6, p.7)

해상도모델패치 차원hidden파라미터GflopsFID출처
256²JiT-B/16768768131M254.37Table 5
512²JiT-B/323072768133M264.64Table 5
1024²JiT-B/6412288768141M304.82Table 5
FID-50K (200 → 600 epoch)BLHG출처
256², /164.37 → 3.662.79 → 2.362.29 → 1.862.15 → 1.82Table 6
512², /324.64 → 4.023.06 → 2.532.51 → 1.942.11 → 1.78Table 6
  • 패치 크기를 해상도에 비례시켜 시퀀스 길이(16×16)를 고정하므로 512²·1024²도 연산량이 256²과 거의 같다 (§5, p.7, Table 5). 모델이 클수록 256과 512의 FID 차이가 줄고, JiT-G는 512²가 오히려 낮다 — 저자는 큰 모델의 ImageNet FID가 과적합에 좌우되고 512² denoising이 더 어려워 과적합이 덜하다고 해석 (§5 “Scalability”, p.7).

기존 방법과 비교 (Table 7–8, p.8 — FID-50K / IS, “pre-training” = 필요한 외부 모델)

방법 (ImageNet 256²)외부 사전학습파라미터GflopsFID ↓IS ↑출처
DiT-XL/2SD-VAE, VGG675+49M1192.27278.2Table 7
REPA, SiT-XL/2SD-VAE, VGG, DINOv2675+49M1191.42305.7Table 7
RAE, DiT^DH-XL/2RAE, VGG, DINOv2839+415M1461.13262.6Table 7
ADM-G (픽셀)—554M11204.59186.7Table 7
SiD2, UViT/1 (픽셀)—N/A6531.38—Table 7
PixelFlow, XL/4 (픽셀)—677M29091.98282.1Table 7
PixNerd, XL/16 (픽셀)DINOv2700M1342.15297Table 7
JiT-H/16 (픽셀)—953M1821.86303.4Table 7
JiT-G/16 (픽셀)—2B3831.82292.6Table 7
방법 (ImageNet 512²)외부 사전학습GflopsFID ↓출처
DiT-XL/2SD-VAE, VGG5253.04Table 8
RAE, DiT^DH-XL/2RAE, VGG, DINOv26421.13Table 8
SiD2, UViT/2 (픽셀)—6531.48Table 8
PixNerd, XL/16 (픽셀)DINOv25832.84Table 8
JiT-G/32 (픽셀)—3841.78Table 8
  • JiT는 외부 모델(tokenizer·perceptual loss·self-supervised 표현) 없이 plain Transformer만 쓰고, 해상도를 두 배로 올려도 연산이 제곱으로 늘지 않는다 (§5 “Reference results”, p.8).
  • (해석) 절대 FID는 latent+DINOv2 계열(RAE 1.13)이나 SiD2(1.38)보다 높다. JiT의 강점은 “외부 사전학습 없음 + 적은 Gflops” 조건에서의 경쟁력이다.

한계

  • 손실·예측 공간 분석은 선형 schedule 하나로 진행했다 (§3.1, 각주 1 — 저자는 다른 schedule에도 적용 가능하다고 주장). (해석) EDM식 pre-conditioning과의 정량 비교는 부록에 있어 이번 PDF로는 확인 불가.
  • manifold 가정에 근거한 설명은 toy(Fig. 2)와 ImageNet 경험 결과로 뒷받침될 뿐, 이론적 증명은 없다 (§3.3, §6) (해석).
  • 실험은 ImageNet class-conditional에 한정되고 텍스트 조건·비디오·다른 도메인은 다루지 않는다. 과학 데이터(단백질·분자·날씨)로의 일반화는 기대로만 제시 (§1, §6).
  • 최고 수치는 600 epoch·CFG·CFG interval에 의존 (Table 4–6). 추가 손실·사전학습을 쓰면 더 좋아질 수 있으나 미래 과제로 남김 (§5, p.8).
  • 분모를 0.05로 clip하는 수치 처리가 필요 (§4.3, p.7) — (해석) 근처 v 재구성이 불안정하다는 뜻.
  • 고해상도에서 노이즈를 해상도에 비례해 키우는 조정은 여전히 필요 (§4.2, p.7).

내 연구와의 연결

  • (해석) 3D 의료 영상(CT/MRI) 생성: 볼륨은 픽셀 공간 차원이 매우 크고 좋은 3D tokenizer를 구하기 어렵다. -prediction + 큰 3D 패치 + bottleneck 임베딩이면 VAE 없이 볼륨 위에서 직접 diffusion을 시도할 수 있다 — tokenizer 설계가 어려운 도메인에 유리하다는 저자의 주장(§6)과 정확히 맞는다.
  • (해석) 분할·복원과의 연결: 의료 영상 복원·분할은 원래 깨끗한 신호(마스크·영상)를 출력하는 문제라 -pred가 자연스럽다 (§2 “x-prediction”에서 restoration 언급). diffusion 기반 분할 모델의 출력 parameterization을 ε → x로 바꾸는 실험이 바로 가능하다.
  • (해석) 로보틱스 행동 생성: action chunk처럼 차원이 큰 출력을 flow로 생성할 때도 “네트워크 폭 < 출력 차원”이면 (clean action) 예측이 유리할 수 있다 — flow policy 설계 시 확인할 가설.
  • (해석) 우리 쪽 모델에서 ε/v 예측이 고해상도에서 이유 없이 불안정했다면, 먼저 “토큰당 차원 vs hidden 폭”을 점검해 볼 것.

관련 논문

  • builds-on: 2023-rectified-flow — 선형 schedule , , v-loss와 ODE 샘플링 (§3.1, Eq. 1–4)
  • builds-on: 2023-flow-matching — flow 기반 정식화(v-space 손실)를 출발점으로 사용 (§3.1, Eq. 3)
  • builds-on: 2024-sd3 — logit-normal timestep 샘플러(§3.1, Table 3의 shift), 예측 공간 간 변환 유도의 선행 사례 (§3.2)
  • builds-on: 2023-dit (미수록) — adaLN-Zero 조건화, “DiT를 픽셀 패치에 적용”한 구조 (§4.1); latent 비교 baseline DiT-XL/2 (Table 7–8)
  • builds-on: 2021-vit (미수록) — patch 기반 plain ViT(B/L/H 크기 정의 포함) (§4.1–4.2)
  • builds-on: 2021-cfg — 모든 실험에 CFG 사용, CFG interval 추가 (Table 2–6, §4.3)
  • compares-with: 2020-ddpm — -prediction은 DDPM 코드에도 있었으나 DDPM은 ε-prediction이 훨씬 낫다고 보고했다; 본 논문은 저차원(64², 48-d 패치)에서는 차이가 작고 고차원에서만 -pred가 결정적임을 보임 (§2 “x-prediction”, Table 2)
  • compares-with: 2022-ldm — latent diffusion을 “1단계 autoencoder로 manifold learning + 2단계 diffusion”으로 해석하고, latent 의존 없는 픽셀 diffusion을 지향. SD-VAE 기반 latent 방법들과 수치 비교 (§2 “Manifold Learning”, §1, Table 7–8)
  • compares-with: 2022-progressive-distillation (미수록) — Salimans & Ho의 v-prediction·손실 가중×예측 조합 탐색(CIFAR-10)과 대비: 고차원에서는 가중만으로 설명되지 않음 (§2, §4.2, 각주 3)
  • compares-with: 2022-edm (미수록) — EDM의 pre-conditioned 출력도 데이터와 노이즈를 섞은 양이라는 점에서 대비 (§2; 정량 비교는 부록)
  • compares-with: 2025-sid2 (미수록) — 픽셀 diffusion SOTA(SiD2 UViT/1 FID 1.38, 653 Gflops) 대비 JiT-G/16 1.82 (383 Gflops) (Table 7)