분야: generative-models · computer-vision
정의
사전학습된 autoencoder로 이미지를 압축한 2D latent 공간에서 생성모델(diffusion 또는 flow)을 학습하는 2단계 구조. 픽셀 공간 대비 학습·샘플링 비용을 크게 줄인다 (2022-ldm §3).
(2022-ldm Eq. 2)
작동 방식 / 핵심 구성요소
- 1단계 autoencoder: perceptual loss + patch adversarial loss (VQGAN 계열). , 다운샘플 비율 . KL-reg.(약한 KL 패널티) 또는 VQ-reg. (2022-ldm §3.1).
- 압축 비율: =4–8이 최적. =1–2는 학습이 느리고 =32는 품질 상한이 낮음. ImageNet에서 LDM-1 vs LDM-8 FID 차 38 (2M step) (2022-ldm §4.1, Fig. 5–6).
- 조건화: cross-attention으로 텍스트·레이아웃 등 주입, 공간 정렬된 조건은 concat (2022-ldm §3.3, §4.3.2).
- latent 채널 수 스케일링: SD3는 =8에서 채널 4/8/16을 비교 — 재구성 FID 2.41/1.56/1.06. 큰 모델(d=22)에서는 16채널이 8채널을 따라잡아 16채널 채택 (2024-sd3 §5.2.1, Table 3, Fig. 7).
- 생성 목적함수 교체: SD3는 같은 latent 설정 위에서 diffusion 대신 rectified-flow를 사용 (2024-sd3 §4).
장단점
- 장점: inpainting 학습 throughput 2.7× 이상, FID 1.6× 이상 개선 (2022-ldm Table 6). LSUN-Bedrooms에서 ADM 대비 파라미터 절반·학습 연산 4× 절감 (§4.2).
- 단점: autoencoder의 재구성 품질이 생성 품질 상한이 됨 (2022-ldm §4.1 — =32의 품질 한계; 2024-sd3 §5.2.1 — 채널 수 증가 동기).
등장·발전 논문 (연도순)
- 2021 — 2021-vqgan (미수록) — 1단계 autoencoder 설계의 기반
- 2022 — 2022-ldm — 최초 제안 (LDM)
- 2024 — 2024-sd3 — 16채널 latent + rectified flow + MM-DiT
관련 개념
- 기반 목적함수: 2020-ddpm (ε-prediction, 2022-ldm Eq. 1) · 상위: diffusion-model · 결합: rectified-flow, classifier-free-guidance · backbone: u-net · 응용: text-to-image-generation