분야: generative-models · computer-vision
정의
자연어 프롬프트를 조건으로 이미지를 생성하는 과제. 위키 내 논문들은 텍스트 인코더 + 조건부 diffusion-model/rectified-flow + classifier-free-guidance 조합을 쓴다.
작동 방식 / 핵심 구성요소
| 요소 | LDM (2022-ldm) | SD3 (2024-sd3) |
|---|---|---|
| 생성 공간 | KL-reg. latent, =8 (Table 2) | 16채널 latent, =8 (§5.2.1) |
| 목적함수 | ε-prediction diffusion (Eq. 2–3) | rectified flow + logit-normal (§3, Table 1) |
| backbone | U-Net + cross-attention (§3.3) | MM-DiT: modality별 가중치 + joint attention (§4, Fig. 2) |
| 텍스트 인코더 | transformer (BERT tokenizer), 함께 학습 (§4.3.1) | CLIP-L/14 + OpenCLIP bigG/14 + T5-XXL (Appendix B.2) |
| 데이터 | LAION-400M (§4.3.1) | CogVLM 합성 캡션 50% 혼합 (§5.2.2, Table 4) |
| 규모 | 1.45B (§4.3.1) | 최대 8B (§5.3.1) |
| guidance | CFG scale 1.5 (Table 2) | CFG (Appendix B.3) |
주요 결과 비교
- LDM-KL-8-G: MS-COCO FID 12.61 (DALL-E 27.50, CogView 27.10) (2022-ldm Table 2).
- SD3 8B(1024², DPO): GenEval Overall 0.74 vs DALL-E 3 0.67, SDXL 0.55 (2024-sd3 Table 5). 사람 선호도 평가에서도 대부분 우세하나 Ideogram-V1.0 대비 aesthetics는 ≈49%로 근소 열세 (Fig. 6 그래프 판독값).
- (해석) 두 논문의 평가 지표가 달라 직접 수치 비교는 불가.
장단점
- 텍스트 인코더 중 T5 제거 시 typography win rate 38%로 크게 저하 — 긴/정교한 프롬프트에 대형 언어 인코더가 중요 (2024-sd3 Appendix C.4).
등장·발전 논문 (연도순)
- 2021 — 2021-cfg — guidance 기법 (text-to-image의 필수 요소로 정착)
- 2022 — 2022-ldm — latent diffusion 기반 text-to-image
- 2024 — 2024-sd3 — rectified flow + MM-DiT, 8B 스케일링