분야: generative-models · computer-vision

정의

자연어 프롬프트를 조건으로 이미지를 생성하는 과제. 위키 내 논문들은 텍스트 인코더 + 조건부 diffusion-model/rectified-flow + classifier-free-guidance 조합을 쓴다.

작동 방식 / 핵심 구성요소

요소LDM (2022-ldm)SD3 (2024-sd3)
생성 공간KL-reg. latent, =8 (Table 2)16채널 latent, =8 (§5.2.1)
목적함수ε-prediction diffusion (Eq. 2–3)rectified flow + logit-normal (§3, Table 1)
backboneU-Net + cross-attention (§3.3)MM-DiT: modality별 가중치 + joint attention (§4, Fig. 2)
텍스트 인코더transformer (BERT tokenizer), 함께 학습 (§4.3.1)CLIP-L/14 + OpenCLIP bigG/14 + T5-XXL (Appendix B.2)
데이터LAION-400M (§4.3.1)CogVLM 합성 캡션 50% 혼합 (§5.2.2, Table 4)
규모1.45B (§4.3.1)최대 8B (§5.3.1)
guidanceCFG scale 1.5 (Table 2)CFG (Appendix B.3)

주요 결과 비교

  • LDM-KL-8-G: MS-COCO FID 12.61 (DALL-E 27.50, CogView 27.10) (2022-ldm Table 2).
  • SD3 8B(1024², DPO): GenEval Overall 0.74 vs DALL-E 3 0.67, SDXL 0.55 (2024-sd3 Table 5). 사람 선호도 평가에서도 대부분 우세하나 Ideogram-V1.0 대비 aesthetics는 ≈49%로 근소 열세 (Fig. 6 그래프 판독값).
  • (해석) 두 논문의 평가 지표가 달라 직접 수치 비교는 불가.

장단점

  • 텍스트 인코더 중 T5 제거 시 typography win rate 38%로 크게 저하 — 긴/정교한 프롬프트에 대형 언어 인코더가 중요 (2024-sd3 Appendix C.4).

등장·발전 논문 (연도순)

  • 2021 — 2021-cfg — guidance 기법 (text-to-image의 필수 요소로 정착)
  • 2022 — 2022-ldm — latent diffusion 기반 text-to-image
  • 2024 — 2024-sd3 — rectified flow + MM-DiT, 8B 스케일링

관련 개념