개요

이미지·영상의 인식, 분할, 생성을 다루는 분야. 현재 위키에는 이미지 생성(합성) 쪽 논문이 먼저 들어와 있으며, 생성모델 이론은 generative-models에서, 비전 과제(고해상도 합성, super-resolution, inpainting, text-to-image) 관점은 여기서 정리한다.

대표 논문

연도논문한 줄 요약status
20202020-ddpmdiffusion으로 CIFAR10 FID 3.17, LSUN에서 ProgressiveGAN급 품질read
20222022-ldmlatent diffusion으로 고해상도 합성·inpainting·SR·text-to-imagereading
20242024-sd3rectified flow + MM-DiT 8B text-to-imageto-read

연구 흐름 (타임라인)

timeline
    title 컴퓨터비전 — 이미지 생성 흐름
    2020 : DDPM (2020-ddpm)
    2022 : Latent Diffusion (2022-ldm)
    2024 : SD3 (2024-sd3)
  • 2020 — 2020-ddpm: 픽셀 공간 diffusion으로 고품질 무조건 이미지 생성 (§4.1)
  • 2022 — 2022-ldm: latent 공간으로 이동해 메가픽셀급 합성과 다양한 조건부 과제 (§4)
  • 2024 — 2024-sd3: 1024² text-to-image, GenEval 0.74 (Table 5)

하위 개념

미해결 문제

  • 고해상도로 갈수록 noise schedule을 해상도에 맞춰 조정해야 함 (2024-sd3 Eq. 34, Appendix C.2).
  • 텍스트 렌더링(typography)·복잡한 프롬프트 충실도는 대형 텍스트 인코더에 크게 의존 (2024-sd3 Appendix C.4).

다른 분야와의 연결

  • generative-models: 이미지 생성 논문의 이론적 기반 (diffusion, flow matching).
  • medical-ai: (해석) u-net 구조 공유, 의료 영상 합성·복원에 latent diffusion 응용 가능.