내가 가져갈 핵심 한 줄

텍스트에 diffusion을 적용하는 길은 “연속 임베딩에 Gaussian 노이즈”와 “토큰을 [MASK]로 흡수시키는 이산 diffusion” 두 갈래이고, masked diffusion LM은 데이터가 부족해 여러 epoch를 돌리는 상황에서 autoregressive LM보다 오래 개선된다.

종류: 영상 · 수준: 중급 · 길이: 12:28 · 분야: generative-models

한 줄 소개

Jia-Bin Huang이 이미지 diffusion의 직관에서 출발해 언어용 diffusion(연속 임베딩 → latent → masked/이산)과 스케일링·데이터 효율 결과까지 12분에 정리한 개관 영상. 화면 애니메이션 위주이고 수식은 거의 없다.

내가 주목한 구간

⭐ 03:37 Masked diffusion models — 이미지에서 “깨끗한 데이터와 순수 노이즈의 선형 결합”으로 노이즈 데이터를 만드는 직관을 텍스트로 옮긴다 (03:30). 토큰은 one-hot 벡터, 순수 노이즈는 특수 [MASK] 토큰의 one-hot이고, 둘의 가중합(합=1)이 유효한 categorical 분포가 된다. [MASK]는 흡수 상태(absorbing state)라 한번 마스크되면 이후 계속 마스크 (03:58, 04:28). 역과정은 전부 마스크된 시퀀스에서 시작해 마스크 위치마다 vocabulary 분포를 예측·샘플링하며 복원한다 (05:15). (해석) 이미지 쪽의 “선형 보간” 직관은 diffusion-model의 closed-form 를 단순화한 설명이다. 이산 공간에서는 Gaussian 대신 mask로의 전이 확률이 그 역할을 한다.

내용 요약

  • AR LLM의 한계: 오류 전파, 제어 어려움, 토큰 단위 순차 생성의 느림. diffusion은 반복 정제·명시적 제어·빠른 샘플링을 제공한다. 예시로 Mercury(초당 1000 토큰)를 든다 (00:13, 00:25).
  • 연속 임베딩 diffusion (Diffusion-LM): 토큰을 word embedding으로 바꿔 Gaussian 노이즈를 넣고 denoise한 뒤, 가장 가까운 토큰 임베딩으로 rounding한다. rounding 오류 하나로 문장이 무너질 수 있다 (01:26, 02:11).
  • latent diffusion for language: 문장·문단을 고정 크기 latent로 압축해 그 공간에서 diffusion을 하고, AR decoder로 텍스트로 복원한다. 더 큰 의미 단위로 일관성을 높인다 (02:46, 03:06). → latent-diffusion-model의 언어 버전.
  • masked diffusion: 위 “내가 주목한 구간” 참고. 병렬성·유연성·제어성이 장점이다. 한번 unmask한 토큰은 고칠 수 없다는 단점은 re-masking 전략으로 보완한다 (06:05, 06:35).
  • LLaDA: 처음부터 pre-training + SFT로 학습한 masked diffusion LM이다. 8B 모델이 in-context learning에서 LLaMA 3 8B와 대등하고, reversal poem completion에서 GPT-4o를 앞선다 (06:35, 07:00).
  • 스케일링: compute를 늘리면 masked diffusion의 최적 validation loss도 AR과 비슷한 기울기로 줄어든다. 다만 같은 loss에 약 16배 compute가 필요하다(single-epoch 기준) (07:58, 08:24).
  • 데이터 제약 환경: 데이터를 반복하면 AR은 곧 정체·과적합하고, diffusion은 계속 개선된다 (08:53, 09:19).
    • 1억 unique 토큰 기준, single epoch에서는 AR 7.07 vs diffusion 10.65로 AR이 낫다.
    • 여러 epoch에서는 diffusion 3.55 vs AR 3.71로 역전된다. 개선폭도 67% vs 48% (10:19).
  • 왜 데이터 효율적인가: AR은 고정된 좌→우 순서로만 학습하지만, masked diffusion은 같은 문장의 다양한 마스크 버전에서 학습한다 (10:51). 반복 데이터가 새 데이터만큼 유익한 구간이 AR은 약 4 epoch, diffusion은 약 100 epoch까지다 (11:52).

구간별 정리 (영상)

시간내용
00:00Autoregressive LLM 개요
00:13AR의 한계(오류 전파·제어·속도), Mercury 데모
00:56이미지 diffusion 복습 (forward 노이즈 추가 / denoising)
01:26Diffusion-LM: word embedding에 Gaussian diffusion, rounding 문제
02:46Latent diffusion: 문단 임베딩 공간에서 diffusion + AR decoder
⭐ 03:37Masked diffusion: one-hot + absorbing [MASK], 병렬 unmask (내가 주목한 구간)
07:41Diffusion LM 스케일링 법칙 (AR과 비슷한 기울기, 16× compute)
08:53데이터 제약 환경에서 AR vs diffusion, 반복 데이터 내성

논문과 비교한 이 자료의 가치

  • 직관: 이미지 diffusion → 연속 임베딩 → latent → 이산(mask) diffusion으로 이어지는 “노이즈를 무엇으로 정의하나”의 계보를 그림으로 한 번에 보여준다 (해석).
  • 위키와의 연결: 위키의 diffusion 논문들은 모두 연속 공간(픽셀·latent)의 Gaussian diffusion이다(diffusion-model). 이 영상은 이산 토큰 공간의 diffusion이라는, 위키에 없는 축을 보여준다 (해석).
  • 단순화한 부분: “깨끗한 데이터와 노이즈의 선형 결합” 설명은 diffusion-model의 (계수 제곱합=1)과 다르다. 오히려 rectified flow식 선형 보간에 가깝다. 이미지 diffusion을 정확히 소개한다기보다 이산 mask 전이를 설명하기 위한 비유로 봐야 한다 (해석).
  • 수치의 출처: 스케일링·데이터 효율 수치는 영상이 인용한 논문의 그래프에서 온 것이다. 원문 확인은 해당 논문을 Zotero로 넣은 뒤 하는 것이 좋다 (해석).

관련 논문·개념

  • explains: 2022-diffusion-lm (미수록) — 연속 word embedding diffusion과 rounding (01:26)
  • explains: 2021-d3pm (미수록) — 이산 상태 공간 diffusion (영상 설명란 참고문헌, 03:37 구간의 배경)
  • explains: 2024-mdlm (미수록) — masked(absorbing) diffusion LM (03:37–06:35)
  • explains: 2025-llada (미수록) — 대규모 masked diffusion LLM, LLaMA 3 8B와 대등 (06:35)
  • explains: 2025-diffusion-beats-ar (미수록) — 데이터 제약 환경에서 diffusion이 AR을 앞섬 (08:53)
  • 개념: diffusion-model · latent-diffusion-model