Сандер Діелеман описав відродження безперервних дифузійних мовних моделей
Continuous Diffusion Language Models (CDLM's)
Дослідник Сандер Діелеман, відомий роботою над Imagen і Veo в Google DeepMind, описав нову хвилю досліджень безперервних дифузійних мовних моделей (CDLM) після кількох років переваги дискретних методів. Він простежує історію підходу — від перших спроб у 2021–2022 роках до «вимирання» безперервних методів наприкінці 2023-го через їхню значно нижчу ефективність навчання порівняно з авторегресійними моделями. За словами автора, останнім часом інтерес до цього напряму відновлюється, і він розбирає технічні причини цього повороту.
Мовою оригіналу · EN
Sander Dieleman surveys a recent resurgence of interest in continuous diffusion language models (CDLMs), after discrete diffusion methods had largely displaced them by late 2023. He traces the…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Глибокий аналітичний огляд тренду в дослідженнях мовних моделей — відповідає інтересу до AI.