Дослідник з Прінстона представив архітектуру Recurrent Looped Transformer
A Princeton Researcher Proposes Recurrent Looped Transformer (RLT) that Carries Decoder State across Every Token, Fixing 96 Blocks per Token with Unbounded Temporal Depth
Дослідник Прінстонського університету Їфань Чжан опублікував технічний звіт про архітектуру Recurrent Looped Transformer (RLT), яка передає повний стан декодера від токена до токена замість скидання між позиціями. Еталонна конфігурація поєднує по 48 шарів кодувальника й декодера, тобто 96 логічних блоків на токен, а структурна глибина обчислень необмежено зростає з довжиною послідовності. Автор наголошує, що це лише архітектурна специфікація без виміряних результатів щодо якості міркувань, ефективності чи масштабування.
Мовою оригіналу · EN
A Princeton researcher, Yifan Zhang, has proposed the Recurrent Looped Transformer (RLT), an architecture that carries the decoder's full state across every token instead of resetting between…
Читати оригінал на MarkTechPost →
Чому в стрічці: Технічна новинка в архітектурі LLM цікава через фокус користувача на AI, але без емпіричних результатів.