Розробник показав, як gzip може працювати як мовна модель без нейромереж
Can gzip be a language model?
Автор блогу продемонстрував, що звичайний компресор gzip можна перетворити на просту мовну модель без навчання і нейромереж, спираючись на еквівалентність стиснення й передбачення. Текстове продовження оцінюється за тим, наскільки добре воно стискається разом із контекстом та корпусом-«затравкою». Для генерації застосовано променевий пошук по байтах, а весь інструмент реалізовано на чистому Python із бібліотекою zlib.
Мовою оригіналу · EN
A developer showed that gzip can act as a crude language model with no neural network or training, by scoring continuations on how well they compress alongside a corpus. Generation uses beam search…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Технічний AI/tech матеріал з Hacker News, але нішовий і не в форматі новин про бізнес чи безпеку AI, що конвертують найкраще.