Вчені адаптували мовні моделі для роботи з байтами замість токенів
Retrofitting language models to operate over bytes
Дослідники розробили метод «байтифікації», який дозволяє переналаштувати великі мовні моделі для роботи безпосередньо з байтами даних замість підслівних токенів. За даними статті в Nature, такі моделі за якістю наближаються до традиційних підслівних систем. Автори вважають, що підхід може бути особливо корисним для обробки наукових даних.
Мовою оригіналу · EN
Byteification retrofits large language models to operate over bytes, approaching subword-based performance and aiding scientific data processing.
Чому в стрічці: Технічне дослідження з ШІ про нову архітектуру мовних моделей, релевантне AI-напрямку.