Дослідники представили Context Language Models, що самостійно керують власним контекстом
Context Language Models
Команда дослідників, зокрема з Meta та Allen Institute for AI, представила Context Language Models (CLM) — мовні моделі, які самі керують своїм контекстом, розглядаючи його як файл, що можна довільно редагувати. За заявою авторів, такий підхід перевершує існуючі стратегії керування контекстом: на тесті BrowseComp-Plus точність зросла на 11,4% при скороченні обчислень на 21,5%, а на 12-годинному EdgeBench — на 5% при економії 59% обчислень. Крім того, автори представили метод онлайн-навчання з підкріпленням, який підвищив результати моделі Qwen3.5-9B на 47,6% при скороченні обчислень на 12%.
Мовою оригіналу · EN
Researchers introduce Context Language Models (CLMs), which natively manage their own context by treating it as a file they can freely edit. The authors report that CLMs outperform state-of-the-art…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Технічний прорив у керуванні контекстом LLM відповідає високому інтересу користувача до AI-досліджень.