Amazon Science пояснили, чому дослідницькі AI-агенти не перенавчаються на бенчмарках
Why don't machine learning research agents overfit?
Дослідники Amazon Science дослідили давню загадку машинного навчання: чому багаторазове «підганяння» моделей під ті самі бенчмарки не призводить до масового перенавчання, як передбачає класична теорія. Використавши LLM-агентів, які самостійно проводять цикли оптимізації, вони показали, що успішні стратегії ML можна стиснути до кількох токенів завдяки принципу бритви Оккама. В експерименті агент-«компресор» стискав знайдену стратегію в короткий промпт, а агент-«відтворювач» без доступу до валідаційних даних відтворював майже той самий результат лише за цим промптом — це і пояснює, чому прогрес на бенчмарках здебільшого реальний, а не ілюзорний.
Мовою оригіналу · EN
Amazon Science researchers investigate why iterative benchmark hill-climbing in machine learning doesn't cause the rampant overfitting classical theory predicts. Using LLM-based research agents that…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Технічне дослідження про AI-агенти й машинне навчання — влучає в домінантний інтерес користувача до AI-агентів.