Дослідники Allen Institute створили BenchMIRT для аудиту бенчмарків мовних моделей
BenchMIRT: What are LLM benchmarks actually measuring?
Дослідницька лабораторія Allen Institute for AI представила BenchMIRT — метод аналізу бенчмарків для великих мовних моделей на рівні окремих запитань, а не лише підсумкового балу. За словами розробників, підхід ґрунтується на багатовимірній теорії тестових завдань (IRT) і дозволяє виявити, які приховані здібності — наприклад, безпека чи загальне міркування — насправді визначають результат моделі на тому чи іншому бенчмарку. У тестах на 100 моделях і 16 бенчмарках метод показав, що деякі тести на «безпеку», зокрема BBQ і WMDP, більшою мірою відображають здатність моделі міркувати, а не її безпечну поведінку.
Мовою оригіналу · EN
Allen Institute for AI introduces BenchMIRT, a method for auditing LLM benchmarks at the level of individual prompts using multidimensional item response theory. Trained on 100 models across 16…
Читати оригінал на Hugging Face →
Чому в стрічці: Технічна новина про методологію оцінки LLM відповідає стійкому інтересу користувача до AI-розробок.