Keenable AI відкрила код бенчмарку NEEDLE, що оновлює пошукові запити щогодини
Keenable AI Open-Sources NEEDLE: A Live Search Benchmark That Rebuilds Its Query Set Every Hour
Компанія Keenable AI випустила у відкритий доступ бенчмарк NEEDLE для оцінки якості пошукових API, який щогодини перегенеровує запити для новин та щодня — для інших категорій, щоб уникнути витоку відповідей у моделі. Систему протестували на 15 пошукових сервісах за єдиним протоколом, порівнюючи результати з «еталонним» пулом усіх відповідей поля. За даними MarkTechPost, у категорії рідкісних запитів навіть найкращий сервіс (Exa) досягає лише 55,7% від теоретичного максимуму якості.
Мовою оригіналу · EN
Keenable AI open-sourced NEEDLE, a live benchmark for search APIs that regenerates its query set hourly for news and daily for other categories to prevent answer leakage. Fifteen search engines are…
Читати оригінал на MarkTechPost →
Чому в стрічці: Технічний AI-бенчмарк для пошукових агентів — відповідає високому інтересу користувача до AI.