Співзасновник Arklex AI пояснив, чому 95% ШІ-агентів не доходять до продакшну
Presentation: From AI Agent Demo to Production: Automated Testing and Evaluation
Дослідник Колумбійського університету і співзасновник Arklex AI Чжоу Ю заявив, що переважна більшість ШІ-агентів залишаються цікавими демонстраціями, але не створюють реальної цінності в продакшні. За його словами, головна перешкода — застарілі методи оцінки: традиційні статичні бенчмарки для однорівневих запитів не працюють для багатораундових діалогових агентів, чиї відповіді залежать від контексту та змінних даних інструментів. Він також зазначив, що у фінансовій та інших регульованих галузях розгортання агентів гальмує саме складність проходження комплаєнс-перевірки.
Мовою оригіналу · EN
Zhou Yu, co-founder of Arklex AI and Columbia professor, said that roughly 95% of AI agents remain impressive demos but fail to create real production value. He explained that traditional static…
Чому в стрічці: Технічна доповідь про оцінку ШІ-агентів у продакшні — резонує з інтересом користувача до можливостей та обмежень AI.