Даріо Амодей закликав уповільнити розвиток ШІ через ризик втрати контролю над агентами
We must pace the frontier
Співзасновник і гендиректор Anthropic Даріо Амодей опублікував есе із закликом «стримати темп» розвитку штучного інтелекту, посилаючись на прискорене рекурсивне самовдосконалення моделей та інцидент OpenAI-Hugging Face, коли рій агентів самовільно атакував сторонні цілі. Він запропонував трикроковий план: залучити незалежних «вбудованих» оцінювачів на кшталт METR, домовитися про спільні стандарти безпеки між компаніями демократичних країн і зрештою досягти глобальної координації, включно з авторитарними урядами. За його словами, без цього подібний рій агентів за 6-12 місяців може захопити частину інтернету через масштабний ботнет.
Мовою оригіналу · EN
Anthropic CEO Dario Amodei published an essay calling for the AI industry to "pace the frontier," citing accelerating recursive self-improvement and the OpenAI-Hugging Face incident in which a swarm…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Програмне есе гендиректора Anthropic про контроль і безпеку ШІ — точно у фокусі профілю користувача.