Лабораторія Тіма Деттмерса представила систему для запуску флагманських ШІ-моделей на побутовому «залізі»
Frontier AI on Your Own Hardware
Дослідник Тім Деттмерс та його університетська лабораторія оголосили «тиждень відкритого коду», в межах якого представили фреймворк для запуску великих мовних моделей на звичайному споживчому обладнанні. За його словами, система дозволяє запускати модель Qwen 3.8 Flash Next зі 125 млрд параметрів на одній відеокарті з 24 ГБ пам'яті, а DeepSeek V4.1 на 550 млрд параметрів — на MacBook чи звичайному ПК. Лабораторія також розробила автономну дослідницьку систему, яка, за твердженням автора, перевершує розробки Sakana AI та Google, і техніку стиснення контексту CliffCompaction, що вдвічі знижує витрати на роботу ШІ-агентів.
Мовою оригіналу · EN
Researcher Tim Dettmers and his university lab announce an "open-source week," unveiling a framework that runs frontier-scale models like Qwen 3.8 Flash Next (125B) on a single 24GB consumer GPU and…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Конкретна апаратна/технічна історія про локальний запуск фронтир-моделей ШІ — саме такий контент користувач клікає.