Розробники запустили повну модель Kimi K3 (2,8 трлн параметрів) на MacBook Pro
Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs
Проєкт Deltafin продемонстрував запуск повної, нестисненої моделі Kimi K3 на 2,8 трильйона параметрів на MacBook Pro зі швидкістю близько 1 токена за секунду, повідомляє Hacker News. Усі 16 експертів моделі стрімляться з чотирьох SSD-накопичувачів без зменшення точності ваг, на відміну від конкурентних рішень, що квантують модель заради швидкості. Автори називають це дослідженням меж продуктивності споживацького обладнання, а не готовим продуктом.
Мовою оригіналу · EN
The Deltafin fork streams the full, unpruned 2.8-trillion-parameter Kimi K3 model from four SSDs on an Apple Silicon MacBook Pro, reaching about 1 token per second. The project keeps all 16 routed…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Технічний ШІ-експеримент з Hacker News — джерела, яке користувач переглядає щодо можливостей моделей.