Автор Redis випустив ds4 — рушій для локального запуску топових ШІ-моделей з відкритими вагами
From the creator of Redis; run LLM locally with ds4
Розробник, відомий як автор бази даних Redis, представив ds4 — компактний написаний на C рушій для локального запуску великих мовних моделей з відкритими вагами, зокрема DeepSeek V4 та GLM 5.x. Проєкт застосовує асиметричне 2-бітне квантування та кешування стану на SSD, щоб великі моделі-суміші експертів вміщалися на потужних Mac, CUDA- та ROCm-машинах. Інструмент надає API у стилі OpenAI та Anthropic, що дозволяє підключати до нього локальних кодових агентів, і набрав понад 100 балів на Hacker News.
Мовою оригіналу · EN
ds4 is a narrow C inference engine, from the creator of Redis, for running frontier open-weight models like DeepSeek V4 and GLM 5.x locally on high-memory Mac, CUDA and ROCm machines. It uses…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Локальний інференс топових відкритих ШІ-моделей від автора Redis — висока активність на Hacker News.