Prime Intellect запустила платформу інференсу Prime Inference для відкритих ШІ-моделей
Prime Intellect Launches Prime Inference: Serverless and Reserved Serving for Frontier Open Models
Компанія Prime Intellect запустила сервіс Prime Inference — платформу серверного та зарезервованого обслуговування флагманських відкритих ШІ-моделей на власних GPU у кількох дата-центрах, пише MarkTechPost. До публічного релізу вона обробляла майже трильйон токенів на день для внутрішніх задач компанії. Платформа працює з моделлю GLM-5.3 на чипах NVIDIA Blackwell, сумісна з OpenAI SDK і використовує стек Dynamo, vLLM, Mooncake та FlashInfer.
Мовою оригіналу · EN
Prime Intellect has launched Prime Inference, a serving platform offering serverless and reserved capacity for frontier open-source AI models on its own GPUs across multiple datacenters. Before…
Читати оригінал на MarkTechPost →
Чому в стрічці: Технічний deep dive про AI-інфраструктуру та serving-стек — відповідає профілю трейд-преси й хардверу/AI-інфри.