Nvidia і Cerebras сперечаються через показники швидкості ШІ-чипів, яких клієнти навряд чи побачать
Nvidia and Cerebras are selling performance their customers will (probably) never see
Nvidia і Cerebras на конференції Hot Chips представили конкуруючі рекордні показники швидкості інференсу для моделі Gemma 4 31B — близько 3400 токенів за секунду. Аналітики The Register зазначають, що ці цифри отримані в нереалістичних умовах обробки одного запиту і не відображають реальну продуктивність через обмеження обсягу пам'яті чипів. На практиці компанії, ймовірно, поєднуватимуть такі спеціалізовані чипи зі звичайними GPU для економічно вигіднішого інференсу.
Мовою оригіналу · EN
Nvidia and Cerebras traded competing inference speed claims at Hot Chips, each touting roughly 3,400 tokens/second on Gemma 4 31B. The Register argues these figures reflect single-request benchmarks…
Читати оригінал на The Register →
Чому в стрічці: Глибокий технічний аналіз конкуренції у сфері AI-чипів та інференсу, пряме влучання в тему AI.