Google скоротив час завантаження ШІ-моделей на GKE на 89% завдяки знімкам подів
GKE Pod Snapshots Cut Model Load Times, and Move the Work to Snapshot Lifecycle Management
Google опублікувала результати тестування функції знімків подів (Pod snapshots) у Google Kubernetes Engine, яка скорочує час запуску великих ШІ-моделей до 89%: 70-мільярдна модель завантажується за 37 секунд, 8-мільярдна — за 15. Технологія зберігає повний стан робочого навантаження, включно з пам'яттю CPU і GPU, і відновлює його без повторної ініціалізації моделі. Функція працює лише на подах у GKE Sandbox на базі gVisor і має обмеження — від несумісності знімків після оновлення драйверів до відсутності відновлення мережевих з'єднань. Клієнт Google, компанія Codeway, повідомила про скорочення часу запуску з хвилини до 8 секунд.
Мовою оригіналу · EN
Google published benchmark results for GKE Pod snapshots showing startup latency cuts of up to 89%, with a 70B model loading in 37 seconds and an 8B model in 15. The feature checkpoints full workload…
Чому в стрічці: Технічна новина про інфраструктуру запуску ШІ-моделей у хмарі Google — цікаво для tech-аудиторії.