OpenAI покращила систему кешування промптів для GPT-6
Better prompt caching for GPT-6
OpenAI повідомила про вдосконалення кешування промптів (prompt caching) для моделі GPT-6, що підвищує частоту влучень у кеш і знижує затримку та вартість запитів. За словами компанії, розробники отримують розширену діагностику та явні точки розриву кешу (cache breakpoints).
Мовою оригіналу · EN
OpenAI announced improvements to prompt caching for GPT-6, including higher cache hit rates, new diagnostics, explicit breakpoints, and controls that reduce latency and costs, the company said.
Чому в стрічці: AI-інфраструктурна новина від OpenAI — тема, яку користувач читає найактивніше після України.