Shopify скоротила системні промпти LLM у 4 рази за допомогою технології Gisting
Shopify Introduces Gisting: Compressing LLM System Prompts into Learned Tokens
Компанія Shopify розробила техніку Gisting, яка стискає довгі системні промпти великих мовних моделей у невелику кількість «навчених» токенів без зміни ваг моделі. За даними InfoQ, у агента Sidekick GraphQL промпт скоротили з 6000 до 1500 токенів, що знизило затримку відповіді з 6,8 до 4,2 секунди та підвищило пропускну здатність з 20,2 до 23,4 запиту на секунду. Це дозволило компанії зменшити кількість використовуваних GPU.
Мовою оригіналу · EN
Shopify introduced Gisting, a technique that compresses long LLM system prompts into a small set of learned "gist" tokens without altering model weights. In its Sidekick GraphQL agent, the prompt was…
Чому в стрічці: Технічна новина про оптимізацію LLM відповідає стабільному інтересу користувача до конкретних AI-розробок.