Multiverse Computing розробила метод стиснення LLM на основі фізики спінових систем
Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
Дослідники компанії Multiverse Computing запропонували новий спосіб видалення «блоків» великих мовних моделей, представивши вибір блоків для видалення як задачу мінімізації енергії спінової системи (модель Ізінга). За їхніми даними, метод дозволяє враховувати взаємний вплив блоків одне на одного, чого не роблять попередні підходи, і при стисненні Llama-3.3-70B-Instruct на 50% дає приріст майже на 23 пункти за тестом MMLU порівняно з найкращим конкурентним методом. Розрахунки для найскладніших випадків виконуються класичними, квантовими та квантово-надихненими солверами.
Мовою оригіналу · EN
Researchers at Multiverse Computing reformulated transformer block removal (depth pruning) as a constrained binary optimization problem equivalent to finding low-energy states of an Ising glass…
Читати оригінал на Hugging Face →
Чому в стрічці: Технічне дослідження зі стиснення LLM — стабільно висока зацікавленість темою AI.