Liquid AI випустила LFM2.5-VL-3B-DSpark для прискорення декодування у vision-language моделях до 3,13 раза
Liquid AI Releases LFM2.5-VL-3B-DSpark: Speculative Decoding for Vision-Language Models With Up to 3.13x Faster Decoding
Компанія Liquid AI представила експериментальну модель-«чернетку» LFM2.5-VL-3B-DSpark, яка прискорює декодування її зорово-мовної моделі LFM2.5-VL-3B. За даними компанії, техніка спекулятивного декодування дає приріст швидкості до 3,13 раза на чипах Apple та до 2,66 раза на NVIDIA H100 без втрати якості виводу. Ваги моделі вже опубліковані на Hugging Face з підтримкою SGLang, MLX-VLM та llama.cpp.
Мовою оригіналу · EN
Liquid AI released LFM2.5-VL-3B-DSpark, an experimental speculative-decoding draft model that speeds up its vision-language model's decoding by up to 3.13x on Apple silicon and 2.66x on NVIDIA H100…
Читати оригінал на MarkTechPost →
Чому в стрічці: Технічний реліз прискорення декодування ШІ-моделей, релевантний високому інтересу користувача до AI.