Perplexity відкрила код Lily — рушія інференсу на Rust і Metal для Qwen3.6 на Apple Silicon
Perplexity Open Sources Lily: A Rust + Metal Inference Engine for Qwen3.6-35B-A3B on Apple Silicon
Perplexity опублікувала у відкритому доступі Lily — локальний рушій інференсу на Rust і Metal, створений спеціально для моделі Qwen3.6-35B-A3B на чипах Apple Silicon, без використання PyTorch чи MLX. За даними компанії, на Mac з чипом M5 Max рушій у середньому на 23% швидший за MLX-LM на етапі prefill та на 35% швидший на етапі decode. Приріст продуктивності досягнуто завдяки маршрутизації експертів безпосередньо на GPU та оптимізованому доступу до кеша уваги.
Мовою оригіналу · EN
Perplexity has open-sourced Lily, a Rust and Metal inference engine built specifically for the Qwen3.6-35B-A3B model on Apple Silicon, bypassing PyTorch and MLX entirely. On an M5 Max Mac, the…
Читати оригінал на MarkTechPost →
Чому в стрічці: Конкретний технічний AI-реліз у стилі OpenClaw, який раніше зацікавив користувача.