Розробник описав труднощі переходу з хмарних ШІ-моделей Anthropic і OpenAI на локальні
Notes on gotchas while migrating 35kb preprompts from Opus to self-hosted Ollama
Автор блогу поділився нотатками про спробу перенести великі промпти (35 КБ) з хмарних моделей Anthropic та OpenAI на локально розміщені відкриті моделі через Ollama, пояснюючи це недовірою до того, як провайдери зберігають і використовують дані користувачів. Приводом стала суперечка навколо рішення OpenAI задачі Нав'є — Стокса, яку розкритикували математики. За спостереженнями автора, локальні моделі з меншим контекстним вікном погано справляються з великими промптами й «застрягають» на повторних діях, тож він радить розбивати завдання на менші, вузькоспрямовані частини.
Мовою оригіналу · EN
The author shares notes from attempting to migrate large (35kb) preprompts from Anthropic and OpenAI models to self-hosted open-weight models via Ollama, motivated by distrust of frontier providers'…
Читати оригінал на Hacker News (100+ балів) →
Чому в стрічці: Перегукується з темами приватності, контролю над ШІ та суперечки OpenAI з математиками, яку користувач вже читав.