Боти-скрапери навантажують сервери git.kernel.org більше, ніж усі легітимні користувачі
Creepy crawlies
Технічний адміністратор git.kernel.org Костянтин Рябіцев розповів, що агресивні боти-скрапери створюють настільки велике навантаження, що сервери проєкту витрачають на рендеринг сторінок комітів для них більше обчислювальних ресурсів, ніж на всі інші види легітимного доступу разом, включно з git clone. За його словами, одночасно на п'яти географічно розподілених вузлах 14 ядер процесора безперервно рендерять коміти у html для сканерів. Блогер Саймон Вілсон зазначає, що подібна проблема турбує й інші сервіси з великою кількістю сторінок, доступних для сканування.
Мовою оригіналу · EN
Konstantin Ryabitsev describes how abusive scraper bots have become a massive burden on git.kernel.org, the official Linux kernel Git repository. He says the servers spend more CPU cycles rendering…
Читати оригінал на Simon Willison (AI/агенти) →
Чому в стрічці: Технічна історія про навантаження від скраперів-ботів на інфраструктуру — резонує з інтересом до тех-тематики.