AI-scrapers slokken 20 procent van cpu-capaciteit Kernel.org op

In dit artikel:

AI-scrapers verbruiken inmiddels ongeveer twintig procent van de cpu-capaciteit van Kernel.org. Op git.kernel.org worden dagelijks circa 6 miljoen afzonderlijke commitpagina’s opgevraagd. Daardoor zijn voortdurend 14 tot 16 van de in totaal 90 cpu’s bezig om Git-commits naar HTML om te zetten.

Volgens infrastructuurmedewerker Konstantin Ryabitsev ligt het probleem bij de manier waarop scrapers de Linux-geschiedenis benaderen. In plaats van repositories één keer te klonen en commits lokaal te verwerken, vragen ze telkens een losse webpagina op. De hoofdrepository bevat ongeveer 1,48 miljoen commits en er zijn zo’n 922 forks, waardoor miljarden grotendeels dubbele URL’s beschikbaar zijn. Ook patches, diffs en tekstversies kunnen afzonderlijk worden opgevraagd.

Blokkades van IP-adressen hielpen nauwelijks, omdat scrapers overstapten op residentiële en mobiele proxy’s. Ook de beveiligingsdienst Anubis werd deels omzeild. Kernel.org schakelt daarom functies uit en beperkt zware acties voor anonieme bezoekers. Alle gegevens blijven beschikbaar, maar gebruikers moeten mogelijk extra controles doorlopen om ze te downloaden.