PUBCRAWL fanger ondsindede web-bots

En gruppe forskere fra University of California, Santa Barbara og Northeastern University har lavet et system til at opdage og blokere ondsindede webcrawlere, som de kalder PUBCRAWL (Protecting Users and Businesses from CRAWLers). Systemet er i stand til med meget stor nøjagtighed at kende forskel på legitime brugere, selvom de er skjult bag en enkelt proxy og en ondsindet webcrawler-kampagne, som er distribueret ud til at komme fra flere forskellige adresser.

Christopher Kruegel, UCSB skrev:

You want to make it easy for one person to get a small slice of the data. But you don’t want to allow one person to get all the information.

Webcrawlere bruges blandt andet til at indeksere og analysere indhold på nettet, og gør det lettere for brugere, at finde det de leder efter. Der er dog også en stigende trafik af ondsindede webbots, som indsamler data, der bruges til spamming, phishing, målrettede angreb eller konkurrerende websites, som kopierer indhold. Specielt er sociale netværk udsat for den onsindede indsamling af brugerdata, som sælges videre til kriminelle eller bruges til afpresning.

Under udviklingen af PUBCRAWL trænede forskerne systemet i genkendelse og blokering af ondsindede crawlere med data fra et stort ikke navngivet socialt netværk på en produktionsserver. PUBCRAWL opdagede mere end 95 % af alle crawlere og 100 % af de uaftoriserede crawlere samt tæt på 99 % af crawlere, der forsøger at maskere sig som en legitim service.

PUBCRAWL gør brug af flere forskellige teknikker til at opdage og blokere ondsindede web crawlere. Den analyserer blandt andet hvilket indhold der efterspørges og timingen af forespørgsler, og er i stand til at opdage mønstre i forespørgelser fra forskellige kilder, og dermed opdage en ondsindet web crawler, som forsørger at skjule sig ved at være distribueret ud på flere forskellige adresser.

Systemet kører i dag på det sociale netværks produktionsserver.