Bot i Mapp elimineret!

Der er botter, der crawler de danske biblioteks-sites.

Det er der ikke i sig selv noget ulovligt eller fordækt i, det er kun frit tilgængelige data, de høster, men de skal fjernes fra vores webstatistik, hvor vi kun ønsker at registrere trafikken fra de levende brugere.

Vi har igennem de seneste måneder haft en særligt genstridig bot, som det har været en stor udfordring at få filtreret ud af vores statistik. I den periode har de biblioteker, der har haft besøg af den pågældende bot, kunnet trække misvisende tal fra Mapp.

Botten har typisk besøgt forskellige DDB CMS-sites med en 7-8-9 dages interval, hvor den har lavet 3-4 besøg inden for en halvanden time og genereret hundredevis af sidevisninger på meget kort tid.

Udfordringen er at lave et filter, der fjerner botten uden at fjerne andet også. Det er nu lykkedes, og det er lagt på alle Mapp-konti, hvilket betyder at de data, I kan trække fra Mapp atter er korrekte – også bagudrettet.

Så hvis I oplever et stort fald i jeres sidevisninger, er dét forklaringen. Det betyder også, at trafik I har registreret tidligere skal rettes. 

Her er den korresponderende sag i redmine: https://platform.dandigbib.org/issues/5793