Über LinkoriaBot
Wenn LinkoriaBot in Ihren Server-Logs aufgetaucht ist, erklärt diese Seite, was er ist und was Sie tun können.
So erkennen Sie ihn
Unsere Anfragen tragen diesen User Agent, sowohl wenn wir die Seiten einer Website crawlen als auch wenn wir prüfen, wohin ein Link darauf führt:
LinkoriaBot/1.0 (+https://linkoria.io/crawler)Die URL im User Agent verweist auf diese Seite, damit sie jeder findet, der Ihre Logs liest.
Jede Anfrage von LinkoriaBot ist außerdem mit Web Bot Auth signiert (HTTP Message Signatures, RFC 9421), sodass Ihr Server oder Ihr CDN prüfen kann, dass sie wirklich von uns stammt. Unsere öffentlichen Schlüssel sind hier veröffentlicht:
https://app.linkoria.io/.well-known/http-message-signatures-directoryEin kleiner Teil der Anfragen trägt stattdessen einen Browser-User-Agent — siehe „Browser-Fallback“ weiter unten.
Was er tut
- Liest zuerst die robots.txt und beachtet sie.
- Liest Sitemaps, um zu ermitteln, welche Seiten zu prüfen sind.
- Ruft diese Seiten ab und liest die enthaltenen Links aus.
- Folgt jedem ausgehenden Link durch seine Weiterleitungen bis zum Ziel. Vor jeder Anfrage an das Linkziel liest er die robots.txt dieser Website und beachtet sie einschließlich Crawl-Delay.
Warum er auf Ihrer Website ist
Jemand, der Linkoria nutzt, hat uns gebeten, die Links einer Website zu prüfen. Entweder ist das Ihre Website, oder ein Link auf einer anderen Website verweist auf Ihre — in diesem Fall haben wir Ihre robots.txt geprüft und eine einzelne URL abgerufen, um zu sehen, ob sie antwortet, und nicht mehr.
Browser-Fallback
Manche Websites weisen jeden automatisierten Client ab, auch verifizierte. Weist eine solche Website LinkoriaBot ab, werden die übrigen Prüfungen dieses Scans auf der Website und die abgewiesenen mit einem gewöhnlichen Browser-Profil gesendet, damit die prüfende Person trotzdem erfährt, ob ihre Links funktionieren. Auf Websites, die durch Cloudflare oder Akamai geschützt sind, tun wir das nie: Dort beendet eine Abweisung alle Anfragen an die Website für diesen Scan. Eine robots.txt, die LinkoriaBot für Ihre gesamte Website sperrt (siehe unten), schließt es ebenfalls aus. Der Wechsel gilt nur für einen Scan.
Wie er sich verhält
- Anfragen sind rate-limitiert und zeitlich verteilt.
- Er beachtet die robots.txt einschließlich Crawl-Delay.
- Er sendet keine Formulare ab, meldet sich nicht an und führt kein JavaScript aus.
- Er erhebt keine personenbezogenen Daten aus Ihren Seiten.
So blockieren Sie ihn
Fügen Sie dies in Ihre robots.txt ein, dann ruft LinkoriaBot Ihre Seiten ab dem nächsten Scan nicht mehr ab — weder zum Crawlen Ihrer Website noch zum Prüfen von Links, die auf sie verweisen:
User-agent: LinkoriaBot
Disallow: /Das schließt auch den Browser-Fallback aus. Wenn Sie das Crawlen sofort stoppen oder Ihre Domain auf andere Weise ausschließen lassen möchten, schreiben Sie uns.
Kontakt
Für alles zum Crawler, einschließlich Ausschluss- oder Löschanfragen: abuse@linkoria.io