Fake-Googlebots als potenzielle Gefahrenquelle

Crawlbots von Suchmaschinen indexieren Websites, überprüfen diese auf Änderungen und etwaige Fehler, und legen damit den Grundstein für die Erstellung von Suchrankings. Bot ist allerdings nicht gleich Bot, und so gibt es seit geraumer Zeit einige Crawler, die unter einem gefinkelten Deckmantel arbeiten. Fake-Googlebots erfreuen sich wachsender „Beliebtheit“, täuschen das Verhalten echter Googlebots zumindest im Namen vor und können besuchten Websites im schlimmsten Fall sogar schwere Schäden zufügen. Allerdings kann man sich dagegen einigermaßen schützen.

So gehen Fake-Googlebots vor

Selbstverständlich geben sich Fake-Googlebots nicht einfach als solche zu erkennen. Sie nennen sich wie Googles Crawl-Agenten, sind zumindest oberflächlich wie diese programmiert und gehen zumindest in Teilen wie diese vor. Auf diese Weise können beispielsweise Ausschlüsse in der robots.txt-Datei zumindest teilweise umgangen werden. Einmal auf die Website vorgedrungen, sorgen sie für Extra-Traffic, was in den meisten Fällen kein Problem darstellt. Wesentlich problematischer: Sie ermöglichen Eindringlingen den Zugriff auf Website-Inhalte, können diese auslesen und theoretisch „klauen“, aber auch den Grundstein für schadhafte DDoS-Attacken legen, die komplette Sites und Server in Mitleidenschaft ziehen.

Wie erkennt man Fake-Googlebots?

Aufgrund der recht guten Tarnung ist es leider alles andere als einfach, diese Fakes schnell und sicher als solche zu entlarven, ohne dabei gute Crawler mitzusperren. Eine Möglichkeit ist die Überprüfung des User-Agents. Echte Googlebots verwenden sehr spezifische Strings, die direkt auf Google-Seiten eingesehen und in den Logs gegengecheckt werden können. Umgekehrte DNS-Suchen wären eine Alternative. Hier wird die IP-Adresse des Bots aus den Logs ausgelesen und mit den IP-Adressen der echten Googlebots abgeglichen. Allerdings können besonders ausgeklügelte Fakes diese inzwischen täuschend echt nachahmen. Des Weiteren kann das Bot-Verhalten auf einer Website zumindest zu Teilen ausgelesen werden. Sollte ein Crawlbot besonders häufig für Fehler sorgen, so kann das auf einen Fake hinweisen. Auch diese Möglichkeit ist leider nicht 100%ig sicher.

Wie kann man sich gegen Fake Googlebots schützen?

Generell sich Fake-Googlebots (noch) nicht übermäßig weit verbreitet, wie Googles Developer Advocate Martin Splitt zu Protokoll gibt. Dennoch empfiehlt es sich, die Logs regelmäßig zu überprüfen, speziell wenn die Reaktionszeiten des Servers einzubrechen beginnen bzw. das Serververhalten generell seltsam anmutet. Durch Rate Limiting kann serverseitig beispielsweise begrenzt werden, wie viele Requests ein Bot innerhalb eines fest definierten Zeitraums vornehmen darf. Auch die robots.txt-Datei kann helfen, wenngleich einige Fakes diese inzwischen komplett ignorieren. Firewalls, aber auch CAPTCHAs sowie ganzheitliche Cyber-Security-Konzepte sowie Expertenunterstützung können die schlimmsten Schäden abwenden.

Quelle: www.searchenginejournal.com

Copyright Foto: unsplash.com/Growtika