Zu viele Crawls können auf Website-Probleme hinweisen

Reduzierte Crawlbudgets – ein seit geraumer Zeit kontrovers diskutiertes Thema – lassen deutlich mehr Zeit vergehen, bis Websites komplett erfasst und Content-Updates sowie neue Inhalte registriert werden. Nimmt man plötzlich einen deutlichen Anstieg von Crawlbot-Aktivitäten wahr, muss das ein gutes Zeichen sein, oder? Das ist laut Google-Experten leider nicht zwangsläufig der Fall und kann sogar (gröbere) Website-Probleme andeuten. Zwei potenzielle Missetäter rücken dabei ins ungewollte Rampenlicht.

Zu viele Links für den Googlebot

„Infinite Spaces“ beschreiben Bereiche, die eine endlose Menge an URLs generieren können. Dabei handelt es sich beispielsweise um eingebundene (Fremd-)Module, wie Kalender oder Produkt-Listings, die schier unendlich gefiltert werden können. Daraus entstehen immer wieder neue Links, die den Crawlbot zu verstärkter Aktivität inspirieren, gerade auf vermeintlich hilfreichen Seiten. Gesund ist das jedoch nicht, wirkt sich auf die Performance sowie das Crawling der weiteren Website aus. Ein einfaches Blockieren der Bots für Infinite Spaces über die robots.txt löst das Problem elegant.

Verstärke Aktivität wegen Hacking-Verdacht

Ein urplötzlicher Crawl-Anstieg kann allerdings noch andere, deutlich unangenehmere Gründe haben. Wird eine seriöse, angesehene Seite gehackt und mit (massig) neuem Content versehen, so halten die Bots diesen zunächst für relevant und crawlen mit wachsender Begeisterung, bevor das schadhafte Ausmaß deutlich wird. Und dann ist es zu spät – Rankingstrafen können besonders schnell einsetzen. Entsprechend können derlei Crawl-Spikes auf unentdeckte Hacks hinweisen. Generell sind solche Anstiege mit Vorsicht zu genießen und als potenziell verdächtig zu werten.

Was passiert nach dem Hack?

Sollte der Crawl-Anstieg tatsächlich aufgrund eines Hacks passiert sein, will schnell gehandelt werden. Entsprechend liegt der Fokus auf dem Aufspüren, Beseitigen und nachhaltigen Reparieren der Schwachstelle. Zunächst will die Lücke in der eigenen „Verteidigung“ vollends geschlossen werden, begleitet von verstärkten Sicherheitsmaßnahmen. Danach gilt:

• Schadhafter Content muss vollständig beseitigt werden. Das kann von zusätzlich eingebautem Text und Spamlinks bis hin zu neuen Kategorien, Artikeln und Seiten reichen. Wichtig: Alle betroffene URLs sollten für die weiteren Schritte notiert werden.
• In der Google Search Console wird im Anschluss die Entfernung aller betroffenen URLs aus dem Suchindex beantragt.
• Begleitend bietet es sich an, die ganzheitliche Content-Qualität unter die Lupe zu nehmen und zu verbessern, um mit neuem Elan durchstarten zu können.
• Abschließend wird eine manuelle Review der Seite beantragt. Auf diese Weise können alle Sicherheitswarnung und Blacklistings entfernt werden.

Der sprichwörtliche Weg zurück nach einem Hack kann jedoch ein langer sein. Selbst wenn die manuelle Review positiv bestanden wurde, dauert es laut Google-Experte John Mueller unter Umständen noch mehrere Monate, bevor die Website wieder das Vertrauen den Suchmaschinenanbieters zurückgewinnt. Steter Blick auf Crawls, gute Sicherheitsmaßnahmen mit regelmäßigen Updates sowie laufende Site-Checks sind das A und O, um solche Probleme im Keim zu ersticken.

Quelle:www.searchenginejournal.com
Copyright Foto: unsplash.com/Growtika