Google überlegt Crawl-Rate-Reduzierung

Im Bereich Crawling und Indexierung deuten sich grössere, mitunter einschneidende Änderungen an. Einerseits macht aktuell IndexNow die Runde und ermöglicht sofortige Indexierung von Updates und neuem Content, um Suchmaschinen und Rankings aktueller, unmittelbarer zu halten. Google überlegt die Einführung und spielt zugleich mit der Idee, den eigenen Bot-Einsatz zu überdenken. So wurde kürzlich das Gedankenspiel einer reduzierten Crawl-Rate ins Spiel gebracht. Was steckt dahinter und wird es wirklich so weit kommen?

Der Umwelt zuliebe

Im Rahmen eines Podcasts diskutierte das Google Search Relations-Team um John Mueller, Martin Splitt und Gary Illyes, was sich bei Google im Jahr 2022 und darüber hinaus tun wird. Crawling und Indexing kamen zur Sprache. Dabei erwähnte Illyes den hohen Computing-Aufwand, der gerade im Fall von Bitcoin-Mining die Umwelt enorm belastet. Obwohl Google selbst seit über einem Jahrzehnt CO₂-neutral operiert, möchte man die negativen Umwelteinflüsse, beispielsweise aufgrund hoher Stromkosten, weiter reduzieren. Einer der Hauptfaktoren wäre Crawling, das mit Sicherheit nachhaltiger gestaltet werden könnte.

Sinnvollere Crawls im Vordergrund

Gäbe es bei diesem Ansatz generell weniger Crawls pro Website? Das lässt sich nicht so präzise sagen. Illyes‘ Idee würde eine Reduktion sogenannter „Refresh-Crawls“ betreffen, die bestehende Inhalte auf Aktualisierung überprüfen. So gibt es auf jeder Seite Inhalte, die unbedingt gecrawlt werden sollten, beispielsweise News- und Blogartikel. Änderungen an Unternehmensseiten und „Über uns“-Inhalten würden hingegen deutlich seltener vorkommen. Dafür müssen die Bots erst einmal lernen, welche Bereiche wie oft gecrawlt werden müssen. Weniger Crawls, so das Google-Team weiter, wären im Übrigen nicht gleichbedeutend mit schlechteren Rankings, und weist entsprechende Theorien als reinen Mythos zurück.

Eine Crawl-Rate-Reduzierung ist allerdings aktuell nur eine Idee, über die nachgedacht wird, deren Einführung aber keinesfalls feststeht. Sollte nachhaltiges Crawling eingefügt werden, bräuchte es Algorithmus-Anpassungen und Bot-Learning. Zugleich könnte dies den Weg für IndexNow oder vergleichbare Technologien freimachen.

Quelle: www.searchenginejournal.com

Copyright Foto: ©pixabay.com/geralt