Crawl-Budget: Wie Google entscheidet, wie oft deine Site besucht wird

01Was ist Crawl-Budget?

Crawl-Budget bezeichnet die Häufigkeit und Regelmäßigkeit, mit der Google die Seiten einer Website besucht und aktualisiert. Es ist eines der wenigen Systeme, die Google offiziell dokumentiert hat – was es zu einem [O]-Beleg macht, der stärker ist als Systeme, die nur aus dem Leak bekannt sind.

Das Budget wird durch zwei Faktoren bestimmt: Kapazität (wie schnell und fehlerfrei antwortet der Server) und Nachfrage (wie sehr Nutzer und Google den Inhalt wollen). Eine Website, die schnell antwortet und stark nachgefragte Inhalte hat, erhält ein größeres Crawl-Budget. Eine Website, die langsam ist, Fehler zurückgibt oder wenig nachgefragte Inhalte hat, erhält ein kleineres Budget.

Für große Websites mit Tausenden oder Millionen von URLs ist Crawl-Budget ein strategisches Thema. Wenn Google täglich nur 10.000 von 100.000 Seiten crawlen kann, welche 10.000 wählt es dann aus? Die Antwort: die Seiten, die am wichtigsten sind, am häufigsten aktualisiert werden und für Nutzer am relevantesten sein dürften.

02Wie Crawl-Budget funktioniert

Das Crawl-Budget besteht aus zwei Komponenten: dem Crawl-Rate-Limit (wie viele Verbindungen Google gleichzeitig herstellt) und der Crawl-Nachfrage (wie stark Google crawlen möchte). Das Rate-Limit wird durch den Serverzustand bestimmt: Wenn der Server langsam reagiert oder Fehler zurückgibt, reduziert Google die Rate. Wenn der Server schnell und stabil ist, erhöht Google sie.

Die Crawl-Nachfrage wird durch Popularität und Veralterung bestimmt. Populäre Seiten (hohes Suchvolumen, viele eingehende Links) werden häufiger gecrawlt. Veraltete Seiten (nicht kürzlich aktualisiert, geringes Suchvolumen) werden seltener gecrawlt. Eine Seite, die gestern aktualisiert wurde und 1000 Besuche/Tag erhält, wird deutlich häufiger gecrawlt als eine Seite, die vor einem Jahr zuletzt aktualisiert wurde und 10 Besuche/Tag erhält.

Das Google-API-Leak bestätigte ein Crawl-Budget-Feld. Die Verbindung zur Leak-Architektur ist wichtig: Das Crawl-Budget bestimmt, welche Seiten Google auswerten kann. Wenn eine Seite nicht gecrawlt wird, kann sie weder von chard, NavBoost noch von einem anderen System ausgewertet werden. Das Crawl-Budget ist der Gatekeeper – alles andere hängt davon ab.

03Implikationen für SEO-Praktiker

Für große Publisher bedeutet die Crawl-Budget-Optimierung, dass URLs mit geringem Wert aus dem Crawl-Pfad entfernt werden. Wenn Google sein tägliches Budget damit verbringt, 50.000 dünne Tag-Seiten zu crawlen, bleibt weniger Budget für Ihre 500 hochwertigen Artikel. Robots.txt, Noindex-Direktiven und die Behandlung von URL-Parametern helfen dabei, Googles Crawler auf die wichtigen Seiten zu lenken.

Die Server-Gesundheit wirkt sich direkt auf das Crawl-Budget aus. Ein Server, der in 50ms antwortet, erhält eine höhere Crawl-Rate als einer, der 2000ms benötigt. Das bedeutet, dass Performance-Optimierung (CDN, Caching, Server-Upgrades) einen direkten SEO-Vorteil hat: schnellere Antworten → mehr Crawling → mehr Indexierung → mehr Rankings.

Die Nachfragekomponente bedeutet, dass Seiten ohne Suchnachfrage und ohne eingehende Links selten gecrawlt werden. Das ist keine Strafe – es ist eine Ressourcenallokationsentscheidung. Google verfügt über begrenzte Ressourcen und weist sie dort zu, wo sie den größten Mehrwert schaffen. Eine Seite ohne Nachfrage ist für das Crawling von geringem Wert.

04Quellen