Crawl-Budget: Wie Google entscheidet, wie oft deine Site besucht wird

01Was ist Crawl-Budget?

Crawl-Budget bezeichnet die Häufigkeit und Regelmäßigkeit, mit der Google die Seiten einer Website besucht und aktualisiert. Es ist eines der wenigen Systeme, die Google offiziell dokumentiert hat. Das macht es zu einer [O]-Quelle, die stärker ist als Systeme, die nur aus dem Leak bekannt sind.

Zwei Faktoren bestimmen das Budget: Kapazität (wie schnell und fehlerfrei der Server antwortet) und Nachfrage (wie sehr Nutzer und Google den Inhalt wollen). Eine Website, die schnell antwortet und stark nachgefragte Inhalte hat, erhält ein größeres Crawl-Budget. Eine Website, die langsam ist, Fehler zurückgibt oder wenig nachgefragte Inhalte hat, erhält ein kleineres Budget.

Für große Websites mit Tausenden oder Millionen von URLs ist Crawl-Budget ein strategisches Thema. Kann Google täglich nur 10.000 von 100.000 Seiten crawlen, welche 10.000 wählt es dann aus? Die Antwort: die Seiten, die am wichtigsten sind, am häufigsten aktualisiert werden und für Nutzer am relevantesten sein dürften.

02Wie Crawl-Budget funktioniert

Das Crawl-Budget besteht aus zwei Komponenten: dem Crawl-Rate-Limit (wie viele Verbindungen Google gleichzeitig herstellt) und der Crawl-Nachfrage (wie stark Google crawlen möchte). Der Serverzustand bestimmt das Rate-Limit: Reagiert der Server langsam oder gibt Fehler zurück, reduziert Google die Rate. Ist der Server schnell und stabil, erhöht Google sie.

Popularität und Veralterung bestimmen die Crawl-Nachfrage. Populäre Seiten (hohes Suchvolumen, viele eingehende Links) werden häufiger gecrawlt. Veraltete Seiten (nicht kürzlich aktualisiert, geringes Suchvolumen) werden seltener gecrawlt. Eine Seite, die gestern aktualisiert wurde und 1000 Besuche/Tag erhält, wird deutlich häufiger gecrawlt als eine Seite, die vor einem Jahr zuletzt aktualisiert wurde und 10 Besuche/Tag erhält.

Das Google-API-Leak bestätigte ein Crawl-Budget-Feld. Es verbindet das Crawl-Budget mit der Leak-Architektur: Es bestimmt, welche Seiten Google auswerten kann. Wird eine Seite nicht gecrawlt, kann sie weder von chard noch von NavBoost oder einem anderen System ausgewertet werden. Das Crawl-Budget ist der Gatekeeper – alles andere hängt davon ab.

03Implikationen für SEO-Praktiker

Für große Publisher heißt Crawl-Budget-Optimierung: URLs mit geringem Wert aus dem Crawl-Pfad entfernen. Verbraucht Google sein tägliches Budget für 50.000 dünne Tag-Seiten, bleibt weniger Budget für Ihre 500 hochwertigen Artikel. Robots.txt, Noindex-Direktiven und die Behandlung von URL-Parametern lenken Googles Crawler auf die wichtigen Seiten.

Die Server-Gesundheit wirkt sich direkt auf das Crawl-Budget aus. Ein Server, der in 50ms antwortet, erhält eine höhere Crawl-Rate als einer, der 2000ms benötigt. Performance-Optimierung (CDN, Caching, Server-Upgrades) hat damit einen direkten SEO-Vorteil: schnellere Antworten → mehr Crawling → mehr Indexierung → mehr Rankings.

Seiten ohne Suchnachfrage und ohne eingehende Links werden selten gecrawlt. Das ist keine Strafe, sondern eine Entscheidung über die Ressourcenverteilung: Google verfügt über begrenzte Ressourcen und weist sie dort zu, wo sie den größten Mehrwert schaffen. Eine Seite ohne Nachfrage ist für das Crawling von geringem Wert.

04Quellen