Crawl-Budget

Das Crawl-Budget legt fest, wie oft und wie regelmäßig Google die Seiten einer Website besucht und aktualisiert. Crawling heißt: Google liest die Inhalte ein. Zwei Faktoren bestimmen das Budget: Kapazität (wie schnell und fehlerfrei antwortet der Server?) und Nachfrage (wie wichtig findet Google diese URLs?). Für eine dynamische Wettersite ist das hochrelevant: Crawlt Google eine Seite nicht rechtzeitig, sind die Wetterdaten in den Suchergebnissen veraltet.

Server-Antwortzeiten und Fehlerquoten (die Kapazitätsseite) sowie Popularitäts- und Aktualitätsdaten (die Nachfrageseite).

Kein Leak-Feld, sondern ein offizielles Konzept. Crawl-Budget = Kapazität (was der Server verträgt: Antwortzeit, Fehlerrate) x Nachfrage (wie sehr Google die URLs holen will: Popularität, Änderungshäufigkeit). [O]

Autorität (A) ist indirekt: Das Crawl-Budget ist ein Nachfrage-Korrelat und das früheste Gate in der gesamten Kette. Seiten, die nicht gecrawlt werden, werden nicht indexiert und können nicht ranken.

Für Sites mit vielen Tausend URLs ist das Crawl-Budget ein echter Engpass. Technische Maßnahmen geben Budget frei: schnelle Server-Antwortzeiten, saubere Sitemap-Strukturen und das Entfernen unwichtiger oder doppelter URLs. Das Budget geht dann an Seiten, die es wirklich brauchen: tagesaktuelle Meldungen, Echtzeitdaten und häufig aktualisierte Prognosen.