Crawl-Budget: Wie Google Crawling-Ressourcen vergibt und ab wann das zum Thema wird

Google crawlt keine Website unbegrenzt. Wie viel Zeit und wie viele Abrufe der Googlebot einer Domain widmet, beschreibt das Crawl-Budget. Für die meisten B2B-Websites ist es kein Engpass – bei großen Katalogen entscheidet es aber mit, wie schnell neue und geänderte Seiten in den Index gelangen.

Was ist das Crawl-Budget?

Das Crawl-Budget bezeichnet die Zeit und Ressourcen, die Google für das Crawling einer Website aufwendet (Google Search Central). Es wird durch zwei Größen bestimmt: das Crawling-Kapazitätslimit, das die Belastung des Servers begrenzt, und den Crawling-Bedarf, der sich aus Größe, Änderungsfrequenz, Qualität und Popularität der Inhalte ergibt.

In die eigene Dokumentation hat Google den Begriff erst später übernommen. Ein Blogbeitrag zum Googlebot hielt 2017 noch ausdrücklich fest, es gebe keinen einzelnen Terminus, der alles abdecke, wofür „Crawl-Budget“ extern stehe, und erklärte stattdessen die beiden Bestandteile (Google Search Central Blog).

Crawling ist dabei die Voraussetzung der Indexierung, aber keine Garantie. Nicht jede gecrawlte Seite wird in den Index aufgenommen; die Qualitätsbewertung folgt nach dem Abruf.

Wie funktioniert das Crawl-Budget?

Das Kapazitätslimit schützt den Server. Antwortet eine Website schnell und stabil, erhöht Googlebot die Zahl paralleler Abrufe; häufen sich Serverfehler oder lange Antwortzeiten, drosselt er. Der Crawling-Bedarf bildet die andere Seite: Er steigt mit der Zahl der bekannten URLs und mit der Frequenz, in der sich Inhalte ändern.

Aus beiden Größen ergibt sich, wie viele Abrufe eine Domain in einem Zeitraum bekommt. Verteilt wird dieses Kontingent über alle URLs, die Google von der Domain kennt, einschließlich Parameter-Varianten und eingebundener Ressourcen. Jede überflüssige URL konkurriert deshalb mit den wichtigen Seiten um dieselben Abrufe.

Bietet ein Katalog dieselbe Produktliste über zahlreiche Filter-Kombinationen an, verteilt sich das Kontingent auf Varianten ohne eigenen Informationswert. Die Produkt-Datenblätter selbst besucht der Crawler dann seltener.

Was Crawl-Budget nicht ist: ein Alltagsproblem kleiner Websites

In Audit-Angeboten taucht Crawl-Budget-Optimierung regelmäßig als Standard-Baustein auf, unabhängig von der Größe der geprüften Website. Google selbst zieht die Grenze deutlich enger.

Das eigene Handbuch richtet sich an Websites ab rund einer Million eindeutiger Seiten mit wöchentlichen Änderungen oder ab rund 10.000 Seiten mit täglichen Änderungen. Wer wenige tausend URLs betreibt und neue Seiten zeitnah gecrawlt sieht, braucht laut Google kein aktives Budget-Management.

Ab welcher Größe wird das Crawl-Budget relevant?

Die Schwellen aus dem Google-Handbuch sind Richtwerte, keine harten Grenzen. Relevant wird das Thema, wenn der URL-Bestand schneller wächst, als Googlebot ihn abarbeitet, oder wenn der Indexierungsbericht viele entdeckte, aber noch nicht gecrawlte URLs zeigt. Ein Mittelständler mit einigen hundert Seiten erreicht diese Situation im Normalfall nicht – ein Katalog mit fünfstelligem URL-Bestand und Filter-Navigation dagegen schnell.

Crawl-Budget und SEO: Warum wichtig?

Das Crawl-Budget verbindet Server-Technik und Sichtbarkeit. Auf großen Domains entscheidet seine Verteilung mit, welche Inhalte Google zeitnah sieht.

• Zeit bis zur Indexierung: Neue Produktseiten und Aktualisierungen erscheinen erst im Index, nachdem Googlebot sie abgerufen hat. Ein ausgeschöpftes Kontingent verzögert diesen Abruf.
• Dokumentierte Budget-Verschwender: Google nennt Duplikate durch Parameter-URLs, Soft-404-Seiten und lange Weiterleitungsketten als typische Kostenstellen und empfiehlt, Sitemaps aktuell zu halten.
• Server-Gesundheit als Stellgröße: Wiederholte 5xx-Antworten und träge Antwortzeiten senken das Kapazitätslimit; die Wirkung pro Code-Klasse beschreibt der Eintrag zum HTTP-Statuscode.
• Weiterleitungs-Hygiene: Jede Kette kostet zusätzliche Abrufe. Eine sauber gesetzte 301-Weiterleitung ohne Zwischenstationen hält den Verbrauch klein.
• B2B-Relevanz mit Augenmaß: Für die typische Unternehmens-Website mit wenigen hundert URLs ist das Budget kein Hebel. Gewicht bekommt es bei Katalogen, Konfiguratoren und programmatisch erzeugten Seitenbeständen.

Wissen Sie, welchen Anteil seiner Abrufe Googlebot auf Ihrer Domain für Parameter-Varianten aufwendet?

Crawl-Budget in der Praxis: messen, einordnen, steuern

Der Einstieg läuft über Messung, die Steuerung über die dokumentierten Kostenstellen.

Crawling-Statistik in der Search Console lesen

Der Bericht „Crawling-Statistik“ in der Google Search Console (unter Einstellungen) schlüsselt die Googlebot-Abrufe nach Menge, Antwortcode und Antwortzeit auf (Google-Hilfe). Verfügbar ist er nur für Properties auf Domain- oder Stammebene. Aufschlussreich ist der Abgleich mit dem Indexierungsbericht, der zeigt, welche der abgerufenen URLs im Index landen.

Budget-Verschwender abstellen

Die wirksamsten Maßnahmen setzen an den dokumentierten Kostenstellen an. Parameter- und Filter-Varianten werden gebündelt oder per robots.txt vom Crawling ausgenommen, Weiterleitungsketten auf einen einzigen Sprung verkürzt, Soft-404-Seiten korrigiert und die XML-Sitemap aktuell gehalten. Alle vier Stellhebel lassen sich anschließend in der Crawling-Statistik nachverfolgen.

Steuerung bei großen Katalogen

Bei programmatisch erzeugten Seitenbeständen gehört Indexierungs-Management von Anfang an zur Architektur. Welche URL-Muster indexierbar sind und welche gebündelt werden, entscheidet dort über den produktiven Einsatz des Budgets; die Vorgehensweise beschreibt der Ratgeber zu Programmatic SEO für B2B-Kataloge. Auch bei einem Website-Relaunch zählt der Blick auf das Crawling, weil alte und neue URL-Bestände wochenlang parallel abgerufen werden.

Fazit & Takeaways

• Erst messen, dann steuern: Die Crawling-Statistik der Search Console zeigt, was Googlebot tatsächlich abruft. Ohne diesen Befund bleibt Budget-Optimierung Spekulation.
• Größe realistisch einordnen: Unter wenigen tausend URLs ist das Crawl-Budget laut Google kein Engpass. Dort wiegen Inhalte und interne Verlinkung schwerer als Crawling-Feintuning.
• Duplikat-Quellen schließen: Parameter-Varianten bündeln, Weiterleitungsketten kürzen und die XML-Sitemap aktuell halten. Diese Maßnahmen lenken vorhandene Abrufe auf die Seiten mit Geschäftswert.

Verwandte Begriffe

• Crawler: Das Programm, dessen Abruf-Frequenz das Crawl-Budget konkret begrenzt.
• 301-Weiterleitung: Der Statuscode, dessen Ketten unnötige Abrufe verbrauchen, sobald sie mehr als einen Sprung enthalten.
• Technisches SEO: Als Disziplin bündelt technisches SEO Crawl-Steuerung, Statuscode-Hygiene und Indexierungs-Management.
• Programmatic SEO: Der Ratgeber zum skalierten Seitenaufbau, bei dem Indexierungs-Management ein Kernkapitel ist.
• SEO für B2B-Sortimente: Der Anwendungsfall, in dem Filter-Navigation und Artikelbestand das Crawling-Kontingent überhaupt erst unter Druck setzen.

---

Ob das Crawl-Budget auf einer Website ein Engpass oder ein Nebenschauplatz ist, steht in der Crawling-Statistik und im Indexierungsbericht. Diese Bestandsaufnahme gehört an den Anfang, bevor Zeit in Optimierung fließt.

Autor: Daniel Neubauer, Gründer und Geschäftsführer RED RAM MEDIA, Agentur- und SEO-Erfahrung seit 2010.

Häufige Fragen (FAQ)

Was ist das Crawl-Budget?

Das Crawl-Budget bezeichnet die Zeit und Ressourcen, die Google für das Crawling einer Website aufwendet. Es ergibt sich aus dem Crawling-Kapazitätslimit, das die Serverlast begrenzt, und dem Crawling-Bedarf, der von Größe, Änderungsfrequenz, Qualität und Popularität der Inhalte abhängt.

Ab welcher Website-Größe ist das Crawl-Budget relevant?

Googles Handbuch zum Crawl-Budget richtet sich an Websites ab rund einer Million eindeutiger Seiten mit wöchentlichen Änderungen oder ab rund 10.000 Seiten mit täglichen Änderungen. Websites mit wenigen tausend URLs werden in der Regel effizient gecrawlt und brauchen kein aktives Budget-Management.

Wie prüfe ich mein Crawl-Budget?

Der Bericht „Crawling-Statistik“ in der Google Search Console (unter Einstellungen) zeigt Anzahl, Antwortcodes und Antwortzeiten der Googlebot-Abrufe. Er ist nur für Properties auf Domain- oder Stammebene verfügbar. Ergänzend zeigt der Indexierungsbericht, welche der gecrawlten URLs im Index landen.

Was verschwendet Crawl-Budget?

Google nennt unter anderem Duplikate durch Parameter- und Filter-URLs, Soft-404-Seiten und lange Weiterleitungsketten; dazu kommt die Empfehlung, Sitemaps aktuell zu halten. Auch langsame Serverantworten und wiederholte Serverfehler senken das Crawling-Kapazitätslimit und damit die Zahl der möglichen Abrufe.

Erhöht eine XML-Sitemap das Crawl-Budget?

Nein. Eine XML-Sitemap hilft Google, URLs zu entdecken und Änderungen zu erkennen, vergrößert aber die verfügbaren Crawling-Ressourcen nicht. Das Budget richtet sich nach Serverkapazität und Crawling-Bedarf der Domain.

Woraus setzt sich das Crawl-Budget zusammen?

Aus zwei Größen: dem Crawling-Kapazitätslimit, also der Grenze dessen, was der Server ohne Beeinträchtigung verkraftet, und dem Crawling-Bedarf, also Googles Interesse an den Inhalten der Domain. Beide zusammen bestimmen, wie viele URLs Googlebot in einem Zeitraum abruft.