Crawl-Budget: Was es ist und wann Sie sich wirklich darum kümmern müssen

Was Crawl-Budget tatsächlich ist

Crawl-Budget ist eine Kombination aus zwei Dingen: wie viele Anfragen Googles Crawler bereit ist, an Ihren Server zu stellen, ohne ihn zu überlasten, und wie sehr Google Ihre Website tatsächlich crawlen möchte, basierend auf ihrer Beliebtheit und wie oft sich Inhalte ändern. Es bestimmt, wie viel einer großen Website an einem gegebenen Tag gecrawlt wird und wie schnell — nicht, ob eine bestimmte Seite überhaupt indexiert werden kann.

Der Realitätscheck, den die meisten Websites brauchen

Bei einer Website mit einigen tausend URLs oder weniger ist Crawl-Budget fast nie der eigentliche Engpass — Google kann eine Website dieser Größe im Allgemeinen auch ohne jede Optimierung problemlos innerhalb eines Tages crawlen. Wenn eine Seite auf einer kleinen Website nicht indexiert wird, ist die weitaus wahrscheinlichere Ursache die Inhaltsqualität, eine technische Blockade oder Auffindbarkeit (keine internen Links, die darauf verweisen) — siehe warum Google Ihre Website nicht indexiert, bevor Sie annehmen, dass Crawl-Budget das Problem ist.

Wann es wirklich wichtig ist

• Große Websites — Zehntausende URLs oder mehr —, bei denen der Crawler einfach nicht jede Seite so oft erreichen kann, wie Sie es sich wünschen würden.
• Websites mit umfangreicher facettierter Navigation oder URL-Parametern (Sortierreihenfolgen, Filter, Session-IDs), die eine Handvoll echter Seiten in eine riesige Zahl nahezu doppelter, crawlbarer URLs vervielfachen.
• Websites, die Inhalte so häufig veröffentlichen oder aktualisieren, dass die Aktualität beim erneuten Crawlen, nicht nur die anfängliche Entdeckung, das eigentliche Ziel ist.

So prüfen Sie, ob es wirklich Ihr Engpass ist

Öffnen Sie in Search Console Einstellungen → Crawling-Statistiken und vergleichen Sie die durchschnittlich pro Tag gecrawlten Seiten mit Ihrer Gesamtzahl indexierbarer URLs. Wenn Ihre Website 200.000 URLs hat und Google 2.000 pro Tag crawlt, ist das Budget eine echte Einschränkung. Wenn Sie 300 URLs haben, ist es das nicht — egal, wie das Crawling-Statistik-Diagramm aussieht.

Lösungen für wirklich eingeschränkte Websites

• Blockieren Sie wenig wertvolle Parameterkombinationen und endlose Filter-/Sortier-URLs in robots.txt — siehe Robots.txt vs. Noindex.
• Konsolidieren Sie nahezu doppelte URLs mit Canonical-Tags, statt Google jede Variante separat crawlen und bewerten zu lassen — siehe Duplicate Content und Canonical-Tags.
• Beheben Sie langsame Serverantwortzeiten — ein schnellerer Server erhöht direkt das Crawling-Ratenlimit, das Google zu nutzen bereit ist.
• Entfernen Sie wirklich dünne, wenig wertvolle Seiten oder versehen Sie sie mit noindex, wenn sie Crawling-Aufmerksamkeit verbrauchen, ohne je ranking-würdig zu sein.

Crawl-Budget ist nicht der einzige Hebel für neue Inhalte

Darauf zu warten, dass der Crawler eine neue oder aktualisierte URL nach seinem eigenen Zeitplan priorisiert, ist genau die Einschränkung, die Crawl-Budget beschreibt. IndexNow umgeht dies für die wichtigsten URLs, indem es unterstützende Suchmaschinen direkt in dem Moment benachrichtigt, in dem eine Seite bereit ist, statt darauf zu warten, nach deren eigenem Zeitplan erneut gecrawlt und neu bewertet zu werden. Die Schritt-für-Schritt-Version finden Sie unter So lassen Sie einen neuen Blogbeitrag schnell indexieren.