Was ist ein Crawler?
Bevor Google deine Website in den Suchergebnissen zeigen kann, muss Google sie erst einmal kennen. Dafür schickt Google ein Programm los, den Googlebot. Er ruft Seiten auf, liest den Inhalt und folgt jedem Link, den er findet. So hangelt er sich durchs ganze Netz.
Neben Google schicken auch andere Dienste Crawler los, zum Beispiel Bing oder KI-Tools wie ChatGPT, die Inhalte für ihre Antworten sammeln.
Für deine Website heißt das: Der Crawler muss jede wichtige Seite erreichen können. Drei Dinge helfen ihm dabei:
- Interne Links, damit er von der Startseite zu jeder Unterseite kommt.
- Eine Sitemap, also ein Inhaltsverzeichnis deiner Seiten.
- Keine Sperren an Stellen, die eigentlich gefunden werden sollen.
Ein Beispiel: Eine Kanzlei in Neuss legt eine neue Seite zum Erbrecht an, verlinkt sie aber nirgends. Der Crawler findet sie nicht, also taucht sie bei Google auch nicht auf. Ob deine Seite für Crawler gut erreichbar ist, zeigt ein Website-Audit.
Ein Crawler ist besonders wichtig für alle, deren neue Seiten bei Google einfach nicht erscheinen.