robots.txt und XML-Sitemap: Crawling richtig steuern
robots.txt und XML-Sitemaps gehören zu den grundlegenden technischen Werkzeugen einer Website. Sie erfüllen verschiedene Aufgaben: Die robots.txt gibt Abrufregeln vor, während die Sitemap URLs zur Entdeckung bereitstellt. Keine der beiden Dateien garantiert eine Aufnahme in Suchergebnisse.
Wozu dient die robots.txt?
Die robots.txt wird üblicherweise unter dem Stammverzeichnis einer Website bereitgestellt. Sie enthält Regeln für Crawler, die das Robots Exclusion Protocol berücksichtigen. Häufig wird dort festgelegt, welche Pfade ein bestimmter Crawler nicht abrufen soll.
Eine robots.txt ist kein Zugriffsschutz. Vertrauliche Dateien müssen durch tatsächliche Authentifizierung und geeignete Serverberechtigungen geschützt werden. Öffentliche URLs können außerdem aus anderen Quellen bekannt werden, selbst wenn ihr Abruf für Crawler ausgeschlossen wurde.
Wie funktioniert eine XML-Sitemap?
Eine XML-Sitemap enthält eine Liste von URLs, die der Betreiber für die automatische Entdeckung anbieten möchte. Jede URL steht in einem eigenen Eintrag. Optional können zusätzliche Angaben wie das Datum einer tatsächlichen letzten Änderung hinterlegt werden.
Die Sitemap sollte nur passende, erreichbare und kanonische Adressen enthalten. Fehlerhafte oder dauerhaft weitergeleitete URLs sind weniger hilfreich. Bei größeren Angeboten können mehrere Sitemaps und ein Sitemap-Index zur Strukturierung eingesetzt werden.
Wo liegt der Unterschied zu noindex?
Mit noindex kann eine Seite der Suchmaschine mitteilen, dass sie nicht in Suchergebnissen erscheinen soll. Das Signal muss für den Crawler jedoch zugänglich sein, etwa über ein Meta-Element oder einen HTTP-Header bei einer abrufbaren Antwort.
Wird eine URL gleichzeitig durch robots.txt vom Abruf ausgeschlossen, kann der Crawler eine dort hinterlegte noindex-Anweisung möglicherweise nicht lesen. Wer eine Seite zuverlässig aus einem Index entfernen möchte, sollte die Unterschiede zwischen Abrufsperre und Indexierungssignal kennen.
Warum Canonical-URLs wichtig sind
Identische oder sehr ähnliche Inhalte können unter mehreren URLs erscheinen. Ein Canonical-Link benennt die bevorzugte Adresse. Das hilft Suchmaschinen bei der Einordnung von Varianten, ist aber grundsätzlich ein Hinweis und keine absolute Anweisung.
Wichtig ist die Konsistenz. Interne Links, Sitemap-Einträge und Canonical-Angaben sollten möglichst dieselbe bevorzugte URL verwenden. Widersprüchliche Signale können die Auswahl der tatsächlich angezeigten Adresse erschweren.
Typische Fehler in Sitemaps
Ein häufiger Fehler besteht darin, URLs aufzunehmen, die gar nicht öffentlich abrufbar sind. Auch abweichende Protokolle, falsche Hostnamen, dauerhaft gelöschte Seiten oder fehlerhafte XML-Strukturen können die Verarbeitung beeinträchtigen.
Verwende keine erfundenen Änderungsdaten. Eine lastmod-Angabe sollte nur dann gesetzt werden, wenn sie eine tatsächliche relevante Inhaltsänderung beschreibt. Eine Sitemap ist ein technisches Verzeichnis, kein Werbeinstrument.
Wie lassen sich Probleme erkennen?
Prüfe, ob robots.txt und Sitemap über ihre vorgesehenen Adressen erreichbar sind und passende HTTP-Statuscodes liefern. Kontrolliere, ob XML-Syntax, Hostnamen und die enthaltenen URLs stimmen. Eine reine Dateiprüfung auf dem Server genügt nicht immer.
Zur tatsächlichen Indexierungsbeobachtung können Webmaster-Werkzeuge der jeweiligen Suchmaschine hilfreich sein. Dort lässt sich häufig erkennen, ob URLs entdeckt, abgerufen oder von der Indexierung ausgeschlossen wurden. Die angezeigten Daten können zeitversetzt sein.
Eine sinnvolle technische Grundstruktur
Eine übersichtliche Website besitzt stabile URLs, eine nachvollziehbare interne Navigation, passende Canonical-Angaben und eine aktuelle Sitemap. Die robots.txt sollte bewusst festlegen, welche Bereiche Crawler abrufen dürfen, ohne wichtige Informationsseiten versehentlich zu blockieren.
Nach technischen Änderungen lohnt sich eine erneute Kontrolle der öffentlich ausgelieferten Antworten. Besonders Weiterleitungen und URL-Umschreibungen können bewirken, dass eine lokal vorhandene Datei anders ausgeliefert wird als erwartet.