Datei oder Verzeichnis für Indexierung von Suchmaschinen sperren

Wenn man sich schon einmal etwas intensiver mit seiner Webseite beschäftigt hat, kommt man irgendwann auch zu dem Thema, wie man eine Datei oder ein Verzeichnis / Ordner für die Indexierung durch Suchmaschinen sperren kann.

In regelmäßigen Abständen durchsuchen Suchmaschinen das Internet nach neuen oder geänderten Inhalten und durchsuchen dabei sowohl bereits seit langer Zeit bestehende Webseiten als auch neue Webseiten. Werden neue Inhalte oder geänderte Inhalte gefunden, so werden diese von der Suchmaschine indexiert und im Suchindex der Suchmaschine aufgelistet. Somit können dann Suchende auch diese neuen oder geänderten Inhalte finden.

Aber genau dieser gewünschte Effekt kann sich auch in das Gegenteil umdrehen, wenn man zum Beispiel Dateien auf seiner Webseite hat, die man nicht unbedingt der Öffentlichkeit zugänglich machen möchte.

Wieso sollte man eine Datei oder ein Verzeichnis sperren wollen

Sicherlich gibt es hierfür verschiedene Gründe. Daher möchte ich hier mal einige Beispiele nennen, warum es sinnvoll sein kann, Dateien oder Verzeichnisse für die Indexierung zu sperren.

Ein Admin-Verzeichnis auf der Webseite

Viele CMS-Systeme (Content Management System), Foren, Webkataloge, Shops oder Blocks verwenden für die Verwaltung Admin-Verzeichnisse auf dem Webspace selber. Würde ein solches Verzeichnis mit in Suchmaschinen aufgelistet, so könnten Suchende direkt auf das Admin-Verzeichnis wechseln. Mal davon abgesehen, dass ein solches Admin-Verzeichnis nichts für die Augen von Besuchern sein sollte, kann ein solcher Eintrag in Suchmaschinen zu erheblichen Sicherheitsrisiken führen.

Bilder oder Download – Verzeichnis

Nicht selten kommt es vor, dass man auf seiner Webseite Bilder oder Dateien anbietet, die ein Besucher sehen oder herunterladen kann. Bietet man solche Bilder oder Dateien an, so möchte man sicherlich auch, dass Besucher diese über die Webseite herunterladen oder sich die Bilder auf der Webseite ansehen. Hat jedoch eine Suchmaschine das Verzeichnis indexiert, in dem sich die Bilder oder Dateien befinden, können Besucher direkt über eine Suchmaschine zu dem gewünschten Download gelangen, ohne dabei über die eigentliche Webseite gehen zu müssen.

Scriptverzeichnisse

Hat man eigene Scripte geschrieben, die zum Ablauf der Webseite zum Beispiel erforderlich sind, so möchte man sicherlich, dass diese auch nur für die eigenen Augen gedacht sind und nicht gleich der ganzen Öffentlichkeit zur Verfügung stehen. Auch hier wäre es sinnvoll, Dateien oder das Verzeichnis zu sperren, in dem sich diese Scripte befinden.

Das sind sicherlich nur einige Beispiele dafür, warum man Dateien oder Verzeichnisse für die Indexierung durch Suchmaschinen sperren möchte. Ich denke jedoch, diese Beispiele verdeutlichen einmal, warum man Ausnahmen für die Indexierung machen könnte.

Wie aber kann man eine Sperrung für die Indexierung vornehmen

Das Geheimnis liegt in der Datei robots.txt, die sich üblicherweise im Stammverzeichnis einer Webseite befinden sollte. Hier trägt man die gewünschten Sperrungen für die Indexierung ein. Diese beginnen immer mit Dissallow, englisch für verbieten oder nicht erlaubt, und beschreiben jeweils nur eine Datei oder Verzeichnis.

Beispiel:
Dissallow: /admin-verzeichnis/
Dissallow: /download-verzeichnis/
Dissallow: /anmelde.html

Mehr zur robots.txt findet Ihr im Artikel Robots.txt – Indexierung der Webseite durch Suchmaschinen einstellen. Ab Seite 2 im unteren Bereich wird das Thema Dissallow noch ein wenig ausführlicher behandelt.

Der oben benannte Weg sorgt jedoch nicht dafür, dass man auf ein solches Verzeichnis oder einer solchen Datei zugreifen kann. Hierfür muss man andere Wege gehen. Auch gibt es in seltenen Fällen Suchmaschinen, die sich über die Datei robots.txt hinweg setzen und die Dateien und Verzeichnisse trotzdem indexieren. Jedoch ist dies mittlerweile die Ausnahme.

Kommentar hinterlassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.