Für Webauftritte ist es zuzeiten sinvoll die Indexierung von bestimmte Dateien und Verzeichnisse zu vermeiden. Beispielweise, wenn es sich um Dateien handelt, die nicht relevante Inhalte haben. Um das zu erm?glichen, mu? man eine Textdatei mit dem Namen “robots.txt” erstellen und diese im Stammverzeichnis der Webauftrittedomain hinzufügen, so da? die Robots (googlebot, msnbot, etc.) sie finden.
Für Webauftritte auf Basis WordPress der robots.txt Inhalt wird dynamisch erzeugt.
Das RRZE-Robots-Txt Plugin erm?glich die Bearbeitung des robots.txt Inhalts um weitere Direktiven hinzuzufügen.
Multisite kompatibel.
评论0