robots txt

Bei einer robots.txt Datei handelt es sich um eine Textdatei, in der bestimmbar ist, welcher Bereich der Domain von einem Crawler einer Suchmaschine gecrawlt werden darf und welcher nicht. Ebenfalls ist der Ausschluss einzelner Dateien, ganzen Verzeichnissen oder gar ganzen Domains möglich. Dadurch können Webmaster das Verhalten der Suchmaschinen-Crawler steuern. Ebenfalls kann in einer robots.txt Datei ein Hinweis auf XML-Sitemap angebracht werden, damit Crawler sehen, welche URL-Struktur die jeweilige Webseite besitzt. Unterseiten können ebenfalls durch Meta-Tags, die die Bezeichnung „robots“ haben, von einer Indexierung ausgeschlossen werden.

Robots.txt hat einen erheblichen Einfluss auf die Optimierung von Suchmaschinen. Seiten, die durch robots.txt ausgeschlossen werden, können nicht ranken oder höchstens mit einem Text als Platzhalter in den SERPs erscheinen. Erfolgt eine zu starke Einschränkung der User Agents, kann dies Nachteile im Ranking zur Folge haben. Hingegen kann eine zu offene Notation dazu führen, dass auch Seiten von Suchmaschinen indexiert werden, die beispielsweise Duplicate Content beinhalten. Wird eine robots.txt Datei erstellt, ist ein höchstes Maß an Genauigkeit in Bezug auf die Syntax notwendig.

Durch die robots.txt Datei können Webmaster die Verhaltensweisen von Suchmaschinencrawlern steuern. Treten jedoch Fehler auf, können Webseiten nicht mehr erreicht werden, da die jeweiligen URLs nicht im Index der Suchmaschinen erscheinen. Das bedeutet, die Webseiten sind nich tmehr existent. Die Erstellung einer robots.txt Datei erfolgt durch einen Texteditor. Daneben gibt es Tools, die die Informationen für eine robots.txt Datei abfragen und diese automatisch erstellen. Ebenfalls kann eine Datei durch den Google-Account in den Webmaster-Tools erstellt werden.

robots txt
Wie gefallen Ihnen die Infos?

2017-05-02T14:39:30+00:00