Robots.txt
Bei der robots.txt handelt es sich um eine Datei, die über das Root Verzeichnis aufgerufen wird (http://www.mein-shop.de/robots.txt). Über diese Datei kann definiert werden, welche Seiten indexiert werden sollen und welche explizit von der Indexierung ausgeschlossen werden sollen.
Beschreibung der Filter
Bei der Analyse nach den Angaben der robots.txt stehen verschiedene Filter zur Verfügung, um mögliche Probleme in diesem Zusammenhang zu ermitteln. Diese werden in der folgenden Tabellen näher beschrieben:
Allowed (Soll gecrawlt werden)
Gibt an, das die Seite durch Google indexierbar werden soll.
Was ist zu tun?
Es gibt keinen Handlungsbedarf, es sei denn es ist gewünscht, dass die nicht Seite indexiert werden soll.
Disallowed (Soll nicht gecrawlt werden)
Gibt an, dass die Seite nicht indexierbar werden soll.
Was ist zu tun?
Es besteht kein Handlungsbedarf, es sei denn es ist gewünscht, dass die Seite indexiert werden soll.
Robots.txt konnte nicht ausgelesen werden
Gibt an, dass die robots.txt von Ihrem Shop nicht eingelesen werden konnte.
Was ist zu tun?
Stellen Sie sicher, dass die robots.txt erreichbar ist (http://www.ihre-shopdomain.de/robots.txt) und starten Sie den Crawler anschließend erneut.
Beachten Sie bitte, dass alle Seite in dem Plugin als nicht indexierbar gelten, wenn die robots.txt nicht eingelesen werden kann.