Robots.txt

Die Datei Robots.txt befindet sich im Startverzeichnis Ihrer Webseite und definiert für Suchmaschinen, welche Verzeichnisse auf Ihrem Server von Spidern erfasst werden dürfen und welche ausgeschlossen werden sollen. Die Erstellung einer robots.txt gehört auch für Profis immer noch zu einem kleinen Geheimnis. Mit diesem Tool können Sie automatisch Ihre Logfiles analysieren und mit diesen Daten sowie der vorhandenen Spiderdatenbank, eine robots.txt generieren in der Sie genau festlegen, welche Suchmaschinenspider welche Daten auf Ihrem Server indexieren dürfen.