Für alle die noch keine robots.txt angelegt haben …
http://www.robotstxt.org/
… selbst wenn man keine Verzeichnisse hat in die ein Suchmaschienen Spider (Crawler) nicht rein darf, sollte man eine anlegen, da dies in sich selbst schonmal einige 404 Fehler Einträge spart, da einige Crawler diese gleich als Erstes suchen.