# Anleitung und Syntax für das robots.txt File finden sich unter http://www.robotstxt.org/wc/norobots.html User-agent: * # ab hier gilt es für alle Spiders Disallow: /ftp/ Disallow: /cgi-bin/ Disallow: /Themes/ Disallow: /album11/ Disallow: /albums/ Disallow: /alumnipix/ Disallow: /bup/ Disallow: /devel/ Disallow: /docs/ Disallow: /gallery/ Disallow: /stats/ Disallow: /logs/ Disallow: /aa/modules/gallery2 # Rover is a bad dog als Beispiel wie man einen einzelnen ausschliesst User-agent: Roverbot Disallow: /