# Zeilen in dieser robots.txt die mit einer "#" versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert!


# Hier können Sie mit dem "Disallow:" weitere Verzeichnisse direkt schützen
# die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine

User-agent: *
Disallow: /cgi-bin/
Disallow: /error/
Disallow: /images/
Disallow: /log/
Disallow: /oldpages/
Disallow: /include/
Disallow: /de/
Disallow: /en/
Disallow: /download/articles/
Disallow: /*.pdf
Disallow: /*.mp3
Disallow: /*.ogg
Disallow: /*.jpg
Disallow: /*.png

# z.b. Disallow: /mein-nicht-angezeigtes-verzeichnis/

# Hier könnten noch folgende Einschränkungen gemacht werden!
# User-agent: Scooter
# Disallow: /
User-agent: TurnitinBot
Disallow: /