# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://blog.websenat.de/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
# ===================================
# Seiten die nicht indexiert werden:
# ===================================

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /temp/
Disallow: /impressum
Disallow: /datenschutzerklaerung

# ===================================
# Spider ausschließen:
# ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
Disallow: /