# =================================== # Generator: http://pixelfolk.net/tools/robots # Erstellt am: 27.06.2013, 10:51 # Webseite: http://http://www.perlowski-hemer.de # =================================== Sitemap: http://www.perlowski-hemer.de/google_sitemap.xml.gz # =================================== # Folgende Seiten sollen nicht indexiert werden: # =================================== User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /temp/ Disallow: /SpryAssets/ Disallow: /scripts/ Disallow: /assets/ # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: yahoo-slurp User-agent: yahoo-mmcrawler User-agent: psbot User-agent: teoma User-agent: yandex User-agent: exabot User-agent: gigabot User-agent: ia_archiver User-agent: baiduspider User-agent: nutch User-agent: cityreview User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector User-agent: penthesilea Disallow: /