# # robots.txt for your webspace at 4rieck.net Webservices # # robots.txt,v 1.0 2004/07/10 13:30:00 # # Hinweise: # - Gross- und Kleinschreibung zwingend beachten ! # - der Eintrag "#" zu Beginn einer Zeile schaltet diese Zeile ab (macht einen Kommentar daraus) # - Bitte diese robots.txt nicht löschen, da die Robots sowieso sonst alles durchsuchen # - und die eigenen LOG-Dateien permanent bei jedem Zugriff mit "robots.txt" vollgeschrieben werden ! # - weitere Hinweise gibt es unter http://www.robotstxt.org/ # # Beispiel um einen bestimmten ROBOT komplett alles zu verbieten zu durchsuchen #User-agent: NameBadBot #Disallow: / # Beispiel allen ROBOTs WebCrawler/Google usw. komplett alles zu verbieten irgendwas zu durchsuchen #User-agent: * #Disallow: / # Konkretes Beispiel, dem AltaVista zu verbieten, ein bestimmtes Verzeichnis zu durchsuchen # AltaVista Search #User-agent: AltaVista Intranet V2.0 W3C Webreq #Disallow: /Out-Of-Date # Default bei 4rieck.net Webservices (u.a. aus Sicherheitsgründen) ist ... User-agent: * Disallow: /cgi-bin Disallow: /home Disallow: /admin Disallow: /webmail Disallow: /report Disallow: /counter Disallow: /secure Disallow: /ssl