# robots.txt hsd (2009-11-07) # # Het "Robots Exclusion Protocol", de "robots exclusion standard" of het "robots.txt # protocol" is een conventie om (delen van) een normaal toegankelijke website af # te schermen voor bepaalde webspiders en zoekrobots. (....) Het protocol maakt # gebruik van het robots.txt-bestand, dat in de rootdirectory van een website # wordt gezet. Als alternatief voor dit speciale bestand kan in bestaande # HTML-bestanden middels HTML-tag Meta het attribuut "robots" worden opgenomen. # http://nl.wikipedia.org/wiki/Robots_Exclusion_Protocol # # Zie ook http://www.robotstxt.org/ # keep every spider ... User-agent: * # ... out of this: #Disallow: /test/ Disallow: /