El archivo robots.txt, presente en prácticamente cualquier sitio web, sirve para indicar a algunos bots de análisis web que deben ignorar determinados directorios o archivos. Estos bots son utilizados, por ejemplo, por motores de búsqueda como Google para explorar e indexar la web de forma automática.
Algunos administradores utilizan erróneamente el archivo robots.txt para privatizar directorios o archivos. En realidad, solo sirve para hacer peticiones a algunos bots y estos directorios o archivos seguirán accesibles usando un navegador si no se protegen de otra manera.
De hecho, es irónico pensar que a menudo estas rutas «ocultas» dejan de estar ocultas para cualquier atacante gracias al archivo robots.txt . [Entrada de Chema Alonso sobre estos pobres incomprendidos].