El archivo robots.txt es un archivo de texto, de ahí la extensión .txt, que sugiere a los buscadores como Google qué URLs de nuestro sitio debe rastrear y a qué partes de la página web no quieres que accedan los bots para rastrear el contenido.
Por decirlo de otra manera, el archivo robots.txt contiene un listado de URLs que no deseas que los buscadores como Google rastreen ni se muestren en los resultados de búsqueda.
Como sabes, por defecto, los robots o arañas de Google rastrean todo el contenido de tu página web (y cuando digo todo, es TODO), pero… ¿Qué ocurre si tienes un directorio que no deseas que Google lo indexe? Lo ideal, es incluirlo en este archivo. De esta manera, cuando un robot vaya a visitar tu sitio, antes comprobará el archivo robots.txt y sabrá qué instrucciones seguir.