¿Qué es el archivo robots.txt?
El archivo robots.txt es un archivo de texto, de ahí la extensión .txt, que sugiere a los buscadores como Google qué URLs de nuestro sitio debe rastrear y a qué partes de la página web no quieres que accedan los bots para rastrear el contenido. Por decirlo de otra manera, el archivo robots.txt contiene un listado de […]
¿Qué es el archivo robots.txt? Leer más »