El fichero robots.txt es el recurso clave para la página web que busca aparecer bien vista por los buscadores como Bing. Sirve como una mapa para los bots, indicándoles qué páginas de tu web https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html