El documento robots.txt es un recurso clave para toda página web que busca estar bien vista por los rastreadores como Google . Sirve como el mapa para los crawlers , indicándoles qué áreas de tu web pueden deben rastreadas y cuáles se deben excluir . La óptima configuración de este fichero puede a p