Programación, Seo, Usabilidad y Marketing Online
Seo
Como incluir tu sitemap en el robots.txt
Mar 15th
Los buscadores como Google, Bing o Yahoo utilizan los Spiders para indexar una web. Estos Spiders buscan un archivo llamado robots.txt que debe estar ubicado en la raíz del portal, como el robots.txt de Google:
http://www.google.com/robots.txt
Para incluir el Sitemap en el robots.txt se debe agregar en una linea la URL completa del Sitemap de la siguiente forma:
Sitemap: http://tuweb/sitemap.xml
En el caso que tengas varios Sitemaps solo tienes que agregar una linea más. Así harás que los buscadores como Google, Bing o Yahoo sepan la existencia de tu Sitemap en el robots.txt.
Y no te olvides de validar tu sitemap antes de incluirlo.