A la hora de tener un blog en Internet seguro que para todos vosotros la prioridad son las visitas, y el porcentaje más alto de visitantes se lo llevan los buscadores, aproximadamente el 75-85 % de visitas totales. Para aumentar estas visitas existen una serie de mejoras que podemos implementar en nuestro blog con WordPress, en este caso personalizar y optimar el archivo robots.txt. Aquí tenéis el robots que hemos creado, listo para incluirlo en vuestro sitio (o incluido modificarlo si os hace falta).
# Archivo robots.txt para WordPress # http://www.teusoft.com/el-archivo-robotstxt-perfecto-para-wordpress # # Sitemap.xml de nuestro blog Sitemap: http://tu-sitio.com/sitemap.xml # Robots.txt User-agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ # Desindexar entradas duplicadas, comentarios y trackbacks Allow: /feed/$ Disallow: /feed Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ Disallow: /?s= Disallow: /search User-agent: Googlebot # No indexar archivos terminados con estas extensiones Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*?* Disallow: /*.txt$ # Permitir bot de Adsense. Opcional, pero recomedable si lo usamos. User-agent: Mediapartners-Google* Disallow: # Permitir a Google Imagenes indexar nuestras imagenes. Opcional. User-agent: Googlebot-Image Disallow: # Limitar los bots de Yahoo, MSN y Noxtrum. Opcional. User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10
Descargar | Robots.txt