#
# robots.txt para tu blog en WordPress.
#
# Usar bajo propia responsabilidad, que nos conocemos }:)
# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
#
# Primero el contenido adjunto.
User-Agent: *
Disallow: /avencis/
Disallow: /firma_futurgrup/
Disallow: /imagenes/
Disallow: /news/
Disallow: /newsletter/
Disallow: /formulario/



Sitemap: http://www.taos.es/sitemap.html
Disallow: /?s=
Disallow: /search
#

# A partir de aqu’ es opcional pero recomendado.
#
# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante...
# A–adir al gusto del consumidor...
User-agent: MSIECrawler
Disallow: /avencis/
Disallow: /firma_futurgrup/
Disallow: /imagenes/
Disallow: /news/
Disallow: /newsletter/
Disallow: /formulario/
User-agent: WebCopier
Disallow: /avencis/
Disallow: /firma_futurgrup/
Disallow: /imagenes/
Disallow: /news/
Disallow: /newsletter/
Disallow: /formulario/
User-agent: HTTrack
Disallow: /avencis/
Disallow: /firma_futurgrup/
Disallow: /imagenes/
Disallow: /news/
Disallow: /newsletter/
Disallow: /formulario/
User-agent: Microsoft.URL.Control
Disallow: /avencis/
Disallow: /firma_futurgrup/
Disallow: /imagenes/
Disallow: /news/
Disallow: /newsletter/
Disallow: /formulario/
User-agent: libwww
Disallow: /avencis/
Disallow: /firma_futurgrup/
Disallow: /imagenes/
Disallow: /news/
Disallow: /newsletter/
Disallow: /formulario/
#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podŽis dejarlo bajo e ir
# subiendo hasta el punto —ptimo.
#
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10#