Comment optimisé le fichier robots.txt pour WordPress ?

User-agent: *
# On protège les dossiers sensibles de l'indexation
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?
# On protège les fichiers sensibles de l'indexation
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
# On autoriser Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# On autoriser Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# On pointe vers le sitemap
Sitemap: http://www.monsite.com/sitemap.xml

Si vous hébergez plusieurs domaines chez le même hébergeur, il arrive quelquefois que le dossier dans lequel on place un autre site (comme chez OVH par exemple) soit déposé à la racine au milieux des fichiers du site primaire. N’oubliez pas dans ce cas de protéger ce dossier qui n’a rien avoir avec le présent site pour lequel vous faites ce robots.txt. (Disallow: /monAutreSite).

Comment écrire un fichier robots.txhttp://robots-txt.com/