Blog

Un fichier robots.txt pour Magento – SEO


Robot txt magento

Le fichier robots.txt est un fichier texte qui aide les robots des moteurs de recherche (comme Google bot et Bing bot) à déterminer quelles sont les pages du site à indexer. Par défaut, les distributions Magento Community et Enterprise ne disposent pas d’un fichier robots.tx, donc vous devez le créer vous même.

Comment le robots.txt va-t-il améliorer le référencement de votre boutique Magento?

En effet, le robot.txt Magento permet de corriger le phénomène des contenus dupliqués et optimise le crawl des robots d’indexation en leur interdisant de crawler des pages inutiles pour votre référencement naturel (oriente le crawl vers des pages utiles).

Exemple d’un fichier robots.txt Magento

Ci-après un fichier robots.txt type. À vous de le modifier selon vos propres besoins seo. Pour le créer il vous suffit d’ouvrir votre bloc-note (si vous êtes sous windows) de copier le contenu ci-dessous et enfin de l’enregistrer sous le nom et extension « robots.txt ».


User-agent:  *

# Répertoires

Disallow: /404/

Disallow: /app/

Disallow: /cgi-bin/

Disallow: /downloader/

Disallow: /errors/

Disallow: /includes/

Disallow: /js/

Disallow: /lib/

Disallow: /magento/

Disallow: /pkginfo/

Disallow: /report/

Disallow: /scripts/

Disallow: /shell/

Disallow: /skin/

Disallow: /stats/

Disallow: /var/

Disallow: /media/

Disallow: /catalog/

Disallow: /catalogsearch/

Disallow: /GlobalPDF/



# Pages

Disallow: /quoteadv/

Disallow: /directory/

Disallow: /catalogsearch/result/

Disallow: /control/

Disallow: /customize/

Disallow: /customer/

Disallow: /checkout/

Disallow: /review/

Disallow: /tag/

Disallow: /newsletter/

Disallow: /poll/

Disallow: /sendfriend/

Disallow: /wishlist/

Disallow: /index.php/

Disallow: /enable-cookies/

Disallow: /contacts/

Disallow: /aide/

Disallow: /faq/

Disallow: /privacy-policy/

Disallow: /service-client/

Disallow: /mentions-legales/

Disallow: /cgv-page/

Disallow: /sales/



# Fichiers

Disallow: /*.js$

Disallow: /*.css$

Disallow: /*.php$

Disallow: /?*

Disallow: /*?*

Disallow: /rss*



# Allowable

Allow: /catalog/seo_sitemap/category/



User-agent : Googlebot-Image

Allow : /media/


26 septembre 2013
Commentaires