URGENT : pourquoi le robots.txt de prestashop est rempli d' * alors que c'est interdit ?

[Jean Francois G]

La structure actuelle d'un robots.txt sur un prestashop 1.5.3.1 est la suivante :

 

" # http://www.robotstxt.org/wc/robots.html

User-agent: *

# Private pages

Disallow: /*orderby=

Disallow: /*orderway=

Disallow: /*tag=

Disallow: /*id_currency=

Disallow: /*search_query= "

 

Et tout le long du fichier on a cette étoile devant les nom des fichiers, des dossiers, etc..

 

Hors l'étoile est interdite dans les URL du robots.txt normalement et ne doit apparaitre que dans le user-agent..

 

Y'a pas comme un soucis ??

[jeckyl]

Bonjour,

 

l'étoile est devant les variable d'url pas les dossiers, non ?

[Milhouse]

L'étoile n'est pas interdite, c'est juste un caractère joker. Ou si elle est interdite, il faut que me dise où c'est indiqué. En gros, ça permet d'éviter d'indexer les urls qui ont ces variables. Sinon tu vas te retrouver avec plein de fois les mêmes pages mais juste avec un ordre des produits différents par exemple, et ça n'est pas conseillé parce que ça va te faire énormément de duplicate content. L'idée c'est de n'avoir qu'une seule URL par page.

[Jean Francois G]

ALors jeckyl, les * sont aussi devant les variables de dossier..

 

Disallow: /*controller=search

Disallow: /*controller=statistics

Disallow: /*controller=attachment

Disallow: /*controller=guest-tracking

# Directories

Disallow: /*classes/

Disallow: /*config/

Disallow: /*download/

Disallow: /*mails/

Disallow: /*modules/

Disallow: /*translations/

Disallow: /*tools/

DIsallow: /forum/

# Files

Disallow: /*fr/mot-de-passe-oublie

Disallow: /*fr/adresse

Disallow: /*fr/adresses

Disallow: /*fr/authentification

 

Et pour milhouse, voila ou est marqué que les * sont interdites : http://www.rankspirit.com/frobots.php

Ils precisent que google accepte les * mais que d'autres moteurs les refusent..

 

J'ai vérifié, effectivement google les accepte.. Du coup on s'en fiche ?