fichier robot et noindex

[oxawatt]

Bonjour

J ai 2 soucis d'indexation des pages

- mes articles de blog (prestablog) sont en noindex

- pour éviter le duplicat content comment exclure la deuxième page et suivantes de monsite.com/promotions par exemple

voici mon ficher robot.txt :

# robots.txt automatically generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */cache/
Disallow: */classes/
Disallow: */config/
Disallow: */controllers/
Disallow: */css/
Disallow: */download/
Disallow: */js/
Disallow: */localization/
Disallow: */log/
Disallow: */mails/
Disallow: */modules/
Disallow: */override/
Disallow: */pdf/
Disallow: */src/
Disallow: */tools/
Disallow: */translations/
Disallow: */upload/
Disallow: */vendor/
Disallow: */web/
Disallow: */webservice/
 

Merci de votre aide

[Johann]

Si tes pages 2, 3, etc... n'ont pas le même contenu que la page 1 (cas d'une catégorie avec beaucoup de produits), tu n'auras vraiment de contenu dupliqué (sauf le title et la meta description). Il te faut dans ce cas intégrer des balises rel="prev" et/ou rel="next" pour indiquer à Google qu'il y a de la pagination

Concernant la page promotions, là en effet tu as du contenu dupliqué, car les articles contenus sont déjà présents et indexés (dans leur catégories). Là, il te faut en effet mettre du "noindex" (j'ai un module pour ça, au cas où ;))

Par contre, ne pas se tromper sur le role du robots.txt. Il sert à empecher de crawler des pages. Et une page qui a un "noindex" et qui est bloquée par le robots.txt ne peut pas être lue (normal), donc Google ne verra pas le noindex et ne la désindexera pas (normal aussi)

[Presta_SEO]

Il y a aussi la balise canonical qui règle les soucis de pagination (mais pas que)...