tetranet2 Posted October 23, 2013 Share Posted October 23, 2013 Bonjour, J'ai relancé, juste en dessous un sujet résolu, donc je refais un post car j'ai un un petit souci : Sur GWT j'ai un problème au niveau des urls bloquées, et elles augmentent de plus en plus : 2 342 22 oct. 2013 200 (Réussi) Donc 2342 Url bloquées Je pense que cela vient de mon fichier robot.txt Si quelqu'un avait une petite idée se serait bien sympathique car j'ai beau chercher je ne trouve pas. J'ai du coup une chute des visites en résultat naturel Tetra Je suis même en train de me tâter à mettre le robot.txt vide ... Link to comment Share on other sites More sharing options...
lechapelier Posted October 24, 2013 Share Posted October 24, 2013 (edited) copiez votre robot.txt sinon on aura du mal à vous aider... Edited October 24, 2013 by lechapelier (see edit history) Link to comment Share on other sites More sharing options...
tetranet2 Posted October 24, 2013 Author Share Posted October 24, 2013 (edited) Bonjour, Oui c'est pas faux : # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution# http://www.prestashop.com - http://www.prestashop.com/forums# This file is to prevent the crawling and indexing of certain parts# of your site by web crawlers and spiders run by sites like Yahoo!# and Google. By telling these "robots" where not to go on your site,# you save bandwidth and server resources.# For more information about the robots.txt standard, see:# http://www.robotstxt.org/wc/robots.htmlUser-agent: *# DirectoriesDisallow: /classes/Disallow: /config/Disallow: /download/Disallow: /mails/Disallow: /modules/Disallow: /translations/Disallow: /tools/Disallow: /lang-fr/# FilesDisallow: /addresses.phpDisallow: /address.phpDisallow: /authentication.phpDisallow: /cart.phpDisallow: /discount.phpDisallow: /footer.phpDisallow: /get-file.phpDisallow: /header.phpDisallow: /history.phpDisallow: /identity.phpDisallow: /images.inc.phpDisallow: /init.phpDisallow: /my-account.phpDisallow: /order.phpDisallow: /order-opc.phpDisallow: /order-slip.phpDisallow: /order-detail.phpDisallow: /order-follow.phpDisallow: /order-return.phpDisallow: /order-confirmation.phpDisallow: /pagination.phpDisallow: /password.phpDisallow: /pdf-invoice.phpDisallow: /pdf-order-return.phpDisallow: /pdf-order-slip.phpDisallow: /product-sort.phpDisallow: /search.phpDisallow: /statistics.phpDisallow: /attachment.phpDisallow: /guest-trackingDisallow: /*orderby=Disallow: /*orderway=Disallow: /*tag=Disallow: /*id_currency=Disallow: /*search_query=Disallow: /*id_lang=Disallow: /*back=Disallow: /*utm_source=Disallow: /*utm_medium=Disallow: /*utm_campaign=Disallow: /*n=# Sitemapsitemap: http://a37839.hostedsitemaps.com/3875187/sitemap.xml.gz Oui je suis sous Prestashop 1.4.3 Edited October 24, 2013 by tetranet2 (see edit history) Link to comment Share on other sites More sharing options...
lechapelier Posted October 24, 2013 Share Posted October 24, 2013 Hello, voici le mien en comparaison presta 1.5.4.1, indique ta version de presta également. # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution # http://www.prestashop.com - http://www.prestashop.com/forums # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. # For more information about the robots.txt standard, see: # http://www.robotstxt.org/wc/robots.html User-agent: * # Private pages Disallow: /*orderby= Disallow: /*orderway= Disallow: /*tag= Disallow: /*id_currency= Disallow: /*search_query= Disallow: /*back= Disallow: /*utm_source= Disallow: /*utm_medium= Disallow: /*utm_campaign= Disallow: /*n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-opc Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories Disallow: /*classes/ Disallow: /*config/ Disallow: /*download/ Disallow: /*mails/ Disallow: /*modules/ Disallow: /*translations/ Disallow: /*tools/ # Files Disallow: /*fr/adresse Disallow: /*fr/adresses Disallow: /*fr/authentification Disallow: /*fr/panier Disallow: /*fr/bons-de-reduction Disallow: /*fr/suivi-commande-invite Disallow: /*fr/historique-des-commandes Disallow: /*fr/identite Disallow: /*fr/mon-compte Disallow: /*fr/commande Disallow: /*fr/details-de-la-commande Disallow: /*fr/commande-rapide Disallow: /*fr/avoirs Disallow: /*fr/mot-de-passe-oublie Disallow: /*fr/recherche Voici le miens, on a pas du tout la même chose donc dur de s'y retrouver, ça pourrait te donner des pistes. En espérant qu'un plus compétent passe par là. Link to comment Share on other sites More sharing options...
tetranet2 Posted October 24, 2013 Author Share Posted October 24, 2013 Merci Lechapelier de ton aide. C'est vrai que je suis sous Prestashop 1.4.3 le fichier doit être différent. AS-tu toi aussi des URLs bloquées quand tu vas sur Google Webmaster tools ? Tetra Link to comment Share on other sites More sharing options...
lechapelier Posted October 25, 2013 Share Posted October 25, 2013 Bonjour, C'est pourquoi il y a tant de différences. Les pages bloquées sont celles configurées dans le robot.txt, rien de plus, aucun produit bloqué. Peut être cela vaudrait-il le coup de faire une maj vers la 1.5.6 histoire d'anticiper la 2.0 pour 2014. Mais je te conseille très fortement de tester sur un serveur virtuel la maj avant de l'appliquer sur ton site en production histoire de voir si ça ne fait pas tout planter car c'est un sacré saut de maj. Link to comment Share on other sites More sharing options...
tetranet2 Posted October 25, 2013 Author Share Posted October 25, 2013 Bonjour, Merci de ton soutien Mais quand même, plus de 2300 url bloquées ça fait beaucoup quand même, non ? D’ailleurs le trafic sur mon site a chuté depuis ce blocage d'URL. En plus on ne peut pas voir quelles sont les URLs bloquées sur GWT. Comment peut-on voir les URLs bloquées par GWT ? une idée ? Tetra Link to comment Share on other sites More sharing options...
Content Posted December 30, 2013 Share Posted December 30, 2013 Bonjour, Je pense que le problème est avec le sitemap en bas de ton fichier robot txt # Sitemap Sitemap: http://www.nomdedomaine.fr/sitemap.xml Il faut surement le supprimer! J'ai plus ou moins le même code que toi et j'ai le même soucis!!! Link to comment Share on other sites More sharing options...
labelandco Posted December 30, 2013 Share Posted December 30, 2013 .....................????????????????? le sitemap ne bloque en rien des URL, bien au contraire il les ouvre... du moins il ouv le blocage des "2300" URL il serait intéressant de voir quels types d'url et en fonction de cela il serait bon de faire un point merci de nous faire une copie d'écran de vos URL bloqués rencontré sur GWT a la limite vous l'envoyez en mp. Link to comment Share on other sites More sharing options...
Content Posted January 6, 2014 Share Posted January 6, 2014 (edited) J'ai plus de 2000 URL bloquées! Et ça augmente proportionnellement au nombre de pages indexées. Sur GWT il y a le sitemap d'enregistré comme suit : # Sitemap Sitemap: http://www.nomdedomaine.fr/sitemap.xml Alors du coup je me demande si c'est pas du au sitemap... Edited January 10, 2014 by Content (see edit history) Link to comment Share on other sites More sharing options...
pzi Posted January 8, 2014 Share Posted January 8, 2014 Salut! Pas de panique sur ce nombre de pages bloquées par robots.txt, c'est pour éviter des doublons et c'est tant mieux pour votre référencement. Quand on fait la multiplication suivante : sur les page de listing de produits, triés par nom, par prix, par quantité, par ordre décroissant, par ordre croissant, par nombre d'article par page (10, 20, etc), et qu'on recommence avec chaque catégorie et sous-catégorie, et qu'on y ajoute les tags, et tous les liens pour mettre un articles dans le panier, ça fait vite pas mal de pages, qui sont toutes différentes pour l'ami gogol et les autres, car leur urls sont différentes: elles contiennent toutes une variations des divers paramètres. Mais le contenu n'est pas différent ou à peine. Link to comment Share on other sites More sharing options...
Content Posted January 8, 2014 Share Posted January 8, 2014 ok ok intéressant!Donc il n'y a pas d'alerte. J'étais pas mal étonné mais il est vrai que je suis bien positionné sur certains de mes mots clé. Donc effectivement ça ne doit pas gêner le référencement. Merci pour ta réponse, je suis rassuré Link to comment Share on other sites More sharing options...
tetranet2 Posted January 8, 2014 Author Share Posted January 8, 2014 (edited) Bonjour, Faites un test sur : http://www.virante.org/seo-tools/duplicate-content Pour ma part le fait d'avoir d'avoir mon nom en WWW et sans les WWW m'a generé du duplicate content. Donc suite aux conseils des membres de seosphere, j'ai modifié mon htacess: RewriteEngine onRewriteCond %{HTTP_HOST} !^www.tonsite.com$RewriteRule ^(.*) http://www.tonsite.com/$1 [QSA,L,R=301] Et depuis plus de duplicate content et mes URLs bloquées sont déscendues à 600. Pour le moment. TEtra Edited January 10, 2014 by labelandco (see edit history) Link to comment Share on other sites More sharing options...
Content Posted January 9, 2014 Share Posted January 9, 2014 Merci Newbie! C'est exactement ça!! J'ai mon nom en WWW et sans les WWW. Donc je vais essayer de modifier mon Htacess. Et voir si il y a du changement. Je vous tiens au jus Link to comment Share on other sites More sharing options...
CoussinGermain Posted February 28, 2014 Share Posted February 28, 2014 Bonjour, Je me permets de vous écrire car je connais un souci sur le référencement de mon site (coussingermain.com). En effet, j'ai envoyé à Google webmaster tool le sitemap du site. Pourtant, mes images du site ne sont pas indexées. Je me dis qu'il y a peut être plusieurs raisons à cela : - Le fichier robot.txt pourrait bloquer l'accès au dossier image du site ? Voici le détail du robot.txt : # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution # http://www.prestashop.com - http://www.prestashop.com/forums # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. # For more information about the robots.txt standard, see: # http://www.robotstxt.org/wc/robots.html User-agent: * # Private pages Disallow: /*orderby= Disallow: /*orderway= Disallow: /*tag= Disallow: /*id_currency= Disallow: /*search_query= Disallow: /*back= Disallow: /*utm_source= Disallow: /*utm_medium= Disallow: /*utm_campaign= Disallow: /*n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-opc Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories Disallow: /*classes/ Disallow: /*config/ Disallow: /*download/ Disallow: /*mails/ Disallow: /*modules/ Disallow: /*translations/ Disallow: /*tools/ # Files Disallow: /*fr/mot-de-passe-oublie Disallow: /*fr/adresse Disallow: /*fr/adresses Disallow: /*fr/authentification Disallow: /*fr/panier Disallow: /*fr/bons-de-reduction Disallow: /*fr/historique-des-commandes Disallow: /*fr/identite Disallow: /*fr/mon-compte Disallow: /*fr/details-de-la-commande Disallow: /*fr/avoirs Disallow: /*fr/commande Disallow: /*fr/recherche Disallow: /*fr/commande-rapide Disallow: /*fr/suivi-commande-invite Disallow: /*fr/confirmation-commande - Ensuite, le sitemap envoyé est celui généré par le module prestashop par défaut. Peut être celui ci est il mal construit ? En voici l'adresse ; www.coussingermain.com/1_fr_0_sitemap.xml - Enfin, travaillant sur la version 1.5.4.1 de Prestashop, pour cette version, il n'est plus possible de renseigner les balises ALT des images, Prestashop ayant supprimé cette fonctionnalité. Est ce possible que le mauvais référencement de mes images soit lié à cela ? Bref, si quelqu'un peut m'aiguiller sur le sujet, j'en serais très reconnaissante. Merci ! Link to comment Share on other sites More sharing options...
Djolhan Posted February 28, 2014 Share Posted February 28, 2014 Arrêtez un peu de focaliser sur le sitemap... LabelandCo a tout dit ! Quelles urls sont indiquées dans GWT, c'est la seule question à se poser... Parceque si c'est 2000 url avec le param orderby etc. C'est tout à fait normal et ca n'impacte pas du tout le référencement, au contraire. Donc, avant de chercher dans le robots.txt, il faut déjà savoir quelles sont les urls mentionnés. Link to comment Share on other sites More sharing options...
CoussinGermain Posted February 28, 2014 Share Posted February 28, 2014 (edited) Disallow: /*id_currency=Disallow: /*search_query=Disallow: /*id_lang=Disallow: /*back=Disallow: /*utm_source=Disallow: /*utm_medium=Disallow: /*utm_campaign=Disallow: /*n=# Sitemapsitemap: http://a37839.hostedsitemaps.com/3875187/sitemap.xml.gzDisallow: /*id_currency= pourquoi tu mentionnes le sitemap? Bonsoir et merci de votre réponse. Parce que j'ai pu lire que le sitemap pouvait parfois bloquer le référencement. si ce n'est pas le cas, tant mieux. C'est un souci réglé ! Est ce que vous semblez dire que le robot.txt contient des disallow qui peuvent bloquer le référencement des images ? Merci Edited February 28, 2014 by CoussinGermain (see edit history) Link to comment Share on other sites More sharing options...
CoussinGermain Posted February 28, 2014 Share Posted February 28, 2014 (edited) Arrêtez un peu de focaliser sur le sitemap... LabelandCo a tout dit ! Quelles urls sont indiquées dans GWT, c'est la seule question à se poser... Parceque si c'est 2000 url avec le param orderby etc. C'est tout à fait normal et ca n'impacte pas du tout le référencement, au contraire. Donc, avant de chercher dans le robots.txt, il faut déjà savoir quelles sont les urls mentionnés. Bonjour, Pour être plus précise, dans GWT, il est indiqué 112 images envoyées pour 18 indexées. Cela me semble peu. Je cherche dons des solutions pour améliorer cela. Merci de votre aide. Edited February 28, 2014 by CoussinGermain (see edit history) Link to comment Share on other sites More sharing options...
Recommended Posts