[email protected] Posted July 28, 2015 Share Posted July 28, 2015 Bonjour à tous, Je viens de recevoir aujourd'hui une notification de Google Search Console dont les termes sont les suivants ; " Nos systèmes ont récemment détecté un problème avec votre page d'accueil qui affecte l'affichage et l'indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt. Ces fichiers nous permettent de comprendre que votre site Web fonctionne correctement. En bloquant l'accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal." Après recherche sur le sujet, il est effectivement déconseillé de restreindre l'accès à ces fichiers afin d'améliorer l'indexation par Google. En éditant le fichier robot.txt généré automatiquement par prestashop, je ne vois aucune mention particulière qui interdit à Googlebot d'indexer ces fichiers (voir la capture écran). Est-ce que l'un de vous aurais une piste ? Merci par avance Link to comment Share on other sites More sharing options...
boostervente Posted July 28, 2015 Share Posted July 28, 2015 Bonjour, J'ai aussi reçu le même message pour nombre de mes clients. C'est le fichier standard robots.txt de Prestashop que j'utilise. Je pense que la ligne Disallow: /modules/ Peut en être la case. Cordialement Patrice Link to comment Share on other sites More sharing options...
[email protected] Posted July 28, 2015 Author Share Posted July 28, 2015 Bonjour, merci pour la réponse, je vais tester cette solution. Link to comment Share on other sites More sharing options...
Pierre Webwalker Posted July 28, 2015 Share Posted July 28, 2015 Bonjour à tous Idem pour moi @boostervente : Google Webmaster Tools indique en effet que c'est le répertoire modules auquel Googlebot souhaite accéder... J'ai aussi lu qu'il ne fallait pas bloquer son accès... "Ce que le Roi veut..." je pense que je vais supprimer la ligne Disallow: /modules/ Étonnant pour robot.txt généré par PS ??? Link to comment Share on other sites More sharing options...
boostervente Posted July 28, 2015 Share Posted July 28, 2015 Bonjour, Effectivement, je pense que je vais faire de même à savoir supprimer la ligne de blocage sur le répertoire module. CordialementPatrice Link to comment Share on other sites More sharing options...
gina.35 Posted July 28, 2015 Share Posted July 28, 2015 Bonjour, j'ai supprimer la ligne modules dans le fichier robot.txt et si vous utilisez CrawlProtect il faut cocher les cases "theme" et "module" dans Accès aux fichiers spéciaux dans Autres paramètres depuis j'ai fait le teste "Explorer comme Google" de ma page d'accueil et tout passe bien Link to comment Share on other sites More sharing options...
[email protected] Posted July 28, 2015 Author Share Posted July 28, 2015 Bonsoir, je viens de faire la correction sur la ligne 'modules' et soumis de nouveau plusieurs sites et effectivement cela à l'air de corriger le problème. J'attends 24h… avant de crier victoire… Link to comment Share on other sites More sharing options...
Presta_SEO Posted July 28, 2015 Share Posted July 28, 2015 (edited) Pas de précipitations, d'après mes premières constatations et analyses je pencherais plutôt pour un bug temporaire de Search Console. Je m'explique : Mes sites pros tournant sous WP j'ai également reçu le message pour certains d'entre eux (robots.txt incriminé), or je n'ai pas de robots.txt sur ces derniers (je les ai supprimé il y a quelques temps, ils ne me sont d'aucune utilité puisque je bloque les accès à Google via meta robots noindex et utilise des canonicals pour rediriger certaines pages). Pourtant après vérification dans Search Console, Google m'affiche encore l'ancienne version (antidatée donc) des robots.txt où j'y bloquais les dossiers /wp-admin/ et /wp-includes/... Du coup j'ai régénéré un robots.txt vide avec la seule ligne User-agent: * et forcé le passage de Google, cela semble revenir à la normale sur le premier site. D'autre part, pour Prestashop je ne vois pas pourquoi autoriser le crawl des modules changerait quoi que ce soit, le CSS et le java ne sont pas à cet endroit à ma connaissance, pas plus que dans les dossiers /wp-admin/ et /wp-includes/ de Wordpress ! Edited July 28, 2015 by Presta_SEO (see edit history) Link to comment Share on other sites More sharing options...
boostervente Posted July 28, 2015 Share Posted July 28, 2015 @Presta_seo Dans de nombreux modules, il y a des fichiers css et des js dans le module. Ils sont donc bien bloqués si le répertoire complet /modules/ est bloqué. Link to comment Share on other sites More sharing options...
bobiluse Posted July 28, 2015 Share Posted July 28, 2015 j'ai reçu le même message aujourd'hui alors que peut t’ont faire enlever la ligne Disallow: /modules/ ??? merci pour vos retour Link to comment Share on other sites More sharing options...
Col&gram Posted July 28, 2015 Share Posted July 28, 2015 Bonsoir, J'ai également reçu cette notifiacation mais pour mon wordpress qui a bel et bien des fichiers dont l'accès est bloqué mais pas dans le robot.txt car mes blocages sont écrits dans le .htaccess. La même pour mon Prestashop devrait suivre puisque j'ai les mêmes ressources bloquées. Perso je ne change rien pour le moment, je trouve que Mister Google commence sérieusement à abuser de sa position dominante. Je suis assez éffarée de voir que beaucoup se précipitent pour faire ce que Google veut heureusement qu'il nous a pas dit de nous jeter d'un pont ... Je précise que si j'ai bloqué certains types de fichiers c'est pour une bonne raison : j'avais un taux d'accès au dela de tout entendement à leurs urls dans mes stats, pour certains ça venait de liens Russes ou Ukrainiens qui pointait vers mes fichiers de fonts et de css ... après je peux toujours faire une exception pour le roi, ou pas . Link to comment Share on other sites More sharing options...
rosseluis Posted July 29, 2015 Share Posted July 29, 2015 Bonjour, j'ai également reçu ce message hier fin d'après-midi :-/. Vous me conseillez quoi ? Cordialement, Link to comment Share on other sites More sharing options...
ScaleDEV Posted July 29, 2015 Share Posted July 29, 2015 Bonjour, Il y a effectivement des CSS/JS dans les dossiers des modules. Cependant, lors de l'activation de la compression CSS/JS on ne devrait plus avoir de CSS/JS appelés dans le dossier modules. Hormis si des modules mal développés effectuent des ajouts de CSS/JS en dur dans le code ... Je pencherai également pour un bug de la part de Google. Il est étonnant que ce problème ne soit jamais remonté, et d'un coup remonte sur de nombreux site sans raison. Link to comment Share on other sites More sharing options...
mma87 Posted July 29, 2015 Share Posted July 29, 2015 Hello, I'm sorry if I'm writing in english I think the problem is in your robot.txt, in this row: Disallow: /modules/ to fix the problem add # before this row #Disallow: /modules/ Matteo Link to comment Share on other sites More sharing options...
[email protected] Posted July 29, 2015 Author Share Posted July 29, 2015 Bonjour, Je suis assez dubitatif quand à ce problème qui sort d'un coup du chapeau… Néanmoins peut-on poser la question autrement ; est-ce qu'il est problématique d'autoriser Google à crawler le dossier 'modules' afin de vérifier que cela solutionne (ou non) la question ? 1 Link to comment Share on other sites More sharing options...
Presta_SEO Posted July 29, 2015 Share Posted July 29, 2015 (edited) Bonjour, Il y a effectivement des CSS/JS dans les dossiers des modules. Cependant, lors de l'activation de la compression CSS/JS on ne devrait plus avoir de CSS/JS appelés dans le dossier modules. Hormis si des modules mal développés effectuent des ajouts de CSS/JS en dur dans le code ... Je pencherai également pour un bug de la part de Google. Il est étonnant que ce problème ne soit jamais remonté, et d'un coup remonte sur de nombreux site sans raison. C'est ce que je voulais dire, au même titre que les dossiers wp-admin et wp-include de Wordpress qui contiennent eux aussi CSS et Java. Ce n'est pas pour autant une raison d'en autoriser le crawl et l'accès à Google puisque ce sont des dossiers censés être "cachés" ! Je le répète encore une fois, patience... Edited July 29, 2015 by Presta_SEO (see edit history) Link to comment Share on other sites More sharing options...
easyfete Posted July 29, 2015 Share Posted July 29, 2015 Bonjour, J'ai également rencontré ce problème et je serai tenté de mettre en commentaire la ligne "Disallow: /modules/". Mais si PrestaShop génère un fichier robots.txt pour désactiver l'indexation du répertoire "modules", c'est qu'il y a une bonne raison... N'y aurait-il pas un risque d'afficher des données sensibles du répertoire "modules" dans les serps ? Link to comment Share on other sites More sharing options...
lehangart Posted July 29, 2015 Share Posted July 29, 2015 (edited) Bonjour, J'ai aussi reçu cet avertissement et pour limiter une éventuelle indexation de tout et n'importe quoi par google j'ai opté pour cette solution: # Directories Disallow: */classes/ Disallow: */config/ Disallow: */download/ Disallow: */mails/ Disallow: */modules/ Disallow: */translations/ Disallow: */tools/ Allow: /modules/*.css Allow: /modules/*.js L'ajout des 2 dernières lignes limite l’accès de google aux seuls fichiers javascript et css. Edited July 29, 2015 by lehangart (see edit history) 1 Link to comment Share on other sites More sharing options...
labelandco Posted July 29, 2015 Share Posted July 29, 2015 (edited) bonjour, juste un détail... Pensez-vous vraiment que les modules aient une quelconque importance dans le positionnement de votre site ? Pensez vous trouver dans les lignes de codes de ces modules de quoi positionner votre site en première position ? NNOOONNN bien sûr que non un module est un outil alors que googlebot ne puissent y avoir accès n'empêchera surement pas votre site de continuer a être bien positionné si vous avez du contenu pertinent et efficace. Il faut arrêter de "flipper" des que Google envoi un mail informant qu’il ne peut avoir accès a une partie dont personne =n'a besoin d'avoir accès. Pour finir donner cet accès a vos modules permet aux hackers en herbe de connaitre le fondement de votre site et donc pour peu que vous ayez un module foireux alors bonjour le piratage. En effet a partir du moment ou googlebot a accès alors il le publie c'est le principe même du "Allow" Edited July 29, 2015 by labelandco (see edit history) 1 Link to comment Share on other sites More sharing options...
Presta_SEO Posted July 29, 2015 Share Posted July 29, 2015 (edited) @Labelandco : Un disallow n'empêche (malheureusement dans le cas de Prestashop) pas l'indexation, comme une meta robots noindex n'empêche pas le crawl (à moins de la coupler à une meta robots nofollow). C'est pour cela (dans le cas des pages "physiques" et pour Prestashop du moins) qu'il est impératif de coupler le disallow à une meta robots noindex, seule commande qui empêche radicalement l'indexation. Mais comme tu le soulignes à juste titre, niveau sécurité certaines pages/dossiers doivent impérativement rester "invisible", n'en déplaise à sAigneur Google... Edited July 29, 2015 by Presta_SEO (see edit history) Link to comment Share on other sites More sharing options...
labelandco Posted July 29, 2015 Share Posted July 29, 2015 oui bien évidemment je suis d'accord avec toi, mais le fond de ma pensée et mes propos étaient justement une mise en garde sur le fait de l'importance que certains dossiers doivent être invisibles Link to comment Share on other sites More sharing options...
Presta_SEO Posted July 29, 2015 Share Posted July 29, 2015 Absolument, j'ai juste profité de l'occasion pour faire une petite piqure de rappel sur des notions qui restent abstraites voire inconnues à la majorité des utilisateurs de Prestashop ! Link to comment Share on other sites More sharing options...
Eolia Posted July 29, 2015 Share Posted July 29, 2015 Tout ça me fait doucement rigoler, surtout ceux qui commencent à autoriser tout et n'importe quoi parce que M. Google a dit que... Il faut déjà savoir que les bots Google (et les autres) ne tiennent compte du robot.txt que pour savoir quel contenu doit être indexé. En aucun cas cela ne les empêche de scanner TOUS vos répertoires, sauf si vous y avez mis des protections. Regardez vos logs de connexions, vous serez épatés^^ Google avait annoncé cette vérification en automne 2014 et apparemment pas grand monde ne l'a lu. Qu'est-ce qui se passe donc alors ? Tout simplement, qu'avant, Google n'en avait rien à carrer du "look" de votre site, se penchant surtout sur son contenu, pertinence etc... Depuis l'arrivée des mobiles/tablettes et autres moyens connectés, il se pose la question de l'accessibilité à ces terminaux. Tout ça dans le but de l'indiquer dans les moteurs de recherche. Là où il se moque de vous, c'est qu'il a accès à tous les fichiers nécessaires pour afficher votre site suivant le terminal utilisé (comme n'importe quel internaute d'ailleurs). Mais le fait d'autoriser des répertoires entiers pour lui faire plaisir ne va pas dans le sens de la sécurité/confidentialité. Alors faites comme vous voulez, mais si vos sites s'affichent convenablement dans les différents modes, ne tenez pas compte de la deman de d'ingérence de Mister Google. Vous aurez été prévenus^^ 3 Link to comment Share on other sites More sharing options...
Presta_SEO Posted July 29, 2015 Share Posted July 29, 2015 (edited) Mais le fait d'autoriser des répertoires entiers pour lui faire plaisir ne va pas dans le sens de la sécurité/confidentialité. Alors faites comme vous voulez, mais si vos sites s'affichent convenablement dans les différents modes, ne tenez pas compte de la deman de d'ingérence de Mister Google. Vous aurez été prévenus^^ C'est exactement ce à quoi je pensais d'autant plus que là on touche au sujet sensible de la confidentialité/respect des données personnelles. Google n'a pas l'air d'avoir mesuré l'impact d'une telle décision, cela pourrait aller très loin... Mais ne nous emballons pas, cela n'est après tout peut-être qu'un bug temporaire ! Edited July 29, 2015 by Presta_SEO (see edit history) Link to comment Share on other sites More sharing options...
Atch Posted July 29, 2015 Share Posted July 29, 2015 ça me rappelle un article intéressant : http://blog.axe-net.fr/toutes-ces-choses-que-vous-ne-devez-pas-faire-pour-google/ Link to comment Share on other sites More sharing options...
Eolia Posted July 29, 2015 Share Posted July 29, 2015 ça me rappelle un article intéressant : http://blog.axe-net.fr/toutes-ces-choses-que-vous-ne-devez-pas-faire-pour-google/ Excellent article que j'avais commenté d'ailleurs, ainsi qu'Olivier Link to comment Share on other sites More sharing options...
labelandco Posted July 29, 2015 Share Posted July 29, 2015 (edited) Ce qui est intéressant c'est qu'avant que j'intervienne et aussi @prestaseo, personne n'avait fait la remarque. Mais bon le principal c'est que maintenant les choses soient faites.(c'était juste une parenthèse...) @Eolia je suis mille fois d'accord avec toi. il est ESSENTIEL de rappeler que ce n'est pas parce que Google demande qu'il faut absolument accorder ou faire. le souci c'est que l'ancrage Google est tel et surtout certains forums de M.... disent tellement de C.......que cela fait que les choses se présentent ainsi Edited July 29, 2015 by labelandco (see edit history) Link to comment Share on other sites More sharing options...
lehangart Posted July 29, 2015 Share Posted July 29, 2015 Salut @eolia @atch et @labelandco Que pensez vous de la solution où on n'autorise que l'accès aux fichiers js et css pour satisfaire l'apparence du site aux yeux de google? Link to comment Share on other sites More sharing options...
labelandco Posted July 29, 2015 Share Posted July 29, 2015 pour ma part je reprendrai le paragraphe de @Eolia qui résume très bien la chose @Eolia dit : Tout simplement, qu'avant, Google n'en avait rien à carrer du "look" de votre site, se penchant surtout sur son contenu, pertinence etc... Depuis l'arrivée des mobiles/tablettes et autres moyens connectés, il se pose la question de l'accessibilité à ces terminaux. Tout ça dans le but de l'indiquer dans les moteurs de recherche. Là où il se moque de vous, c'est qu'il a accès à tous les fichiers nécessaires pour afficher votre site suivant le terminal utilisé (comme n'importe quel internaute d'ailleurs). Mais le fait d'autoriser des répertoires entiers pour lui faire plaisir ne va pas dans le sens de la sécurité/confidentialité. Link to comment Share on other sites More sharing options...
Eolia Posted July 29, 2015 Share Posted July 29, 2015 C'est la moins mauvaise, mais inutile. En quoi faut-il satisfaire cette exigence ??? Si demain il vous demande l'identifiant de connexion admin, vous lui donnez ? Link to comment Share on other sites More sharing options...
Oxyllium Posted July 29, 2015 Share Posted July 29, 2015 Bonjour, N'enlevez pas le disallow de /modules/, vous risqueriez de voir certaines pages inutiles indexées dans les SERPs. Utilisez plutôt l'astuce que quelqu'un a partagé plus tôt. Dans le robots.txt : Allow: */.js$ Allow: */.css$ Link to comment Share on other sites More sharing options...
Seo Organique Posted July 29, 2015 Share Posted July 29, 2015 Bonsoir...la réponse ici (testée et approuvée) http://www.pullseo.com/alerte-googlebot-css-et-js/ Cordialement, 1 Link to comment Share on other sites More sharing options...
[email protected] Posted July 30, 2015 Author Share Posted July 30, 2015 Bonjour, Merci Seo Organique pour ce tuto clair et précis. Cordialement Link to comment Share on other sites More sharing options...
Galérienne Posted October 4, 2015 Share Posted October 4, 2015 Bonsoir...la réponse ici (testée et approuvée) http://www.pullseo.com/alerte-googlebot-css-et-js/ Cordialement, Je voulais tester cette solution.. je galère un peu avec le ftp.. J'ai ça (voir ci-dessous) pouvez-vous me donner ce que je dois mettre à la place? # Directories Disallow: */classes/ Disallow: */config/ Disallow: */download/ Disallow: */mails/ Disallow: */modules/ Disallow: */translations/ Disallow: */tools/ D'avance merci... Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now