[Résolu] Faut il interdire msnbot et bingbot et comment ? Prestashop 1.6.1.6

[BrunoJWest]

Bonjour à tous,

Désolé ça reprend un sujet que j'ai lancé mais suir lequel je n'ai aucune réponse à part les miennes. J'ai dû mal formuler le sujet. A titre indicatif le voici : https://www.prestashop.com/forums/topic/553386-non-résolu-mais-recréé-autrement-statistiques-fantaisistes-depuis-maj-en-prestashop-1616/

 

Site en Prestashop 1.6.1.6. mis à jour depuis 1.4.0.17

avec thème responsive PRS050103 1.° de template mela 

site : http://www.pieces-auto-competition.com
 

Depuis la mise à jour en 1.6, je me bats contre un envahissement par des robots. visites multipliées par 4 ou 5 et ça dure depuis le 28 août.

-
Fréquemment je vois la même IP sur 50 pages à la fois, que je vérifie sur localiser-ip.com.

parfois un bot allemand, russe, chinois que j'ai bloqués dans mon ht access,

mais dans 80% des cas il s'agit d'un msnbot, encore maintenant. et ce n'est pas sur 2 pages en même temps comme le bot de google, mais sur 50 pages à chaque fois.
-
Que faire ? Laisser envahir le site au risque de le pénaliser ? ou interdire les spiders msnbot et bingbot ?

le problème est qu'il y en a des centaines de msnbot ! j'ai bloqué 4 ou 5 IP directement mais les autres reviennent.
-

j'ai bien tenté de mettre l'user-agent "msnbot" dans une règle "RewriteCond %{HTTP_USER_AGENT} .*msnbot* [NC,OR] "  qui se termine après toute la liste par :  " RewriteRule .* - [F] " et ce après le #end commentaire de la séquence générée par Prestashop .... mais 1) si ça semble avoir éléminé quelques bots ça ne marche pas avec les msnbot, ils reviennent, et 2) je ne suis pas sûr que ce soit "bien" pour le site.

je voudrais juste l'arrêt de l'envahisserment et des stats fiables.
-
Au passage, mes stats hébergeurs sont les mêmes divisées par 4, elles n'ont pas bougées, elles depuis la mise à jour le 28 août.

-
merci de votre aide, ça devient des pertes de temps et c'est assez décourageant. de plus je ne comprends pas cet emballement depuis la mise à jour en 1.6. il ne me rapporte pas plus de commandes d'ailleurs.
-
Bruno

Edited September 9, 2016 by BrunoJWest (see edit history)

[doekia]

Déjà c'est un peu a contre courant de ton référencement de bloquer les bots - sans eux ton site est noyé dans 1200 milliard d'autres et tous le monde utilise un moteur de recherche in nowadays.

 

Je ne sais quel outils de stat tu utilises mais les bons (pas les stats prestashop), savent différencier les bots des internautes.

Analytics par exemple a moins que tu ais forcé sa config ne présente même pas les bots, jamais

Un site sain avec de la notoriété reçoit jusque 50% de traffic issu des bots

 

Enfin si tu veux vraiment (et encore une fois je déconseille) que ta règle d'exclusion du .htaccess soit fonctionnelle, elle doit être en 1er, avant les règles PrestaShop

[BrunoJWest]

OK,
merci Doekia
je vais revenir provisoirement en arrière.
Prestashop 1.4 tournait à 625 visites/jours
Au lendemain de la mise à jour en 1.6 on est passé à 2000/3000 voire plus par jour,
est-ce à dire que avant PS les discernait et plus maintenant ? que les stats PS deviennent pourries ?
c'est en regardant dans les "visiteurs en ligne" que je constate la présence régulière des bots entre autres les msnbots.
est-ce que je ne risque rien par rapport à l'hébergement (blocages) ?
les stats hébergeurs (1a&1 webstats)  elles, sont stables (plutôt vers 250-300 visiteurs/jour, 350-400 sessions).
tu me conseilles de mettre en place plutôt des Google analytics ?

[doekia]

  On 9/9/2016 at 11:10 AM, BrunoJWest said:

Prestashop 1.4 tournait à 625 visites/jours

Au lendemain de la mise à jour en 1.6 on est passé à 2000/3000 voire plus par jour,

est-ce à dire que avant PS les discernait et plus maintenant ? que les stats PS deviennent pourries ?

La manière de gérer les stats a évolué et comme tu le vois pas en bien. De toute manière ça n'a jamais été d'une grande justesse.

J'ai survolé le truc il y a longtemps et je crois me rappeler que l'outil de stat se compte lui même et que les bots sont mal gérés

 

  On 9/9/2016 at 11:10 AM, BrunoJWest said:

c'est en regardant dans les "visiteurs en ligne" que je constate la présence régulière des bots entre autres les msnbots.

est-ce que je ne risque rien par rapport à l'hébergement (blocages) ?

Avec cet "hébergeur" on est sûr de rien - même l'offre pro illimité est limité sur le nombre de fichier

  On 9/9/2016 at 11:10 AM, BrunoJWest said:

les stats hébergeurs (1a&1 webstats)  elles, sont stables (plutôt vers 250-300 visiteurs/jour, 350-400 sessions).

tu me conseilles de mettre en place plutôt des Google analytics ?

Je conseille qu'une chose c'est de laisser venir les robots parce que 250v/j c'est très peu.

Pour anal c'est toi qui vois mais ça sera plus juste et tu saura aussi corréler avec d'autres infos - attend toi à un surprise à la baisse

[BrunoJWest]

Merci beaucoup,

je considère le post comme résolu.

 

bruno