Faco57 Posted February 21, 2017 Share Posted February 21, 2017 Bonjour, j'ai un petit soucis de pages bloquées par mon fichier robots.txt. C'est normal, c'est écrit dans le fichier ! Disallow: /*commande Du coup, mes articles qui contiennent le terme télécommande, ont hérité du terme telecommande dans l'URL simplifiée, et comme dans télécommande, il y a commande, forcément, ça bloque. La syntaxe et le fonctionnement du fichier permet-il de changer le comportement par un allow: /*telecommande avant ou après le disallow ? La lecture du fichier robots.txt s'arrête-t-elle au premier terme concordant ou se poursuit-elle jusqu'au bout pour chaque page ? Ou faut-il changer les URL et mettre des redirections en place ? Merci pour les éclaircissements Link to comment Share on other sites More sharing options...
Oron Posted February 22, 2017 Share Posted February 22, 2017 Bonjour le fichier robots.txt ne bloque rien, c'est un fichier txt texte simple, il ne peut pas bloquer la seule fonction du robots.txt comme son nom l'indique robots est pour indiquer à google quel dossier fichier qu'il ne doit pas indexer pour cela on peut disallow. C'est pour éviter que l'url de commande soit référencer et autre url qui n'ont aucun impact sur le référencement à part celui de se dispatcher dans le monde si elles ne sont bloquer par disallow Link to comment Share on other sites More sharing options...
Faco57 Posted February 22, 2017 Author Share Posted February 22, 2017 Bonjour, Je sais que le robots.txt ne bloque rien ! La Search Console Google renvoit l'avertissement "Le sitemap contient des URL qui sont bloquées par le fichier robots.txt" C'est en ça que je parle de blocage, terme employé par google. Je cherche donc à passer "telecommande" en allow en conservant le disallow sur les pages *commande pour avoir un retour vierge de l'analyse du sitemap et pouvoir ainsi référencer mes articles avec "télécommande" Le problème est identifié, je voudrais le contourner. Link to comment Share on other sites More sharing options...
Faco57 Posted February 22, 2017 Author Share Posted February 22, 2017 J'ai fait divers test en console, le fichier à l'air d'être lu jusqu'au bout pour chaque adresse, et ne pas stopper dès qu'une condition matche comme ça se passe habituellement pour un firewall. On peut dont récupérer ce qui a été disallowed par une expression généraliste après coup par un allow plus pointu. Avis aux vendeurs de bavoirs, les articles sautent certainement puisque les avoirs ne sont pas répertoriés. Je vais voir dans quelques jours si le sitemap ressort propre dans la console search. Link to comment Share on other sites More sharing options...
Oron Posted February 26, 2017 Share Posted February 26, 2017 Bonjour Le sitemap contient des URL qui sont bloquées par le fichier robots.txt" Oui pour google c'est bloquer ça indique que google ne doit pas référencer, donc pour lui c'est bloqué et dans le sitemap il ne faut pas mettre ces url, le sitemap c'est pour indiquer la liste des produits et leur structure des catégories Donc si l'url est dans le sitemap et en disallow dans le robots.txt alors oui ça bloque google, mais ça ne bloque pas les visiteurs Ce qui est important est que google référence ce qui doit être et ne référence pas ce qui ne doit pas être qui ne sert a rien pour attirer les clients. Tous ce qui est en disallow ne doit pas être dans le sitermap. Vous aviez écris : j'ai un petit soucis de pages bloquées par mon fichier robots.txt. mais vous n'avez pas parler du sitemap sinon je vous aurais expliquer de suite ce que je viens de mettre là. Link to comment Share on other sites More sharing options...
Faco57 Posted February 26, 2017 Author Share Posted February 26, 2017 No problemo ! C'est vrai que je n'ai pas parlé de sitemap dans le corps du texte, seulement dans le titre. Le problème semble être résolu de mon point de vue, mais pas encore d'un point de vue de la console search. Faut-il renvoyer sitemap et robots.txt pour réanalyse ou l'avertissement disparaîtra par la suite après quelques passages des robots ? Cordialement, David. Link to comment Share on other sites More sharing options...
Oron Posted February 26, 2017 Share Posted February 26, 2017 Le robots.txt non ça le robot le verra en passant, il lis le fichiers, par contre oui un nouveau sitemap on peut et c'est même conseiller de le soumettre. Dans les balises <url> <loc>http://www.example.com/</loc> <lastmod>2005-01-01</lastmod> <changefreq>monthly</changefreq> << là on peut indiquer la fréquence de passage souhaiter mais selon le nombre de fois qu'on ajoute des produits <priority>0.8</priority> </url> Link to comment Share on other sites More sharing options...
Faco57 Posted February 28, 2017 Author Share Posted February 28, 2017 L'avertissement a disparu dans la console search. Les adresses en *commande sont bien exclues mais pas celles en *telecommande. Merci pour les précisions apportées. Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now