[Dúvida] Prestashop robots.txt e AdWords - Site bloqueado

[dfmrego]

Boas comunidade,

 

Uma das lojas (site) Prestashop 1.6.15 que tenho está sendo bloqueada no adWords, impedindo-me de criar anúncios para a mesma.

 

Depois de pesquisar e verificar o que conseguia, recorri ao suporte do adWords onde depois de vários contactos e tentativas me indicam que o mesmo está bloqueado devido a haverem "zonas" do site bloqueadas à Google no robots.txt

 

O ficheiro robots.txt foi gerado dentro do Prestashop (Menu SEO) sem alterações.

 

Apesar de não me fazer sentido nenhum tal justificação/razão para o bloqueio, até porque o robots.txt existe por alguma razão... queria saber a experiência de outros.

 

Gostaria assim de perguntar na comunidade, especialmente a quem trabalhe com adWords se também tiveram problemas com a utilização do robots.txt ou pelo contrário têm o robots.txt gerado pelo PrestaShop e anúncios no adWords sem problema?

 

Agradeço desde já a atenção disponibilizada.

[selectshop.at]

Vc. fez alguma alteracao manualmente no ficheiro robots.txt ?

 

Se nao e for a original, entao esta nao bloqueia nada que o Google necessita.

 

Coloque aqui o código do seu robots, para podermos dar uma olhada, ou entao indique a URL da sua página.

[dfmrego]

Boas, antes de mais agradeço o feedback.

 

Não fiz nenhum alteração ao ficheiro e inclusive já o testei no webmaster tools, com sucesso em todos. Não estou a aceitar/perceber a resposta do suporte do adWords.

 

O ficheiro está da seguinte forma:

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*recuperacao-password
Disallow: /*endereco
Disallow: /*enderecos
Disallow: /*login
Disallow: /*carrinho
Disallow: /*desconto
Disallow: /*historico-encomendas
Disallow: /*identidade
Disallow: /*minha-conta
Disallow: /*order-follow
Disallow: /*talao-encomenda
Disallow: /*encomenda
Disallow: /*pesquisa
Disallow: /*quick-order
Disallow: /*guest-tracking
Disallow: /*confimacao-encomenda
# Sitemap
Sitemap: https://shop.shampoocia.pt/1_index_sitemap.xml

[selectshop.at]

O sitemap da sua página está vazio. Clique no link do sitemap que anexou mais acima e verifique. Por isto é que o Google rejeita a sua página.

 

Vc. está usando multi-idiomas ? Se vc. somente usa um idioma, entao desabilite os outros no seu back-office. DEASBILITE e NAO DELETE!!

 

Qual a versao Prestashop em uso?

Qual o módulo sitemap em uso ? Após desabilitar os outros idiomas, deverá regenerar o sitemap.

 

..../1_index_sitemap.xml sao sitemaps criados para lojas com vários idiomas. Com um idioma só vc. nao encontrará um index....

[dfmrego]

Boas,

 

O sitemap não se encontra vazio, aponta sim para https://shop.shampoocia.pt/1_pt_0_sitemap.xml

 

Por agora apenas está habilitado a língua PT e em preparação o Inglês.

 

O PS está na versão 1.6.1.5

 

O modulo é o nativo do prestashop

[selectshop.at]

Quem lhe deu informacao quanto à sua robots.txt ? Eu consigo acessar sem problemas e o sitemap também está correto. Na primeira vez que tentei, eu tinha um sitemap vazio... mas agora está correto.

 

O aque pode estar acontecendo sao países bloqueados vc. usando a Gelocalizacao (geotargeting). Para isto vc. terá que adicionar os bots do Google à whitelist.

 

Pergunte no fórum do Google webmasters, quais os IP's atuais que os bots do adwords usam. Eu nao estou a par.

[dfmrego]

Olá,

Obrigado pelo feedback.

 

A informação veio directamente por email do suporte do Google adWords.

 

Estas foram respostas que tive por email, depois de falar telefonicamente com o suporte adwords:

"Obrigada pela sua paciência.

Verifiquei com a equipa de análise e vimos que tem algumas informações no seu arquivo robots que estão bloqueando a leitura dos robôs."

 

"Você precisa de fato remover todo o bloqueio que seu site tem para que o sistema consiga verificar as informações de seu site.

Apenas algumas páginas liberadas dentro de seu site não são suficientes para que o sistema interno entenda que seu site pode ser lido.

Remova toda a informação de bloqueio do seu arquivo robots.txt e desta forma você poderá anunciar normalmente."

 

O mais ridículo é que pelas ferramentas do webmaster tools, os testes ao robots.txt dá OK em todos.

Daí ter iniciado este tópico para recolher a experiência de outros utilizadores com o AdWords em conjunto com o robots do Prestashop.

 

 

Boa questão a da Geolocalização, não me havia recordado da mesma, no entanto ainda não está activa, pelo que não estará a interferir.

[selectshop.at]

 

O aque pode estar acontecendo sao países bloqueados vc. usando a Gelocalizacao (geotargeting). Para isto vc. terá que adicionar os bots do Google à whitelist.

 

Pergunte no fórum do Google webmasters, quais os IP's atuais que os bots do adwords usam. Eu nao estou a par.

Ou entao no seu servidor está instalada uma firewall, que está bloqueando os IP's correspondentes do Google. Na sua robots nao existe nada bloqueando adWords...

[dfmrego]

Boas,

 

Recebi novo feedback do suporte da AdWords.

 

"Como dito anteriormente, o problema não é que o sistema não consegue ler algumas partes do seu site.

 

O problema é que existem páginas bloqueadas em seu site, desta forma, os robôs não conseguem fazer a leitura de seu site de uma maneira completa.

 

Isso faz com que seu site não passe no teste quando tentamos desbloquear ele por aqui.

 

Já foi te falado que a solução seria habilitar todo o site, não bloqueando assim NENHUMA página."

 

 

 

Resumindo, bloquearam todo o site a publicidade AdWords porque querem acesso a todo o site.

Optei por remover o robots.txt e dar-lhes essa indicação a ver se assim o mesmo é desbloqueado e posteriormente irei bloquear pouco a pouco e ver se me voltam a bloquear o domínio.

[selectshop.at]

Nao entendo. Eles tem acesso ao todo site.... o ficheiro robots que vc. adicionou nao está bloqueando nenhuma parte, somente partes de códiog que possam criar contexto duplo (double content) e partes sensíveis, como o registro e login de contas. Isto nao tem nada a haver com o adWords ou com o Google em total.

 

O bloqueio acho que vem é do seu tema, pois usa muito JS que por sua vez máqu9inas de busca nao podem indexar e nao entendem, ou seja entendem somente em parte.

 

Quando se compra um tema, aconselho primeiramente verificar se foi otimizado para propósitos SEO. Para mim a única explicacao do porque o Google nao consegue ver partes é como já disse: Firewall impedindo os robos do Google (nao parece ser o caso), ou entao um tema mal codado. A sua robots está correta e nao deve ser alterada de forma nenhuma, pois atende o Prestashop. Infelizmente nao somente uma robots pode impedir o acesso, mas também temas nao otimizados. Neste caso vc. deverá entrar em contato com o desenvolvedor do seu tema. Muito JS nao atende às necessidades SEO. Design nao é igual design. Tem aqueles que sao bons para o olho, mas nao servem para nada no mundo SEO.   Aliás os temas LEO sao muito problemáticos mesmo.

 

Neste caso na descricao do tema nao existe nenhuma referência quanto à compatibilidade SEO: http://www.leotheme.com/prestashop/themes/200-leo-tshirt.html

[dfmrego]

Boas,

 

Agradeço o feedback.

 

A titulo de teste, fiz a alteração do robots.txt tendo apenas:

 

User-agent: *
Disallow:
User-agent: Googlebot
Allow:
User-agent: Googlebot-Image
Allow:
User-agent: Mediapartners-Google
Allow:
User-agent: Adsbot-Google
Allow: 

 

 

Desta forma já removeram o bloqueio!

Pelo menos firewall não será, e do tema também não... apesar de concordar que não será o mais adequado, terei de pensar em altera-lo.

 

Os temas Leo pareceram-me vantajosos pela facilidade de personalização/ajustes.

[selectshop.at]

Em vez do Leo eu aconselharia thememaker, pois este desenvolvedor, além de trabalhar para Prestashop, ainda usa o tema nativo com framework próprio, o que nao é o caso do Leo. Estes usam um framework, para adaptar um monte de temas nao Prestashop (WP, Magento, etc...).

 

Vc. colocando allow para o user agent do google, está generando duplicate content, que vai lhe colocar a sua página em lugares nao visíveis no Google, somente para acertar o adWords. Nao sei se isto vale a pena.

 

Tente usar este robots, aqui inverti simplesmente a sequencia do * para algumas pastas:

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.../robotstxt.html
User-agent: *
# Allow Directives
Allow: /*modules/*.css
Allow: /*modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*recuperacao-password
Disallow: /*endereco
Disallow: /*enderecos
Disallow: /*login
Disallow: /*carrinho
Disallow: /*desconto
Disallow: /*historico-encomendas
Disallow: /*identidade
Disallow: /*minha-conta
Disallow: /*order-follow
Disallow: /*talao-encomenda
Disallow: /*encomenda
Disallow: /*pesquisa
Disallow: /*quick-order
Disallow: /*guest-tracking
Disallow: /*confimacao-encomenda
# Sitemap
Sitemap: https://shop.shampoo...dex_sitemap.xml

Veja tmb. neste caso o que coloquei no bug-tracker (ainda sem resposta), para falar a verdade o Google nao entende corretamente placeholders (*) e pode sair dando resultado errado. http://forge.prestashop.com/browse/PSCSX-7968

[ednando]

Bom dia estou prática mente com o mesmo problema, 387 bloqueadas pelo robots, meu sitemap está tmb com o index na frente, mas não sei onde desabilitar o mult lingue. O Serch Console mostra as páginas como bloqueadas mas ai clico para testar o robots e ele dá como permitido. Acha que usando o robots que vc enviou resolveria meu problema?
Obrigado

[ednando]

Usei o robots que vc alterou, vou aguardar o resultado,  veja como está atualmente:

 

 

  Recurso bloqueado Páginas afetadas 1

https://fechaforte.com.br/modules/blockbanner/img/d35d4b1ecfc047ec2d92814573b8ee44.jpg

13

2

https://fechaforte.com.br/modules/themeconfigurator/img/footer-bg.png

10

3

https://fechaforte.com.br/modules/productpaymentlogos/img/4f6af0b33a6e4b7cc2d5e0bb63ef4123.jpg

6

4

https://fechaforte.com.br/630-cart_default/fechadura-arouca-modelo-fama-mogno.jpg

4

5

https://fechaforte.com.br/713-cart_default/veda-frestas-comfort-door.jpg

3

6

https://fechaforte.com.br/726-cart_default/veda-frestas-comfort-door.jpg

3

7

https://fechaforte.com.br/modules/blockbanner/img/2b01b09e4950d2c79afc2c26d4a40ea5.jpg

3

8

https://fechaforte.com.br/714-cart_default/veda-frestas-comfort-door.jpg

3

9

https://fechaforte.com.br/751-cart_default/fechadura-arouca-blim-blim-dupla.jpg

3

10

https://fechaforte.com.br/727-cart_default/veda-frestas-comfort-door.jpg

3

Edited August 10, 2017 by ednando (see edit history)