Jump to content

Problema robots.txt y herramientas webmaster


Recommended Posts

Hola,

 

A ver si alguien puede tranquilizarme con esto.  

 

Me está dando un mensaje google en recursos bloqueados de que tengo 108 página con recursos bloqueados y que esto puede afectar a la indexación de la web.  El archivo de robots es que por defecto te genera prestashop 1.6.  También lo hacía con la versión 1.4 y no tenía este mensaje.

 

Copio y pego el archivo robots a ver si hay algo mal, pero por lo poco que se creo que está bien:

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
User-agent: *
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /direccion
Disallow: /direcciones
Disallow: /inicio-sesion
Disallow: /carrito
Disallow: /descuento
Disallow: /seguimiento-cliente-no-registrado
Disallow: /historial-compra
Disallow: /datos-personales
Disallow: /mi-cuenta
Disallow: /pedido
Disallow: /confirmacion-pedido
Disallow: /seguimiento-pedido
Disallow: /pedido-rapido
Disallow: /albaran
Disallow: /recuperacion-contraseña
Disallow: /buscar
# Sitemap
 
Decir que hago la prueba de robots en la herramienta de webmaster y me dice que todo está ok, que no hay problema...
 
¿podría alguien confirmar que está bien y si es así porque me da este aviso google?
Esta es una página que ha sufrido cambios bruscos últimamente con lo que esto perjudica y nada más falta ahora que la estamos empujando que por un tema de estos no me indexe bien.
 
Gracias de ante mano.
Edited by sinergiagrabados (see edit history)
Link to comment
Share on other sites

Hola,  

 

Lo que he hecho directamente es quitar la fila que pone Disallow: */modules/  ya que google me estaba diciendo que no podía ver cosas que estaban en modules

 

¿He hecho bien o esto me puede traer complicaciones?

 

Si alguien me puede guiar lo agradecería.

 

Saludos.

Link to comment
Share on other sites

Complicaciones no te va a traer, es sólo que Google no tiene acceso a esas partes de la web y con ello no lo indexa, sabe que está ahí porque te lo ha dicho pero no lo indexa porque en el robots le dices que no lo haga. Problemas? que no siendo analizada esa parte de la web a nivel SEO no ganas posicionamiento porque no lo aprovechas. Pero la web no deja de ser visible al público.

Link to comment
Share on other sites

Yo tenía el mismo problema y también borré la misma 

 

Hola,  

 

Lo que he hecho directamente es quitar la fila que pone Disallow: */modules/  ya que google me estaba diciendo que no podía ver cosas que estaban en modules

 

¿He hecho bien o esto me puede traer complicaciones?

 

Si alguien me puede guiar lo agradecería.

 

Saludos.

Yo tenía el mismo problema y también eliminé la misma línea. Pero ahora tengo otro problema y es que Google me dice que no puede acceder a los archivos .css que incluye el tema que tengo instalado en mi tienda. ¿A ti también te ocurre?

Link to comment
Share on other sites

Complicaciones no te va a traer, es sólo que Google no tiene acceso a esas partes de la web y con ello no lo indexa, sabe que está ahí porque te lo ha dicho pero no lo indexa porque en el robots le dices que no lo haga. Problemas? que no siendo analizada esa parte de la web a nivel SEO no ganas posicionamiento porque no lo aprovechas. Pero la web no deja de ser visible al público.

Hola y gracias.

 

¿Entonces el haber quitado la linea que habla de los módulos no es ninguna acción mal hecha?  Lo iba a dejar como allow pero lei que quitando ya estaba bien.

 

Ya que estamos puestos y si no te es molestias ¿que otros problemas nos puede dar con google el robots que te genera por defecto prestashop?  Hice una actualización muy brusca de 1.4.9 a 1.6 con todo lo que conlleva y contando que no soy experto y la verdad que he perdido mucho movimiento y visitas.

Link to comment
Share on other sites

Yo tenía el mismo problema y también borré la misma 

 

Yo tenía el mismo problema y también eliminé la misma línea. Pero ahora tengo otro problema y es que Google me dice que no puede acceder a los archivos .css que incluye el tema que tengo instalado en mi tienda. ¿A ti también te ocurre?

Hola,

 

Pues no lo se la verdad... ayer hice esto de eliminar la linea de modulos y a esperar a ver que pasa, hoy sigue igual en cantidad de elementos bloqueados en herramientas webmaster de google... creo que tendré que esperar un poco ¿a ti te tardo mucho en eliminar estas de los modulos?

Link to comment
Share on other sites

Hola,

 

Pues no lo se la verdad... ayer hice esto de eliminar la linea de modulos y a esperar a ver que pasa, hoy sigue igual en cantidad de elementos bloqueados en herramientas webmaster de google... creo que tendré que esperar un poco ¿a ti te tardo mucho en eliminar estas de los modulos?

No te sé decir los días exactos, pero más o menos unos 10 días. A mi me bloqueaba 62 url, pero eliminé la línea Disallow: */modules/ y esos bloqueos desaparecieron. Pero como te he comentado ahora tengo 42 url bloqueadas porque no puede acceder al css del tema que tengo activo. Y este sí que no tengo ni idea de cómo solucionarlo.

Link to comment
Share on other sites

No te sé decir los días exactos, pero más o menos unos 10 días. A mi me bloqueaba 62 url, pero eliminé la línea Disallow: */modules/ y esos bloqueos desaparecieron. Pero como te he comentado ahora tengo 42 url bloqueadas porque no puede acceder al css del tema que tengo activo. Y este sí que no tengo ni idea de cómo solucionarlo.

Pues a esperar toca, jejjje!!!

 

Me apunto a ver si alguien nos puede iluminar en este aspecto porque creo firmemente que si no se soluciona estas cosillas el posicionamiento de la web se debe de ver afectado y podría rendir algo más.  Si alguien sabe algo de este tema sería estupendo contar con su opinión.

Link to comment
Share on other sites

  • 2 weeks later...

No te sé decir los días exactos, pero más o menos unos 10 días. A mi me bloqueaba 62 url, pero eliminé la línea Disallow: */modules/ y esos bloqueos desaparecieron. Pero como te he comentado ahora tengo 42 url bloqueadas porque no puede acceder al css del tema que tengo activo. Y este sí que no tengo ni idea de cómo solucionarlo.

Buenos,  después de unos cuantos días hemos bajado a 66 bloqueos... quitando el Disallow: */modules/ pero ahora me pasa lo mismo que a tí que me bloquea con el tema por defecto de prestashop y no puede acceder a los css

 

¿Has sabido solucionarlo o alguien que pueda iluminarnos en este tema?

 

Considero que es un tema muy importante y estoy seguro que más de un compañero lo tiene que estar sufriendo sin saberlo...

Link to comment
Share on other sites

Hola a tod@s,

 

Casualmente hoy en el blog de Jordi Ordoñez, aparece una entrada que trata el tema. Echadle un vistazo: http://jordiob.com/2015/07/solucionar-en-prestashop-el-robot-de-google-puede-acceder-los-archivos-css-y-js/

 

Un saludo,

Hola,

 

Muuuuuchas gracias!!!!  de verdad por el aporte.  Debería tomar nota mucha gente de esto porque creo firmemente que esto te puede afectar al posicionamiento.  Que grande es este Jordi.

 

Ya lo he aplicado y enviado el nuevo robots a ver como reacciona.  Volveré a escribir seguramente en unos días para aportar el resultado de los bloqueos.  Espero que por poner ahora de nuevo en Disallow el modules las 100 que me había quitado ya vuelvan de nuevo a aparecer.

 

Un abrazo.

Link to comment
Share on other sites

  • 1 month later...

Hola!


 


Jordi comenta en su foro la solución para todos los CSS y JS, pero también puede ser que tu módulo tenga algunos ficheros que quieras posicionar.


 


La verdad es que este tema es algo que yo también he encontrado en muchos de mis clientes, el problema de modificarlo a mano es que después de instalar un módulo si regeneras el robots para cualquier cambio en traducciones desde Metas, pierdes los excepciones; además es un rollo porque en mi caso me encontraba clientes que estaban trabajando en PrestaShop Cloud y a ese robots no puedes acceder.


 


Para solucionarlo cree un módulo que puse en el addons, si buscas "Recursos Bloqueados" el módulo te permite gestionar este tema, se respeta la regeneración de robots y es compatible con las versiones 1.5 y 1.6. Obviamente de forma manual también se corrige pero tiene sus desventajas.


 


Aquí te dejo como solucionarlo por excepción de carpetas, el tema tratado en cuestión en mi blog está aquí: http://www.muchacuriosidad.com/trucos-seo/recursos-bloqueados-de-webmaster-tools/


 


Este es el enlace de Addons por si a alguien le interesa el módulo: http://addons.prestashop.com/es/seo-modulos-prestashop/20428-recursos-bloqueados-webmaster-tools.html


 


Espero que te pueda ayudar.


 


Saludos!


Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...