Jump to content

Problema con robots.txt en Google Webmaster


xsancho

Recommended Posts

Hola,

 

Resulta que en google webmaster tengo una serie de metadescripciones duplicadas, por ejemplo :

 

unzipped_triangle.gifLista de Fabricantes que disponemos en nuestra web

 

 

url_icon.png/fabricantes

 

url_icon.png/manufacturer.php/

 

Resulta que en el .htaccess que genera Prestashop marca esto:

 

RewriteRule ^fabricantes$ /manufacturer.php [QSA,L]

 

Como puede ser que me marque metadescripción duplicada si está redirigiendo? Como lo puedo hacer para que no me indexe manufacturer.php pero si fabricantes?

 

Otra consulta:

 

En un extracto del robots.txt generado por PS 1.4.7.0 marca esto :

 

 

# http://www.robotstxt.org/wc/robots.html

# GoogleBot specific

User-agent: Googlebot

Disallow: /*orderby=

Disallow: /*orderway=

Disallow: /*tag=

Disallow: /*id_currency=

Disallow: /*search_query=

Disallow: /*id_lang=

Disallow: /*back=

Disallow: /*utm_source=

Disallow: /*utm_medium=

Disallow: /*utm_campaign=

Disallow: /*n=

 

Se supone que no indexará nada que contenga orderby= por ejemplo. El problema que tengo es que en google webmaster me marca como duplicado esto:

 

unzipped_triangle.gifNuestros productos promocionales

 

 

url_icon.png/promocion?orderby=price&orderway=asc

 

url_icon.png/promocion?orderby=price&orderway=desc

 

No se supone que no lo tiene que indexar?

 

A ver si alguien me puede hechar una mano.

 

Muchas gracias.

 

P.D Ademas en parámetros de url en google, tengo esto:

 

orderway 175 08/03/2012 Ordena el contenido. Ninguna URL

orderby 175 08/03/2012 Ordena el contenido. Ninguna URL

 

Vaya que no rastree la url de orderway y orderby.

Link to comment
Share on other sites

Another Juan :DDDD

 

Además:

 

 

Error del servidor

 

0

errores

 

0

 

 

 

Error 404 leve

 

5

errores

 

0

 

 

 

Acceso denegado

 

2

errores

 

0

 

 

 

No se encuentra

 

10.275

errores

 

0

 

 

 

URL no seguidas

 

7

errores

Metadescripción páginas Metadescripciones duplicadas 63 Metadescripciones largas 0 Metadescripciones cortas 61 Etiqueta de título páginas Etiquetas de título ausentes 2 Etiquetas de título duplicadas 390

Link to comment
Share on other sites

a me sucede lo mismo pero hace tiempo agregue :

 

User-agent: Mediapartners-Google

Disallow:

User-agent: Googlebot

 

tambien di un usuario y una contraseña al bots, como no tengo ni idea de eso :P lo hice como indica el blog de google.

 

luego voy hechar un ojo a ver si tengo todabia problemas. Pero la semana pasada no los tenia.

Link to comment
Share on other sites

a me sucede lo mismo pero hace tiempo agregue :

 

User-agent: Mediapartners-Google

Disallow:

User-agent: Googlebot

 

tambien di un usuario y una contraseña al bots, como no tengo ni idea de eso :P lo hice como indica el blog de google.

 

luego voy hechar un ojo a ver si tengo todabia problemas. Pero la semana pasada no los tenia.

 

Lo que yo he hecho y parece que funciona, es modificar el fichero robots.txt y le digo que no existe un bot google. He movido la configuracion de specific google bot a all bots quedando asi :

 

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution

# http://www.prestashop.com - http://www.prestashop.com/forums

# This file is to prevent the crawling and indexing of certain parts

# of your site by web crawlers and spiders run by sites like Yahoo!

# and Google. By telling these "robots" where not to go on your site,

# you save bandwidth and server resources.

# For more information about the robots.txt standard, see:

# http://www.robotstxt.org/wc/robots.html

# GoogleBot specific

 

# All bots

User-agent: *

 

# Directories

Disallow: /*orderby=

Disallow: /*orderway=

Disallow: /*tag=

Disallow: /*id_currency=

Disallow: /*search_query=

Disallow: /*id_lang=

Disallow: /*back=

Disallow: /*utm_source=

Disallow: /*utm_medium=

Disallow: /*utm_campaign=

Disallow: /*n=

Disallow: /*p=

Disallow: /old/

Disallow: /classes/

Disallow: /config/

Disallow: /download/

Disallow: /mails/

Disallow: /modules/

Disallow: /translations/

Disallow: /tools/

Disallow: /es/

 

El disallow que está marcado en negrita, lo he puesto yo para que no recoja las página p=2, p=3 ya que yo tengo configurado prestashop para que muestre todos los productos en 1 página. Así evito tener metas duplicados.

 

Espero que os sirva.

 

Un saludo

 

P.D De momento sigo haciendo pruebas, pero ya os digo que los meta duplicado, me han bajado en picado. Lo que no entiendo es porque si le digo a google webmaster en el apartado parámetros de url que no siga los orderby, porque me los daba como duplicados antes del cambio de robots que he hecho.

Link to comment
Share on other sites

  • 1 month later...
Guest
This topic is now closed to further replies.
×
×
  • Create New...