Hi Leute,
Ich benutze PS 1.7.7.1 und habe ein ähnliches Problem, vor allem im google Merchant Center.
Ich hatte vor einigen Wochen als Test die Produkte von google selbst crawlen lassen. Dabei hatte ich keine Fehler angezeigt bekommen.
Nun habe ich ein kostenpflichtiges Plugin installiert, welches die Feeds für das google Merchant Center erstellt.
Die Produkte werden fehlerfrei eingelesen und Tage später können -angeblich- bei einigen Produkten die Mobile Seite und/oder die Desktop Seite nicht aufgerufen werden. Wieder 2-3 Tage später ist dies bei einigen Produkten wieder möglich und dafür werden dann bereits freigegebene Produkte aus demselben Grund gesperrt...
Also ein hin und her. Google schreibt, dass in der robots.txt die Einträge für googlebot und googlebot-image fehlen. Dies kann ich jedoch nicht verstehen, denn auch davor waren diese Einträge nicht vorhanden und die Produkte konnten trotzdem gelesen werden.
Macht es Sinn, neben den empfohlenen zusätzlichen Zeilen auch die folgenden noch hinzuzufügen? Also quasi so:
User-agent: Googlebot User-agent: Googlebot-image User-agent: * # Allow Directives Allow: */modules/*.css Allow: */modules/*.js Allow: */modules/*.png Allow: */modules/*.jpg Allow: /js/jquery/* Allow: */themes/*/cache/*.css Allow: */themes/*/cache/*.js Allow: */themes/*/css/*.svg Allow: */themes/*/css/*.ttf Allow: */themes/*/css/*.woff Allow: */themes/*/css/*.woff2 Allow: */themes/*/js/*.js # Private pages Disallow: /*?order= Disallow: /*?tag= usw...