1 hour ago, sanctusmob said:Άλλο αυτό που έγραψες πάνω και άλλο αυτό που έχεις στο print screen.
Δεν κάνω λάθος...
Αν βάλεις μόνο του κανόνες που έχεις γράψει δεν κάνει crawl.
Ναι, για το robots.txt του Prestashop μιλάμε. Δεν είναι λάθος αυτό που έγραψα. Λειτουργεί γιατί έχει παρακάτω τα Allow.
42 minutes ago, alexis_gyf said:Ενω συνήθως το site εχει 10-15 Online visitors (dashboard) όταν έφτιαξα το sitemap, robots.txt και ανέβασα το feed products στο google merchant, έφτανε και 1500 online visitors. Όταν τελείωσε ο συγχρονισμός του feed μετα απο λίγες μέρες, έπεσε γύρω στους 40 online visitors.
Οι ips μοιάζουν αρκετά μεταξύ τους σχεδόν όλες.
Στο robots.txt έχω τα εξής
User-agent: Googlebot
Disallow:User-agent: AdsBot-Google
Disallow:User-agent: Googlebot-Image
Disallow:
Πρέπει να προσθέσεις και το:
User-agent: *
Disallow: /
για να κάνει Disallow σε όλα τα άλλα bots.
