Medness Posted August 23, 2013 Share Posted August 23, 2013 (edited) Содержание robots.txt: # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution # http://www.prestashop.com - http://www.prestashop.com/forums # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. # For more information about the robots.txt standard, see: # http://www.robotstxt.org/wc/robots.html User-agent: * # Private pages Disallow: /*orderby= Disallow: /*orderway= Disallow: /*tag= Disallow: /*id_currency= Disallow: /*search_query= Disallow: /*back= Disallow: /*utm_source= Disallow: /*utm_medium= Disallow: /*utm_campaign= Disallow: /*n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-opc Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories Disallow: /*classes/ Disallow: /*config/ Disallow: /*download/ Disallow: /*mails/ Disallow: /*modules/ Disallow: /*translations/ Disallow: /*tools/ # Files Disallow: /*ru/password-recovery Disallow: /*ru/address Disallow: /*ru/aдреса Disallow: /*ru/authentication Disallow: /*ru/cart Disallow: /*ru/discount Disallow: /*ru/order-history Disallow: /*ru/identity Disallow: /*ru/my-account Disallow: /*ru/order-follow Disallow: /*ru/order-slip Disallow: /*ru/order Disallow: /*ru/search Disallow: /*ru/quick-order Disallow: /*ru/guest-tracking Disallow: /*ru/ Disallow: /*uk/password-recovery Disallow: /*uk/address Disallow: /*uk/aдреса Disallow: /*uk/authentication Disallow: /*uk/cart Disallow: /*uk/discount Disallow: /*uk/order-history Disallow: /*uk/identity Disallow: /*uk/my-account Disallow: /*uk/order-follow Disallow: /*uk/order-slip Disallow: /*uk/order Disallow: /*uk/search Disallow: /*uk/quick-order Disallow: /*uk/guest-tracking Disallow: /*uk/ # Sitemap Sitemap: http://snacks-club.com.ua/1_index_sitemap.xml Google предупреждает: где собака порылась, какая запись в robots.txt блокирует индексацию? Мои мысли - не эти ли записи Disallow: /*uk/ и Disallow: /*ru/? И еще проблема - Яндекс при добавлении страницы в аддурилку вообще не видит http://snacks-club.com.ua/ (пишет "Недоступен сервер, на котором находится сайт"), а вот если вставить http://snacks-club.com.ua/ru/ или http://snacks-club.com.ua/uk/ то успешно добавляет. Наверное поэтому добавленный сайт в Яндекс поэтому не индексируется? Что надо сделать, где поправить? Edited August 23, 2013 by Medness (see edit history) Link to comment Share on other sites More sharing options...
Medness Posted August 24, 2013 Author Share Posted August 24, 2013 Подтвердилось что Disallow: /*uk/ и Disallow: /*ru/ блокировали доступ к продуктам. Поэтому всем у кого мультиязычный магазин, обязательно убрать ненужные строки в robots.txt. Вопрос с Яндексом остаётся, немного больше информации - так как магазин мультиязычный и (в моём случае) русский язык главный, то при наборе в браузере сайт.com.ua адрес переопределяется на сайт.com.ua/ru/. Я Яндексу при добавлении в Вебмастер указал сайт.com.ua и сайт не индексируется. В Аддурилке при добавлении сайт.com.ua пишет "Недоступен сервер, на котором находится сайт", а вот сайт.com.ua/ru/ принимает на ура. Пробовал Вебмастеру указать адрес сайт.com.ua/ru/ он его обрезает до сайт.com.ua, т.е. опять индексировать не будет. Насколько хватает мозгов, понимаю что надо прописать что-то в robots.txt, чтобы Yandex не упирался по поводу "сайт.com.ua/ru/ vs. сайт.com.ua", но вот как не знаю. Помогите пожалуйста? Или может я не туда гляжу? Link to comment Share on other sites More sharing options...
[email protected] Posted December 27, 2013 Share Posted December 27, 2013 Практически аналогичная ситуация. Кто-то может обяснить что следует предпринять в этом случае. Такие строчки : Disallow: /*ru/ и Disallow: /*ru/ из robots.txt я уже удалил. Может еще что необходимо сделать дабы тупо не дожидаться очередного индексирования яндексом и надеятся на все хорошее. Интиресно по гуглу анологичная проблема будет? Link to comment Share on other sites More sharing options...
kbytin Posted March 30, 2014 Share Posted March 30, 2014 аналогично на PS 1.6 Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now