TREXIG Posted October 9, 2015 Share Posted October 9, 2015 Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.". Вот текст файла, может кто то увидит ошибку: # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution # http://www.prestashop.com - http://www.prestashop.com/forums # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. # For more information about the robots.txt standard, see: # http://www.robotstxt.org/wc/robots.html User-agent: * # Private pages Disallow: /*orderby= Disallow: /*orderway= Disallow: /*tag= Disallow: /*id_currency= Disallow: /*search_query= Disallow: /*back= Disallow: /*n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-opc Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories Disallow: */classes/ Disallow: */config/ Disallow: */download/ Disallow: */mails/ Disallow: */modules/ Disallow: */translations/ Disallow: */tools/ # Files Disallow: /password-recovery Disallow: /address Disallow: /addresses Disallow: /authentication Disallow: /cart Disallow: /discount Disallow: /order-history Disallow: /identity Disallow: /my-account Disallow: /order-follow Disallow: /order-slip Disallow: /order Disallow: /search Disallow: /quick-order Disallow: /guest-tracking # Sitemap Host: instyle-dnepr.com.ua Sitemap: http://instyle-dnepr.com.ua/1_index_sitemap.xml И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется? Прикрепил скрин Link to comment Share on other sites More sharing options...
webprog Posted October 9, 2015 Share Posted October 9, 2015 # Directories Disallow: */classes/ Disallow: */config/ Disallow: */download/ Disallow: */mails/ Disallow: */modules/ Disallow: */translations/ Disallow: */tools/ поменяйте, чтобы звездочек не было. 1 Link to comment Share on other sites More sharing options...
webprog Posted October 9, 2015 Share Posted October 9, 2015 И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется? Настройки - контакты магазина - название магазина Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.". В вебмастере яндекса можете вручную загрузить файл robots.txt и проверить. Link to comment Share on other sites More sharing options...
Teti Posted November 5, 2015 Share Posted November 5, 2015 Специально профиль здесь создала, чтобы ответить на Ваш вопрос. Я не спец., просто много прочитала инфы на эту тему в последнее время. Мне кажется, что не хватает "спец. обращения" к Яндексу. Для всех ботов пишем: User-agent: * А для Яндекса отдельно: User-agent: Yandex И в конце еще прописываем наш домен: Host: www.вашсайт.ru Т.е. обычный robot.txt для wordpress будет таким: User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag Host: www.вашсайт.ru 1 Link to comment Share on other sites More sharing options...
Tanatus Posted November 13, 2015 Share Posted November 13, 2015 Такая проблема, сайт не индексировался в поисковиках, писал что заблокирован доступ к robots.txt, когда открыл там была строка "Disallow: /", убрал ее и гугл начал индексировать нормально сайт, а в яндексе пишет "Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.". Вот текст файла, может кто то увидит ошибку: # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution # http://www.prestashop.com - http://www.prestashop.com/forums # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. # For more information about the robots.txt standard, see: # http://www.robotstxt.org/wc/robots.html User-agent: * # Private pages Disallow: /*orderby= Disallow: /*orderway= Disallow: /*tag= Disallow: /*id_currency= Disallow: /*search_query= Disallow: /*back= Disallow: /*n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-opc Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories Disallow: */classes/ Disallow: */config/ Disallow: */download/ Disallow: */mails/ Disallow: */modules/ Disallow: */translations/ Disallow: */tools/ # Files Disallow: /password-recovery Disallow: /address Disallow: /addresses Disallow: /authentication Disallow: /cart Disallow: /discount Disallow: /order-history Disallow: /identity Disallow: /my-account Disallow: /order-follow Disallow: /order-slip Disallow: /order Disallow: /search Disallow: /quick-order Disallow: /guest-tracking # Sitemap Host: instyle-dnepr.com.ua Sitemap: http://instyle-dnepr.com.ua/1_index_sitemap.xml И еще есть вопрос по заголовкам, заголовок выставляется в Настройки->SEO и URLs->index, но на всех сайтах где я пытался делать анализ выдает 2 раза заголовок, откуда он берется? Прикрепил скрин У меня нормально заглатывал несколько раз. Трудностей не возникало. Не разделял по поисковикам. Просто яндекс странный поисковик, со своими "приколами". Вероятно он просто запомнил, что у вас стоял запрет и продолжает "не видеть" сайт. Пробовали перезалить файл роботс заново в яндекс метриках? Link to comment Share on other sites More sharing options...
TREXIG Posted November 23, 2015 Author Share Posted November 23, 2015 (edited) Всем спасибо за ответы, помог пост webprog ,после того как убрал звездочки через пару дней начал индексироваться сайт и сейчас в поиске 1400 страниц почти)) Edited November 23, 2015 by TREXIG (see edit history) Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now