Вопрос по вебмастеру яндекс и robots.txt

[val39]

Подскажите люди добрые по такому вопросу...

 

панель вебмастера.

показывает загружено роботом 320 страниц

исключено роботом 146 страниц

перехожу туда где исключённые страницы.

Документ запрещён в файле robots.txt 136

и далее смотрю что там он исключил...

cart.php?add&id_product=12&token=c03071a727d80e8275aefc

 

 

если это запрещено в роботсе так зачем он их индексирует? скажите как исправить эту проблему?

вот мой стандартный robots.txt

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution

# http://www.prestashop.com - http://www.prestashop.com/forums

 

# This file is to prevent the crawling and indexing of certain parts

# of your site by web crawlers and spiders run by sites like Yahoo!

# and Google. By telling these "robots" where not to go on your site,

# you save bandwidth and server resources.

 

# For more information about the robots.txt standard, see:

# http://www.robotstxt.../wc/robots.html

 

User-agent: *

 

# Directories

Disallow: /classes/

Disallow: /config/

Disallow: /download/

Disallow: /mails/

Disallow: /modules/

Disallow: /translations/

Disallow: /tools/

Disallow: /support/

 

# Files

Disallow: /addresses.php

Disallow: /address.php

Disallow: /authentication.php

Disallow: /cart.php

Disallow: /discount.php

Disallow: /footer.php

Disallow: /get-file.php

Disallow: /header.php

Disallow: /history.php

Disallow: /identity.php

Disallow: /images.inc.php

Disallow: /init.php

Disallow: /my-account.php

Disallow: /order.php

Disallow: /*tag=

Disallow: /order-slip.php

Disallow: /order-detail.php

Disallow: /order-follow.php

Disallow: /order-return.php

Disallow: /order-confirmation.php

Disallow: /pagination.php

Disallow: /password.php

Disallow: /pdf-invoice.php

Disallow: /pdf-order-return.php

Disallow: /pdf-order-slip.php

Disallow: /product-sort.php

Disallow: /search.php

Disallow: /statistics.php

 

также загружен файл sitemap.xml в нём 143 ссылки и пишет ошибок ноль.

[Kerm]

Чтобы это понять тебе нужно знать основы сео и принцип работы поисковых ботов яндекса.

[val39]

иначе что не как?

[gabdr]

в админке есть генератор и сайтмапа и робота, пользуйся ими и не парься

[val39]

Спасибо gabdr я так и делал) просто смущало то что я спросил чуть выше

[gabdr]

значит вебмастер видит еще страницы неподходящие для поиска, которые не видит генератор

[victoru]

Если сайт с ЧПУ можно запретить индексировать все ссылки со знаком "?" и т. д.

[essenza]

Ребята а как где CRON ??? и как его настроить на YML и SITEMAP генерацию?

[savvato]

Ребята а как где CRON ???

В панели управления хостигом, либо ищите модуль