Борьба с навязчивыми ботами и спамом

[subarufor]

Может кто-нибудь имел опыт по борьбе с роботами-ботами, которые спамят и выкачивают сайт, создавая при этом значительную нагрузку?

 

Просто не очень эффективно периодически заносить их по IP и User-Agent в .htaccess, т.к. они меняют IP адреса и свои названия.

 

Хотелось бы это делать автоматически и получать уведомления по E-mail о внесенных в запретный список ботах.

[Dzianis Yurevich]

но гугл с яндексом тоже боты)

 

http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D0%BD%D0%B4%D0%B0%D1%80%D1%82_%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B4%D0%BB%D1%8F_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D0%B2

[subarufor]

но гугл с яндексом тоже боты)

 

http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D0%BD%D0%B4%D0%B0%D1%80%D1%82_%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B4%D0%BB%D1%8F_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D0%B2

 

Разумеется, кроме Яндекса и Гугла и некоторых других, которые учитывают директивы в robots.txt.

Бороться собираюсь с теми ботами, которые за 30-60 мин полностью выкачивают сайт с 2000шт товаров. Пользы при этом от них нет никакой. При этом создают лишнюю нагрузку да спамят.

[Kerm]

Со стороны сервера к nginx можно подключить модуль geoip и ограничить определенным странам доступ на Ваш сайт, например зачем Вам Китай? или более тонко настроить так чтобы для конкретной страны нельзя было бы только комментарии отправлять..

[Kerm]

Подключить капчу еще.

[subarufor]

Kerm, спасибо за советы.

Капчу уже подключил. По поводу geoip тоже думал. Тем более в стандартной поставке PrestaShop имеется такая функциональность. Кстати, домогаются в основном из Нидерландов и Германии (в обоих случаях провайдер LeaseWeb ...). Очевидно, что это какая-то помойка.

А вообще может есть другие варианты реализации ?

[Dzianis Yurevich]

Если известны боты, то их можно обрубать проверкой хедера запроса в index.php