Если в вашем хозяйстве имеются сайты в несколько десятков, а то и сотен тысяч динамических страниц, то стоит поберечься заранее и всячески оградить себя от сервиса мониторинга беклинков ahrefs.com, а конкретнее, от его ботов, которые наваливаются на большие сайты иной раз столь стремительно и беспощадно, что моментально могут отправить ваш хостинг в глубокий нокаут.


Чтобы сия неприятность вас миновала необходимо сделать следующее:


1. В robots.txt сайта добавить:


User-agent: AhrefsBot
Disallow: /


2. В .htaccess в корне сайта добавить:


RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]


3. Наконец, если вдруг боты сервиса совсем оборзели, и не слушаются robots.txt и/или сменили юзер агента, то надо забанить их IP-адреса (судя по тому, что я нашел в интернете, они периодически меняют IP-сетки, потому бан указанных мной адресов скорее всего не панацея на долгие годы).





Обсудить  

Читайте также


Комментарии Кто голосовал Похожие новости

Комментарии