Если в вашем хозяйстве имеются сайты в несколько десятков, а то и сотен тысяч динамических страниц, то стоит поберечься заранее и всячески оградить себя от сервиса мониторинга беклинков ahrefs.com, а конкретнее, от его ботов, которые наваливаются на большие сайты иной раз столь стремительно и беспощадно, что моментально могут отправить ваш хостинг в глубокий нокаут.
Чтобы сия неприятность вас миновала необходимо сделать следующее:
1. В robots.txt сайта добавить:
User-agent: AhrefsBot
Disallow: /
2. В .htaccess в корне сайта добавить:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]
3. Наконец, если вдруг боты сервиса совсем оборзели, и не слушаются robots.txt и/или сменили юзер агента, то надо забанить их IP-адреса (судя по тому, что я нашел в интернете, они периодически меняют IP-сетки, потому бан указанных мной адресов скорее всего не панацея на долгие годы).
Обсудить
Комментарии