Автор: Дмитрий Севальнев, руководитель департамента SEO и рекламы в компании «Пиксель Плюс»

Представители поисковой системы Яндекс сообщили 8 сентября 2015 года об обновлении легендарного фильтра АГС. Ранее, модификации фильтра - АГС-30, АГС-40 и другие - были направлены на ограничение в ранжировании сайтов низкого качества (созданных исключительно для манипуляции алгоритмами поисковых систем и/или направленных на монетизацию различными способами (MFA, MFS).

Новая же версия алгоритма затронула и сайты высокого качества с большой долей непоискового трафика, а основным критерием применения санкций стал факт размещения на страницах ресурсов, так называемых, SEO-ссылок и их абсолютное количество.

Так, в числе сайтов, к которым были применены санкции, оказались и такие как: 1dom.ru (бывший тИЦ 2 300), segodnia.ru (бывший тИЦ 1 900), newizv.ru (бывший тИЦ 10 000), tribuna.ru (бывший тИЦ 3 200) и другие, весьма качественные и посещаемый ресурсы.

Проведенное статистическое исследование доноров самой крупной ссылочной биржи рунета показало, что санкциям подверглись 24,5% площадок, а вероятность применения АГС новой версии от показателя тИЦ, совместно с фактом продажи ссылок, выглядит нетипичным образом:

Рис. 1. Доля доноров попавших под новую версию АГС для сайтов ссылочной биржи с различными значениями показателя тИЦ. Среднее значение среди всех проектов составляет 24,5%.

Что означает для оптимизатора попадание донора под фильтр АГС? Нужно ли вообще учитывать данный факт в работе и ссылочной стратегии?

Исторически, фильтр АГС проявлялся исключением большей части страниц сайта из основного индекса, в результате чего, большая часть размещенных на сайте ссылок оказывалась вне индекса Яндекса, и оптимизаторы автоматически их снимали. Те же ссылки, что находились на документах в индексе, по практике, не давали какого-либо значимого плюса в ранжировании, и их заменяли другими.

В тоже время, анализ простановки внешних ссылок с сайтов под АГС с уникальными анкорами показывает, что после их индексации и ссылочного апдейта, в выдаче появляются так называемые «СНСС-результаты», когда акцептор находится в выдаче только благодаря тексту анкора проиндексированной ссылки. Текущая ситуация сохраняется и для новой версии алгоритма АГС, что легко проверяется тестовыми простановками.

Логичный вопрос: стоит ли тогда снимать ссылки с доноров под АГС?

Ряд экспериментальных наблюдений, говорит о том, что при попадании донора под фильтр АГС, обнуляется передача статического веса (dPR) по всем исходящим межхостовым ссылкам. Это значит, что, при прочих равных, требуется отдать предпочтение площадкам, к которым не были применены санкции. Кроме того, поисковые системы вычисляют качество ссылочного профиля и отдельно учитывают долю ссылок, ведущих с качественных и низкокачественных ресурсов, что будет дополнительно негативно сказываться на ранжировании.

Все данные утверждения ещё предстоит проверить для новой версии алгоритма (как передачу статического веса, так и влияние на ранжирование).

Если же внутренний механизм учёта ссылок с доноров под фильтром АГС в Яндексе остался без изменений, то и вывод остается прежним: требуется отдавать предпочтение донорам без фильтра АГС, с целью повышения статического веса продвигаемых документов и улучшения ряда прочих факторов ранжирования.

Исследование статистических закономерностей предыдущей версии фильтра АГС-40 установило, что наибольшую значимость при применении фильтра имеют следующие факторы:

Ниже, мы рассмотрим принципиальные отличия новой версии АГС по сравнению с его «младшим» братом АГС-40.

Что внедрение нового фильтра меняет в работе вебмастера/владельца сайта? Сайт попал под фильтр и что далее?

Здесь ситуация не столь однозначна, как может показаться на первый взгляд. С одной стороны — санкции Яндекса это, конечно, ужасно. С другой — текущая потеря видимости для ряда сайтов, попавших под АГС, не является очень существенной и часто составляет порядка 10-20%.

Но, так или иначе, снимать размещенные на доноре под АГС SEO-ссылки будут стремиться как оптимизаторы, так и сами вебмастера, ведь объем монетизации от их размещения может не перекрывать потерю тех самых десятков процентов поискового трафика. Более точные данные о потери трафика ещё предстоит установить в дальнейшем, через 3-4 апдейта базы данных Яндекса.

Так как имеется довольно сильная корреляция объёма размещенной на доноре ссылочной массы и вероятности применения фильтра (Рис. 2), то не исключены и определенные «волны», когда проект будет выходить из-под АГС, в результате отказа оптимизаторов от размещения ссылок на нём, и снова попадать под фильтр после новой «волны» закупки.

Рис. 2. Доля доноров попавших под новую версию АГС в зависимости от числа уникальных получателей SEO-ссылок. Порог выставлен на числе в 500 акцепторов, что значительно меньше среднего по выборке.

Аналитики компании «Пиксель Плюс» собрали выборку доноров из крупнейшей ссылочной биржи рунета для выявления ряда статистических закономерностей сайтов, попавших под санкции.

Особенности выборки:

Каждый сайт был проверен по более чем двадцати параметрам, среди которых:

Ниже мы представим интересные статистические закономерности, выявленные в результате анализа.

Хорошую корреляцию с вероятностью применения фильтра показал параметр «Число уникальных получателей SEO-ссылок» с рассматриваемого донора (Рис. 3). Это весьма логично, ввиду прямого заявления Яндекса: «Для снятия ограничений в ранжировании достаточно отказаться от размещения SEO-ссылок на страницах сайта и дождаться, пока робот отследит эти изменения».

Таким образом, чем больше размещено SEO-ссылок на указанном ресурсе — тем выше вероятность попадания под санкции. Зависимость весьма сильная.

Рис. 3. Доля доноров попавших под новую версию АГС в зависимости от числа уникальных получателей SEO-ссылок. Вся выборка разбита на 5 групп с примерно равным числом сайтов в каждой из них.

Как известно, в алгоритмах антиспама используются, в том числе, и сведения о хостинге и владельце домена. Анализ показал, что число сайтов, находящихся на заданном IP-адресе, не оказывает существенного влияния на вероятность применения фильтра (Рис. 4). Выявлены определенные «сетки» (более 30 доноров на одном IP), часть из которых попала под АГС, а часть нет. Существенного влияния не замечено.

Рис. 4. Небольшой фрагмент выборки для демонстрации отсутствия фильтрации доноров только по их IP-адресу и окружению.

Под мономом в информационном поиске подразумевается некоторая комбинация, составленная из факторов/фич. Часто, составив ряд мономов и соотнеся такие показатели, как: тИЦ, число получателей ссылок, посещаемость, число страниц в индексе, дата индексации страницы-донора и т.д., можно найти интересные закономерности и построить эффективный подбор ссылочных доноров (ссылочный Rank).

Данный подход используют и ссылочные агрегаторы, для фильтрации и ранжирования доноров по качеству внутри системы.

При анализе был составлен ряд простейших мономов с целью выявления корреляции их значений и вероятности применения санкций. Ниже представлены сегменты выборки, построенные по численному значению одного из мономов (см. подписи к рисункам).

Рис. 5. Вероятность применения АГС и сегментация выборки по численному значению монома равному натурального логарифму от деления тИЦ на число получателей ссылок с нормировочным коэффициентом плюс единица.

Не «выстрелил» отлично зарекомендовавший себя ранее моном, построенный на соотношении объема трафика сайта к числу уникальных получателей ссылок:

Рис. 6. Отсутствие значимого влияния на вероятность применения АГС монома равного натурального логарифму от деления объема трафика на число получателей ссылок с нормировочным коэффициентом плюс единица.

Лучшую предсказательную силу показал моном, полученный простым делением числа ссылающихся на донор сайтов к числу уникальных получателей (исходящих):

Рис. 7. Вероятность применения санкций в зависимости от соотношения числа ссылающихся на донор сайтов к числу уникальных получателей.

Не показал сильной защиты от АГС и такой моном, как отношение числа уникальных получателей ссылок к числу страниц в индексе поисковой системы Яндекс (Рис. 8). Другими словами — можно размещать мало исходящих SEO-ссылок относительно размера сайта, но всё равно попасть под санкции. Очевидно, что здесь большую значимость играет абсолютное число уникальных получателей.

Рис. 8. Демонстрация отсутствия протекции для доноров, которые продают менее 1 ссылки на 33 страницы в индексе Яндекса. Вероятность применения фильтра для них оказывается около 17% (всего на 7,5% ниже среднего значения).

Ряд факторов не показали своей значимости, это значит, что, сегментируя выборку по ним, не удается выявить какой либо статистически значимой закономерности. К ним относятся следующие факторы:

Для снятия санкций с проекта необходимо уменьшить число исходящих с него SEO-ссылок меньше определенного порога, величина которого зависит от хостовых характеристик сайта, таких как тИЦ (см. Рис. 5) и прочих. После чего, паук поисковой системы пересканирует сайт, и санкции снимутся.

Для верности рекомендуется составить письмо в службу поддержки Яндекса, после проведенных работ.

Минимальные сроки снятия фильтра АГС будут зависеть от размера сайта и темпов его переиндексации. Характерный временной интервал: от 2 недель (небольшие проекты, ускорение переиндексации) до 2-3 месяцев (неудачное стечение обстоятельств, плюс редкие апдейты).

Чем интересен рынок поискового продвижения — часто меняющимися правилами игры. В этот раз представители антиспам отдела Яндекса несколько удивили, применив санкции к большому числу качественных сайтов, приняв во внимание лишь небольшое число его показателей: число сайтов, на которые он ссылается, тИЦ и некоторые другие.

В связи с чем, логичным было бы предложить другое название для фильтра, а именно «АС», которое можно расшифровать как «Анти-Сапа» или «Автомат Специальный» — кому как больше нравится.

Это внесло бы большую ясность на рынке интернет-маркетинга, так как фильтр АГС, изначально нацеленный на сайты низкого качества, имеет очень мало общего с новой его модификацией, а название лишь вводит владельцев сайтов в заблуждение.

Поисковым оптимизаторам мы бы рекомендовали в очередной раз перестроить свои ссылочные стратегии, опираясь на представленные выше статистические закономерности, и не забывать о подавляющей значимости прочих групп факторов ранжирования по сравнению с факторами, построенными на внешних ссылках.