16 Августа 2016 в 09:54

Особенности вывода сайта из «Минусинска». То, о чем вы могли не знать

7 4252
Сергей Петухов
SEO-специалист,
vladwebstudio.ru
Никита Серов
SEO/SMM-специалист,
vladwebstudio.ru
Антон Синицын
Руководитель SEO-отдела,
vladwebstudio.ru

Чуть больше года назад, 14.05.2015, Яндекс запустил алгоритм «Минусинск» нацеленный на выявление и «пессимизацию» сайтов, которые используют SEO-ссылки для поискового продвижения.

Иногда получается так, что с первого взгляда не понятно, попал ли ваш сайт под санкции данного алгоритма или нет. При падении трафика владельцы сайтов пытаются объяснить это разными причинами, и до варианта – «попадание в «Минусинск» доходят не всегда и не все.

Способов проверки этого явления достаточно много. Чаще всего владельцы прибегают к помощи сторонних сервисов, которые не всегда работают корректно и не дают четкого ответа на поставленный вопрос. Однако есть простой и быстрый способ: возьмите запрос, по которому сайт ранее находился в ТОП-20 поисковой выдачи Яндекса и добавьте к нему название компании. Если вы окажетесь на первой странице, то с вероятностью 90% можете не переживать о «Минусинске».

Пример: «продвижение сайтов ВладВеб»

Сайт нашей компании попал под санкции, и пока мы занимались решением этой проблемы открыли достаточно много интересных вещей, о которых и собираемся рассказать в этой статье.

1. Яндекс.Вебмастер не предоставляет все ссылки

Многие об этом знали, но фишка в том, что ссылки в Вебмастере можно посмотреть тремя способами:

1. Посмотреть непосредственно из интерфейса Вебмастера «входящие ссылки». По словам тех. поддержки Яндекса, в ней отображается наиболее актуальная информация по ссылкам. К сожалению, в этой версии показывается только 5-10% от всех ссылок, известных Яндексу.

2. Загрузить архив входящих ссылок из Вебмастера. Тут можно найти порядка 80-90% всех известных Яндексу ссылок, но многие из них будут уже не актуальными (ссылки удалены, сайты не существуют и т.п.).

3. Самый лучший способ определить актуальность ссылки на сайт – это проверка каждой ссылки вручную через запрос вида: https://old.webmaster.yandex.ru/site/indexed/links_from.xml?path=*&host=ID_вашего_хоста&fromhost=донор.

Но и этот способ может не сработать. Как стало известно из общения с Платонами, в алгоритме учитываются все ссылки, т.к. робот их обошел и занес в базу, но они могут не отображаться в интерфейсе Вебмастера, если страницы с этими ссылками отсутствуют в поиске. Кроме того, Яндекс.Вебмастер и Яндекс.Поиск – два разных продукта, нет никаких гарантий, что им доступен один и тот же набор внешних ссылок.

Для сбора полной ссылочной массы необходимо использовать дополнительные сервисы. В нашем случае помогли majestic, ahrefs и выгрузка Гугла. С помощью них мы выгрузили около миллиона внешних ссылок.

2. Общение с тех. поддержкой ускоряет процесс

1.png

Вы скажете, что это естественно на любом сервисе, где есть ТП, однако здесь следует учитывать такой момент: тех. поддержка «Яндекса» не может говорить неправду, о чем было сказано официальным представителем на одной из конференций. В то же время они не вправе раскрывать секреты работы своих алгоритмов, а поэтому главное – задавать правильные вопросы.

Мы запрашивали у них примеры SEO-ссылок, чтобы выявить параметры, используемые алгоритмом. Для нас осталось большим секретом, видят ли Платоны выгрузку SEO-ссылок из алгоритма и высылают примеры из неё, или же действуют в роли асессоров и самостоятельно определяют «сеошность» ссылок по вебмастеру.

Запрашивали ссылки по нескольку раз. В какой-то момент сотрудник ТП начинает говорить, что прислал нам уже достаточное количество SEO-ссылок. Однако, это очень удобно, когда они присылают конкретные примеры, с которыми мы сразу начинаем разбираться. В итоге мы писали с большого количества аккаунтов, чтобы вести общение с разными сотрудниками и соответственно собрать больше SEO-ссылок.

3. Запросы

Как известно, под Минусинск не попадают геонезависимые запросы, поэтому под санкциями не было замечено информационных сайтов (им хватило и нового АГС). Как оказалось, под фильтром были и не все коммерческие геозависимые запросы – это позволило получать под Минусинском некоторый трафик с Яндекса и даже редкие заказы:

  • создание сайтов web студия (не попал под Минусинск);
  • web студия (не попал под Минусинск);
  • студия веб дизайна (не попал под Минусинск);
  • заказ сайта (не попал под Минусинск);
  • сайт во владимире (не попал под Минусинск);
  • раскрутка сайта владимир (не попал под Минусинск);
  • раскрутка сайта во владимире (попал под Минусинск).

Мы провели анализ всех запросов, не попавших под «-20», но явной корреляции так и не нашли. Возможно, коллеги смогут выдвинуть предположения в комментариях. Скорее всего, в любой тематике есть подобные «особенные» запросы, которые не попадают под санкции.

4. Анализ ссылочной массы

Мы собрали около миллиона внешних ссылок, и в первую очередь их надо было очистить, так как основная масса к некачественным ссылкам не имеет никакого отношения. В основном они были с наших сайтов, где располагались в подвалах.

Вместе с этим мы сравнивали присланные нам ссылки из тех. поддержки и выявляли некоторую закономерность, при помощи которой также смогли исключить некоторое количество естественных ссылок.

Есть сервисы, которые помогают определить качество, например, «мегаиндекс» или «моз», однако, они не раскрывают своих алгоритмов анализа, ввиду чего мы решили оценивать все вручную.

Важные показатели, которые нужно учитывать при оценке качества ссылки:

1) Индексация документов в Google


2) Хостовые характеристики


I Основные



а) количество доноров (c уникальных IP);


б) количество акцепторов;


в) отношение доноров к акцепторам.

II Сопутствующие



а) тИЦ;


б) Alexa Rank;


в) MCF (Majestic Citation Flow);


г) MTF (Majestic Trust Flow);


д) AUR (Ahrefs URL Rank);


е) ADR (Ahrefs Domain Rank);


ё) Месячный трафик.

3) Текстовые, человеческие характеристики



а) анкор и околоанкорный текст ((не)читаемость, речевые, грамматические ошибки и прочее);


б) качество страницы;


в) качество сайта.

Если же анализировать все SEO-ссылки, которые высылали сотрудники тех. поддержки Яндекса, то наиболее важных показателя всего два:

  1. Наличие коммерческих ключевых слов в анкоре (без зависимости от общего количества слов);
  2. Заспамленность площадки SEO-ссылками.

Например, был показательный пример со ссылками с сайта https://web.archive.org/web/20090328125352/http://www.internettoday.ru/catalogue/internet_technology/web_design_programming/

На первый взгляд, типичный каталог сайтов времен динозавров, но вот его отличительные особенности:

  1. Сайт торговал ссылками с сапы (наша ссылка была «бесплатно-каталожной»);
  2. Анкоры в ссылках формировались из title`ов главных страниц, т.е. бесплатно изменить анкор было скорее всего невозможно;
  3. В каталоге были некоторые лидеры тематик;
  4. Сайт 3-4 года назад перестал принимать ссылки в каталог.

При этом наша ссылка из бесплатного каталога была признана «плохой», т.к. в ней содержались ключевые слова. Сколько бы мы не доказывали сходство структуры и принципа работы сайта с обычным каталогом сайтов, отсутствие платы за добавление сайта и древность самого ресурса, это не повлияло на сурового Платона.
Последние полтора месяца мы занимались удалением ссылок только из каталогов. Сейчас этот каталог закрыт – по всей видимости, веб-мастера замучили владельца, и план Яндекса по ликвидации малополезных каталогов осуществился.

5. Необходимо следить за трафиком из других источников

Некоторые SEO-ссылки могут быть не проиндексированы в Гугле. В нашем случае 200 ссылок, закупленных через биржу sape.ru, отсутствовали в индексе, что очень сильно облегчало задачу. Их мы удаляли в первую очередь.

Стоит отметить, что позиции нашего сайта по основным поисковым запросам практически не изменились как во время нахождения под санкциями, так и после выхода из «Минусинска» – сказалось наличие около 150 естественных ссылок. Если у Вас ссылки только покупные, то положение, конечно, может быть совершенно другим.

2.png

6. Переиндексация страниц с удаленными ссылками

Процесс выхода из «Минусинска» может очень сильно затянуться, если есть желание выйти с минимальными потерями, так как после удаления ссылки надо ждать её естественной переиндексации в «Яндексе».

Чтобы ускорить этот процесс мы пробовали использование разных сервисов, таких как «гетбот.гуру», «индексгатор» и «твитерсток». Однако ни один из них нам не помог, хотя мы испробовали все возможные режимы.

На это может быть несколько причин:

1. Некачественные площадки, где размещалась ссылка;

2. Некачественная страница, куда направляли быстроботов.

В настоящее время у «Яндекса» появился собственный сервис для переобхода страниц, доступный в разделе для вебмастеров. «Страницы, добавленные в этот инструмент, будут переданы индексирующему роботу для приоритетного обхода. Изменения, которые обнаружит робот, будут отражены в результатах поиска с ближайшими обновлениями поисковой базы», говорится в официальном блоге (https://yandex.ru/blog/webmaster/prioritetnyy-pereobkhod-stranits-sayta-zapuschen-v-yandeks-vebmastere) «Яндекса».

3.png

7. Удаление URL

Бывает, что ссылка размещена на странице, которая есть в выдаче, но при этом возвращает 404. В этом случае подойдет сервис «Яндекса» «Удалить URL» (https://old.webmaster.yandex.ru/delurl.xml).

Удалить страницу со ссылкой можно, если она соответствует одному из трех условий: сервер возвращает 404, страница запрещена к индексации через robots.txt или с помощью метатега noindex. При этом не обязательно иметь доступ к сайту, на котором удаляется страница.

Или можно попросить владельца ресурса, чтобы он удалил её таким образом. Это не должно составить труда, главное выйти с ним на связь.

4.png

8. Способы связи

Не все биржи предлагают возможность удаления ссылок. Во многих случаях необходимо было решать этот вопрос напрямую с владельцем сайта.

Способов связи с ним огромное количество, ниже перечислены те, которыми пользовались мы и считаем их наиболее эффективными:

1. Обратная связь на сайте

Очень полезная штука, но не всегда работает, либо её вообще нет, либо люди отвечают очень долго.

2. Контактные данные на сайте

Бывало, что оказывались недействительными, однако в некоторых случаях помогали выйти на связь. Отдельно стоит выделить сервисы whois, которые определяют контактные данные владельца домена.

3. Доменные регистраторы

С их помощью можно связаться с владельцем или представителем домена. Этим тоже пользовались.

4. Связь через хостера

5. Комментарии на свежих новостях

6. Стандартные почты

На многих сайтах имеются стандартные почты вида admin@site.ru, abuse@site.ru, webmaster@site.ru, info@site.ru встречаются чаще всего, но есть и другие, которые встречаются в индивидуальных случаях, типа support@site.ru. На них мы отправляли сообщения, если других вариантов связаться не было. Вариант не особо действенный, но тоже вариант. У нас откликов не было совсем.

7. Связь с веб-разработчиками

Иногда в подвалах многих сайтов можно увидеть ссылку и логотип компании, которая занималась разработкой этого сайта. Мы связывались с этой компанией, чтобы выйти на связь с владельцем сайта или просто решали этот вопрос с ними. В принципе, если разработчики видят, что сайт ни о чем и наша ссылка размещена на какой-то левой странице, то её удаление не должно составить проблем.

5.png

Пример письма к владельцам сайта

9. Зеркала

Учитываются ли алгоритмом («Минусинск») SEO-ссылки на зеркалах сайта на основной домен. Вот что ответили в тех. поддержке:

6.png

В нашем случае были зеркала с некоторым количеством SEO-ссылок. Мы начали процесс их отвязки, чтобы проанализировать ситуацию, одновременно с этим вышли из «Минусинска».

Спустя полтора месяца, SEO-ссылки составляли менее 20% от ссылочного профиля сайта, при этом ещё 2,5 месяца санкции были активны. На момент выхода у нас оставалось еще несколько SEO-ссылок. Их было немного, из чего можно сделать вывод, что алгоритм, возможно, работает по некоторому процентному соотношению между «естественной» ссылочной массой и SEO-ссылками, или может тех. поддержка пошла нам навстречу, а может, есть просто какой-то предел некачественных ссылок, и мы спустились ниже него. Причин может быть несколько, и мы вряд ли когда-нибудь узнаем точную.

Многим было интересно, вели ли мы рекламные кампании в Яндекс.Директ во время «Минусинска». Ответ – да. Санкции никак не повлияли на наши объявления, и мы продолжали их показывать.

Всего на решение данной проблемы ушло около 4-х месяцев. Самое главное – собрать полную ссылочную массу и детально её проанализировать.

7 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
  • Гость
    3 месяца назад
    Здравствуйте! Спасибо за интересную статью. Однако есть вопрос о механике переиндексации страниц, с которых снята ссылка. Вы писали об использовании переобхода страниц с помощью нового сериса Яндекса. Подскажите, пожалуйста, как именно его использовать в данных целях?
    -
    0
    +
    Ответить
    Поделиться
    • Антон Хайзенберг
      4
      комментария
      0
      читателей
      Антон Хайзенберг
      Гость
      3 месяца назад
      Здравствуйте!
      Как известно, отправить URL на переобход в данном сервисе может только вебмастер с подтвержденными правами на сайт в ЯВМ.
      Следовательно, можно попросить вебмастера в переписке отправить URL на переобход.
      Сервис появился после того, как мы «вышли из Минусинска», но аналогичным образом (попросить удалить страницу или закрыть в robots.txt) не редко удавалось отправить URL на удаление.
      -
      0
      +
      Ответить
      Поделиться
  • Антон Хайзенберг
    4
    комментария
    0
    читателей
    Антон Хайзенберг
    3 месяца назад
    Да, мы не боимся открыто говорить о наших трудностях, тем более, что информация из статьи может помочь другим специалистам отрасли.
    Ни один клиентский сайт под санкции не попал, более того, к нам неоднократно обращались клиенты других студий для вывода их сайтов из-под фильтра.
    Что не нужно делать? Не нужно делать прогон сайта по каталогам в 2008, не нужно закупать вечные ссылки в 2010 :)
    -
    3
    +
    Ответить
    Поделиться
    • Гость
      Антон Хайзенберг
      3 месяца назад
      т.е. прогнав конкурента по каталогам можно загнать его под фильтр? )))) думается не все так просто.
      -
      0
      +
      Ответить
      Поделиться
      • Антон Хайзенберг
        4
        комментария
        0
        читателей
        Антон Хайзенберг
        Гость
        3 месяца назад
        На известном форуме был пример, когда конкуренты загнали сайт под Минусинск старыми "порно-ссылками" и только общение с тех. поддержкой исправило ситуацию, все возможно)
        -
        0
        +
        Ответить
        Поделиться
        • Гость
          Антон Хайзенберг
          3 месяца назад
          Если бы это реально работало, поверьте топили бы все и всех, и на форумах была бы куча тем подобного содержания и советов как утопить конкурента. В поисковиках ведь не глупые люди сидят.))) им подобный способ пессимизмизации конкурента вполне понятен...

          анализирую своих конкурентов, и сайты говно и ссылки помоечные (не с тематических ресурсов) и ничего себе. живут в топе.
          -
          0
          +
          Ответить
          Поделиться
  • Гость
    3 месяца назад
    Круто!

    Интересная статья о том как компания которая занимается продвижением загнала себя под фильтр. Обращайтесь дорогие клиенты, мы вас продвинем под фильтр "Минусинска".

    Расскажите, что вы делали чтобы попасть под фильтр, ну чтобы другие этой дорогой не ходили.


    -
    0
    +
    Ответить
    Поделиться

Отправьте отзыв!
X | Закрыть