19 Ноября 2012 в 00:00

Текстовые фильтры Яндекса: давайте различать

30 37193
Дмитрий Севальнев
Руководитель отдела SEO и рекламы,
«Пиксель Плюс»

Введение

Ряд оптимизаторов, которые только стремятся стать профессионалами в новой для них области SEO, а также часть «служивых» раз за разом не могут точно диагностировать наложение того или иного текстового фильтра в коммерческой тематике от лидирующего российского поисковика Яндекса.

Для новичков такая диагностика может стать вообще недоступной по причине отсутствия сколь угодно полной и достоверной информации по теме в сети.

Данная статья призвана заполнить этот пробел в знаниях оптимизаторов и навести относительную ясность с возможностью диагностировать и вовремя устранить проблему продвижения одного или группы коммерческих поисковых запросов в результате наложения фильтра.

Все изложенные ниже технические приёмы и проявления санкций актуальны со времени их появления до периода написания статьи (14.11.2012). Автор выражает надежду, что они будут на службе бойцов за ТОП-10 и далее.

Суть наложения санкций и текстовых фильтров

Представители поисковой машины Яндекс не раз отмечали на отраслевых конференциях [1], что специально с оптимизаторами никто не борется. Официальная позиция изложена на сайте компании и состоит в том, что есть так называемая оптимизация сайта, а есть «псевдооптимизациая» [2], с которой и происходит борьба.

Эта борьба ведется в различных направлениях:

  • Фильтрация манипулирования значениями текстовых факторов (о них и пойдёт речь в дальнейшем).
  • Фильтрация накрутки ссылочных факторов, использования линковых колец, спама.
  • Фильтрация накрутки поведенческих факторов и показательные санкции в этом направлении.
  • Прочие фильтры: adult, АГС, аффилиаты, дорвеи, др.

Виды текстовых фильтров

На момент написания статьи можно было выделить два основных текстовых фильтра, применяемые к документам с уникальным контентом, которые мешают спокойно жить и выводить оптимизаторам запросы в ТОП-10.

Фильтр за неуникальный контент («Ты последний») и «Фильтрация страниц для взрослых» в рассмотрение браться не будут как менее распространенные в коммерческой тематике и реже встречаемые при выводе средне- и высокочастотных запросов у приличных сайтов.

Каждая из санкций имеет свои причины наложения, своё проявление (а значит, и определение) и руководство к действию для снятия санкций. Типы:

  1. Фильтр «Переспам» (портяночный, «-20»). Официально он никак не анонсировался, но зато вызвал более чем 150-страничную дискуссию на форуме SearchEngines [3]. Функционирует с небольшими изменениями с февраля 2010 года.
  2. Фильтр «Переоптимизация». Официально был анонсирован в середине сентября 2011 года [4], но начал функционировать несколько позднее.

Переспам и переоптимизация: проявление

Как понять, какой именно фильтр был наложен на продвигаемый запрос или документ? Для этого существует Таблица 1 признаков каждой из санкций Яндекса.

Таблица 1. Признаки и проявления фильтров Переоптимизации и Переспама в поисковой системе Яндекс

Основные различия

Таблица 2. Основные различия санкций, запросозависимость и размер штрафа

Диагностируем проблему

Наблюдение за проектом в процессе работы с ним

Рассмотрев основные проявления (Таблица 1) и отличия (Таблица 2), мы постараемся наверняка диагностировать и устранить проблему. В большинстве случаев нам достаточно сравнить позиции сайта по запросу «до» и «после» апдейта [5] поисковой системы Яндекс.

Важно отличать случаи наложения санкций со стороны поисковой системы от:

  • Выпадения продвигаемой страницы из индекса (часто случается, даже при небольшом уровне вложенности страницы). Проверить можно по запросу вида: [url:site.ru/dir/test.php].
  • Изменения алгоритма ранжирования, в результат которого позиции большого числа сайтов были существенно изменены и ваш сайт оказался просто среди их числа.

Для этого требуется комплексно сравнить ТОП-10 выдачи по интересующему запросу «до» апдейта и «после». Если существенно потерял позицию только ваш документ, то это санкция. Если изменения по ТОП-10 более значительные (из ТОП-10 выпало 4 сайта, сменился сайт на 1 и 2 месте и т.д.), то это с большей вероятностью алгоритм.

Если вы определили, что продвигаемая страница по-прежнему находится в выдаче, а существенно изменил позицию в ТОПе только ваш сайт, то мы с большой долей вероятности столкнулись с теми или иными санкциями.

Что если сайт только пришел на продвижение?

В ряде случаев проект приходит на продвижение в SEO-компанию, когда он уже находится под санкциями и мы, по понятным причинам, не можем отследить динамику позиций «до» и «после».

Фильтр уже был наложен на некоторые запросы или документы. В этом случае нам приходится использовать технические приёмы диагностирования, изложенные далее.

Метод 1: определяем Переспам

Так как фильтр накладывается на один или малую группу запросов, а не на весь документ целиком, то достаточно произвести модификацию запроса и проследить за изменением позиции в выдаче: См. Таблицу 1.

Ранее удавалось снять фильтр, используя модификацию запроса вида: [поисковый запрос/] или [поисковый запрос ~~ любаяабракадабра223234hgf] и позиция документа резко улучшалась. Но сейчас данные способы не помогают в его определении.

Метод 2: определяем Переоптимизацию

При использовании расширенного поиска — переоптимизация снимается. Это значит, что вам надо сравнить в выдаче по релевантности два сайта: свой и сайт, который выше вас в общей выдаче на 2-5 позиций. Сделать это можно либо с помощью языка поисковых запросов, либо с помощью расширенного поиска.

Таким образом:

  • если в общей выдаче, ваш проект ниже конкурента по запросу,
  • а при использовании расширенного поиска документы с него оказываются более релевантным, то с большой долей вероятности мы имеем дело именно с переоптимизацией.

Как бороться с санкциями

После того как мы достоверно диагностировали наличие проблемы, изучили основные проявления того или иного фильтра, мы перейдем к устранению возможных причин потери позиций и трафика.

В Таблице 3 мы перечислим меры, которые требуется предпринять для снятия того или иного фильтра. В абсолютном большинстве случаев этих действий оказывается достаточно для полного снятия всех санкций со стороны поисковой системы.

Все эти меры направлены на устранение базовых причин наложения санкций в порядке значимости.

Таблица 3. Основные меры, которые требуется предпринять, если на сайт наложены текстовые санкции: переспам и/или переоптимизация

В заключение

Рассмотрев два основных текстовых фильтра: их проявление, отличия, методы снятия и причины наложения, автор выражает надежду, что в среднем качество продвигаемых страниц и в частности их текстового содержания будет неуклонно расти. Ведь изначально авторы санкций в лице разработчиков Яндекса и преследовали эту благую цель.

Список литературы и ссылок для ознакомления

  1. Конференция «Поисковая оптимизация и продвижение сайтов в Интернете», 2011, http://optimization.ru/2011
  2. Яндекс и поисковая оптимизация, http://company.yandex.ru/rules/optimization/
  3. Апдейт поисковой базы 02.02.10, 2010, http://forum.searchengines.ru/showthread.php?t=454117
  4. Тексты оптимизировались, переоптимизировались, но не выоптимизировались, 2011, http://webmaster.ya.ru/replies.xml?item_no=11464
  5. Правильные апдейты Яндекса: краткий список анализатора апов, 2008-2012, http://tools.promosite.ru/updates/
  6. Сервис SEO hint, 2012, http://seohint.ru/

0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
  • Виталий
    больше года назад
    Спасибо за статью! Отличный материал.
    -
    0
    +
    Ответить
    Поделиться
  • Роман Попов
    больше года назад
    Василий,
    Докажу, когда начнешь следить за своими высказываниями. Свободен, крестьянин!
    -
    0
    +
    Ответить
    Поделиться
  • Василий
    больше года назад
    Роман, тогда приведите доказательства, что они не учитываются, а не просто ля-ля.
    -
    0
    +
    Ответить
    Поделиться
  • Роман Попов
    больше года назад
    Да я понимаю. Палить то и нечего собственно, так что действительно не надо. А то еще не дай бог PR-материал превратится из-за меня в анти-PR. Это же такое дело. =)))
    -
    0
    +
    Ответить
    Поделиться
  • Василий
    больше года назад
    Роман явно переоценивает собственную значимость))
    -
    0
    +
    Ответить
    Поделиться
  • Роман Попов
    больше года назад

    Перестаньте фантазировать на мой счет. =)) Уверен, ваш вклад в этот диалог не настолько же значим, как мой - это если по чесноку, так что не вам оценивать мое ЧСВ.=)) А вообще я просто не люблю, когда целевой аудитории "вешают лапшу на уши". Потому что в итоге рождаются заказчики, которых ввели в заблуждение, и они начинают делать глупости на своих сайтах. Отсюда вся дискуссия. Если человек не способен отстоять свою точку зрения, значит он сам в нее не до конц...

    Перестаньте фантазировать на мой счет. =)) Уверен, ваш вклад в этот диалог не настолько же значим, как мой - это если по чесноку, так что не вам оценивать мое ЧСВ.=)) А вообще я просто не люблю, когда целевой аудитории "вешают лапшу на уши". Потому что в итоге рождаются заказчики, которых ввели в заблуждение, и они начинают делать глупости на своих сайтах. Отсюда вся дискуссия. Если человек не способен отстоять свою точку зрения, значит он сам в нее не до конца верит.
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    В условиях современной «интернет-грамотности», исправить все пунктуационные ошибки — сложней. Особенно если автор допускает ряд орфографических, которые подсвечивает любой редактор.

    В данной статье рассматривались лишь два конкретных фильтра от ПС Яндекс, а не полный перечень причин низких позиций.
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    Чаще боремся без отписки в службу поддержки =). Но действительно, специально под фильтр появился новый шаблонный ответ, который был получен многими — сразу после наложения фильтра.

    Спасибо за уточнение, думаю будет многим полезно.
    -
    0
    +
    Ответить
    Поделиться
  • Роман Попов
    39
    комментариев
    0
    читателей
    Роман Попов
    больше года назад

    А еще причина может быть в недостаточном цитировании словоформы запроса, а не в его переспаме. =)) Так что этот прием ничего не подтверждает.

    А насчет "переоптимизации" - правильный метод борьбы только самый первый. 2 - изменение выделений и прочее - не поможет, во-первых, теги выделения не связаны с ранжированием, это миф, легенда оптимизаторов, которые не понимают принципов работы текстового алгоритма ранжирования. 3 - секрет вовсе не в плотности, а в к...

    А еще причина может быть в недостаточном цитировании словоформы запроса, а не в его переспаме. =)) Так что этот прием ничего не подтверждает.

    А насчет "переоптимизации" - правильный метод борьбы только самый первый. 2 - изменение выделений и прочее - не поможет, во-первых, теги выделения не связаны с ранжированием, это миф, легенда оптимизаторов, которые не понимают принципов работы текстового алгоритма ранжирования. 3 - секрет вовсе не в плотности, а в контексте употребления запроса. 4 - это вообще не имеет отношения к ранжированию - для поисковая система анализирует ключевые слова и их связки в численных эквивалентах, а не угадывает смысл,который нужен читателю. Базовое правило всем копирайтерам - писать текст о поисковом запросе, а не о компании, и все будет в порядке.

    В целом, хорошая попытка, мне нравится, наконец-то кто-то что-то интересное написал. Классификация верная, а вот методы устранения фильтров ошибочны.
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    Благодарю за содержательный комментарий, но не соглашусь с рядом утверждений. Если по вашей нумерации, то:

    2. Существует (и не один) фактор ранжирования, который учитывает выделения в тексте. Это не миф, а факт=)
    Мифом это становиться, когда значения этих факторов начинают существенно падать из-за массовых злоупотреблений.
    Если говорит о фильтре, то в заявлении Яндекса на этом также делался акцент (хотя сама страница в их блоге с примером...


    Благодарю за содержательный комментарий, но не соглашусь с рядом утверждений. Если по вашей нумерации, то:

    2. Существует (и не один) фактор ранжирования, который учитывает выделения в тексте. Это не миф, а факт=)
    Мифом это становиться, когда значения этих факторов начинают существенно падать из-за массовых злоупотреблений.
    Если говорит о фильтре, то в заявлении Яндекса на этом также делался акцент (хотя сама страница в их блоге с примером переоптимизированного текста — ранжируется нормально=).


    4. В данном случаем имеется в виду следующее:
    - поисковая система пытается оценивать качество текста, а не только считать различные модификации функции BM25
    - поисковая система фильтрует и пытается определять и занижать спамные тексты
    - поисковая система пытается определять тексты написанные ботами и занижать и не включать их в индекс

    Отсюда суть метода: стараться не попасть не под один из перечисленных выше алгоритмов.
    -
    0
    +
    Ответить
    Поделиться
  • Александр
    больше года назад
    по больше бы таких материалов и ресурс стал бы куда интереснее, автору +
    -
    0
    +
    Ответить
    Поделиться
  • Роман Попов
    39
    комментариев
    0
    читателей
    Роман Попов
    больше года назад


    Ок.

    2. Но это же неправда!!! ))) Приведите доказательство того, что существует такой фактор ранжирования. Ссылку не первоисточник, официальное исследование, где указаны экспериментальные площадки, на которых все это проверялось или что-то в этом роде. Вы не сможете этого сделать - просто потому что таких фактов не существует. То, что вы когда-то проверяли и сделали такой вывод - не считается. Результаты могут быть неверно трактованы. Поэтому пока что это...


    Ок.

    2. Но это же неправда!!! ))) Приведите доказательство того, что существует такой фактор ранжирования. Ссылку не первоисточник, официальное исследование, где указаны экспериментальные площадки, на которых все это проверялось или что-то в этом роде. Вы не сможете этого сделать - просто потому что таких фактов не существует. То, что вы когда-то проверяли и сделали такой вывод - не считается. Результаты могут быть неверно трактованы. Поэтому пока что это ваши личные доводы и вера в мифы, а не факт. Теги выделения - это просто теги выделения. Почитайте спецификацию HTML - там есть все необходимые ответы.

    4. Поисковая система не может стараться оценивать качество текста. Она может считать определенные значения. Это же формула, а не живой организм. Это еще одна легенда оптимизаторов, которую создал Садовский и его отдел. НЕ нужно все воспринимать на веру. =)) И еще - в том же руководстве Яндекса сквозит слово "мы стараемся", что означает отсутствие стабильного алгоритма, который действительно это делает. А раз они не могут что-то делать постоянно, почему вы думаете что они будут делать это время от времени?))) Это же алгоритм... а я привожу элементарную логику...


    И зря...) Ваш метод направлен на избегание проблем с фильтрами, а не на то, чтобы написать релевантный контент и спокойно двигаться в топ. Голое НЛП - "Движение ОТ не означает движение К".
    -
    0
    +
    Ответить
    Поделиться
  • Павко
    больше года назад
    Роман Попов, вклинюсь в вашу дискуссию.
    Экспериментов не было, но замечал что когда приходят зафильтрованные документы, выделенные адски полужирным, после удаления тексты вырастают со временем. Гугл и Яндекс не раз заявляли что оценивают визуально сайт - навязчивость рекламы, нечитаемый текст и т.п.
    В примере переоптимизированных текстов яндекс как раз показывал текст с выделениями стронгом.
    в я.блоге "Тексты оптимизировались, переоптимизировались, но не выоптимизирова...
    Роман Попов, вклинюсь в вашу дискуссию.
    Экспериментов не было, но замечал что когда приходят зафильтрованные документы, выделенные адски полужирным, после удаления тексты вырастают со временем. Гугл и Яндекс не раз заявляли что оценивают визуально сайт - навязчивость рекламы, нечитаемый текст и т.п.
    В примере переоптимизированных текстов яндекс как раз показывал текст с выделениями стронгом.
    в я.блоге "Тексты оптимизировались, переоптимизировались, но не выоптимизировались"

    "Теги выделения - это просто теги выделения"
    B- тэг просто выделения.Strong же задумывался как тэг логического выделения, по аналогии с Н1-Н6

    Матрикснет старается использовать все сигналы - не может быть и мысли, что он бы такой сигнал пропустил и не учитывал. Куча людей спамит стронгами все ключевики в тексте  - это хороший сигнал.
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    Роман, у меня информация прямо от первоисточника, всё ok.
    Но цели переубеждать вас у меня нет, так что каждый может остаться при своём мнении, в этом нет ничего страшного.
    -
    0
    +
    Ответить
    Поделиться
  • Гость
    больше года назад
    Роман, молодец!
    Ernsy тоже. Это вообще первое, что нужно сделать при подозрениях на санкции.
    -
    0
    +
    Ответить
    Поделиться
  • Kirill Terentiev
    11
    комментариев
    0
    читателей
    Kirill Terentiev
    больше года назад
    Тест
    -
    0
    +
    Ответить
    Поделиться
  • Роман Попов
    больше года назад

    А вы никогда не задумывались, что с возрастом документа он просто набирает вес и доверие к нему со стороны Яндекса и Гугла растет. Это вообще стандартная штука - вы можете написать очень релевантный контент по СЧ, и он может легко не занять даже 50 места, но займет 30 позицию через 5-6 недель безо всяких ссылок (цифры выдуманы). В Яндексе есть фактор - возраст документа - это могло быть его влияние, а не удаления тегов. Там еще множество факторов. Метафора - есть 2 выключателя,...

    А вы никогда не задумывались, что с возрастом документа он просто набирает вес и доверие к нему со стороны Яндекса и Гугла растет. Это вообще стандартная штука - вы можете написать очень релевантный контент по СЧ, и он может легко не занять даже 50 места, но займет 30 позицию через 5-6 недель безо всяких ссылок (цифры выдуманы). В Яндексе есть фактор - возраст документа - это могло быть его влияние, а не удаления тегов. Там еще множество факторов. Метафора - есть 2 выключателя, один работает, другой нет - включаем оба, и лампочка горит. Благодаря какому включателю работает? Как вы это определите? Никто чистых экспериментов не проводил на эту тему, а кто говорит, что проводил - пропадает при просьбе выложить официальную сводку по площадкам.))) Это миф.


    Хаха, я вот про это выше написал. Меня и не надо переубеждать, но раз вы что-то пишете публично, будьте добры доказать это. А вы сейчас сливаете дискуссию за неимением доказательств. Ну впрочем, это ваш выбор - я его уважаю.
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    Это славно, что не надо. Просто не хочется в пустую такие доказательства палить=)
    Всё что хотелось сказать по этому поводу — сказано выше.
    -
    0
    +
    Ответить
    Поделиться
  • JohnGalt
    больше года назад
    Спасибо за статью.
    По поводу расширенного поиска - имеются ввиду запросы с применением операторов [ "",  ! ]  - ?

    Также было бы интересно почитать про  фильтрацию и взаимосвязь контента с анкор-листом документа.
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    Пользуйтесь на здоровье.
    Про расширенный поиск вы, как мне кажется, немного путаете с языком запросов в WordStat.
    Памятка по документированным операторам в Яндексе: http://help.yandex.ru/search/?id=1111313

    Если сравнивать два сайта по релевантности, то вам понадобится оператор [site:] и оператор ИЛИ [|], а также группировка скобками [()].
    -
    0
    +
    Ответить
    Поделиться
  • Александр
    больше года назад
    Бред полнейший, как связанны неграмотные тексты на сайтах и фильтр за переоптимизацию?
    -
    0
    +
    Ответить
    Поделиться
  • Александр
    больше года назад
    Устраните все грамматические и большинство пунктуационных ошибок. (с)
    Все пунктуационные ошибки устранять не следует? Отлично!

    Судя по предложенным методам борьбы, автор статьи в всерьёз думает, что у ГС низкие позиции из-за переоптимизации.
    -
    0
    +
    Ответить
    Поделиться
  • Ernsy
    больше года назад
    Так же не вредно знать, что на переоптимизацию охотно указывают Платоны, если написать им письмо.
    -
    0
    +
    Ответить
    Поделиться
  • Лояльный читатель
    больше года назад
    Дмитрий спасибо за статью! Почаще публикуйтесь, интересно.
    -
    0
    +
    Ответить
    Поделиться
  • Илья Баранов
    больше года назад
    Монументальный труд - хороший анализ. Хотелось бы видеть статьи от автора и в дальнейшем!
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    Благодарю, Илья.

    Будем стараться выделять на них время. Что-то вы можете также почерпнуть на самом сайте http://www.pixelplus.ru/ в разделе статей и FAQ: http://www.pixelplus.ru/poiskovoe_prodvizhenie_sajtov/faq/
    -
    0
    +
    Ответить
    Поделиться
  • Постоянный читатель
    больше года назад
    Особенно интересно про методы устранения причин фильтрации! Пиксель Плюс вообще молодцы
    -
    0
    +
    Ответить
    Поделиться
  • Артем
    больше года назад
    Отличная статья, все по делу и ничего лишнего.
    Автору респект.
    -
    0
    +
    Ответить
    Поделиться
  • Павел Тимошин
    1
    комментарий
    0
    читателей
    Павел Тимошин
    больше года назад
    Хорошая статья - структурировано.
    Дим, сервис "SEO hint" случаем к тебе отношения не имеет?
    -
    0
    +
    Ответить
    Поделиться
  • Дмитрий Севальнев
    0
    комментариев
    0
    читателей
    Дмитрий Севальнев
    больше года назад


    Спасибо.
    А сервис, да, имеет кое-какое...)
    -
    0
    +
    Ответить
    Поделиться

Отправьте отзыв!
X | Закрыть