Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
23 Сентября 2013 в 11:48

Оценка спамности доноров

25 8851
Рустем Фахрутдинов
Директор по производству ReAspekt promo

Компания Реаспект разработала новую оценку спамности доноров. Она в большей мере отражает степень спамности доноров, т.к. использует при анализе оценку оптимизированности анкоров. Собственно, во многом именно на основе анализа анкоров поисковые системы делают вывод о спамности ссылок (тот же «Мадридский доклад» и метрику «SEO-text»).

Метрика исходящих хостов на страницу (ссылок на страницу)

Пообщавшись с большим количеством SEO-специалистов, мы поняли, что сегодня часто используется простая метрика «ссылок на страницу» или «хостов на страницу». Её смысл: «Чем больше донор имеет ссылок на уникальные хосты, и чем меньше у него страниц, тем он спамнее».

Так же часто для расчёта качества донора некоторые специалисты используют количество входящих ссылок на донор, их посещаемость и т.п. То есть вся оценка о КАЧЕСТВЕ сводится к оперированию данных о КОЛИЧЕСТВЕ (доноров, получателей, посетителей и кучей других количественных метрик).

Мы задумались. Посмотрим со стороны поисковых систем. Поисковые системы не борются со ссылками. Они борются с псевдо-ссылками. Они не борются с сайтами, на которых много исходящих ссылок. Они борются с сайтами, на которых много псевдо-ссылок для манипулирования их алгоритмами.

Поэтому оперировать ТОЛЬКО количественной информацией при оценке спамности донора — всё-таки не совсем правильный подход. При проведении прошлого исследования по выявлению различных признаков коммерческих и некоммерческих анкоров, мы проанализировали множество анкор-листов сайтов, не продающих ссылки. Сайт, не продающий ссылки, по данной метрике может оказаться очень спамным. Хотя, с точки зрения поисковой системы, это должен быть вполне «чистый» источник данных (с которых часто ссылаются на википедию, популярные форумы, хостинги изображений и т.п.).

Метрика оптимизированности анкор-листа

Мы решили оценить степень спамности доноров оценивая оптимизированность их исходящих анкор-листов. Применили простую эвристику, основная суть которой заключается в учёте количества:

  • безанкорных ссылок (ссылок-картинок и урловых ссылок — http://; в спамных анкор-листах их доля обычно слишком низкая),
  • анкорных коммерческих ссылок (те слова и фразы, которые наиболее часто содержатся в коммерческих ссылках — выявлены так же по результатам прошлого исследования),
  • хостов-получателей — в качестве понижающего коэффициента (если их 500 и более — коэффициент равен 1; если хостов-получателей 1, то коэффициент стремится к нулю).

Данные факторы учавствуют в формуле в виде различных степенных логарифмических функций. Сами функции подбирались эмпирически.

Полученная формула показывает достаточно хорошую эффективность оценки спамности анкор-листов. Ручная оценка специалистом и оценка сервиса, использующего эту эвристику, совпадает минимум в 90% случаев. В то время, как оценки, использующие в основе метрику «исходящих хостов на страницу» совпадают с оценкой специалиста существенно реже (50-60%).

Этот же сервис мы смогли применить не только для оценки спамности исходящих анкор-листов. Но и оценки заспамленности акцепторов (входящих анкор-листов) — сайтов, которые находятся в активном продвижении.

Пример данных из нашего сервиса:

При желании, в формулу можно добавить и некоторые другие показатели (например, посещаемость, цитируемость, упоминаемость донора в качестве дисконтирующих коэффициентов).

В целом, идея достаточно простая и построена по логике поисковых систем. Пользуйтесь:)

Если хотите сравнить свои оценки доноров с оценкой нашего сервиса, то можете присылать 50 хостов на rustem@reaspekt.ru с пометкой «Хосты на оценку».


25 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
  • Игорь
    больше года назад
    Марина, спасибо! Анализ был проведен.
    -
    0
    +
    Ответить
  • Марал Гаипова
    137
    комментариев
    0
    читателей
    Марал Гаипова
    больше года назад
    Добрый день, Игорь. Уточните, пожалуйста, кому вы отправляли домены на проверку? На какой адрес? Если на rustem@reaspekt.ru, постараемся связаться с автором статьи.
    -
    0
    +
    Ответить
  • Игорь
    больше года назад
    Гость, Я Вам отослал на проверку домены еще 5 дней назад. Ответа нет.
    -
    0
    +
    Ответить
  • Гость
    больше года назад
    Виталий
    1. Возможно. Изначально и планировалось сделать несколько коммерческих тематических словарей. Но остановился на этом, т.к. и без этого всё достаточно очевидно. Я обязательно этот момент рассмотрю, посмотрю насколько это будет лучше.

    2. Как один из факторов, да. Можно ещё множество факторов приплести, конечно. В то же время, даже одна эта оценка мне кажется на сегодняшний день достаточно объёктивной, "сильной" и уникальной.
    -
    0
    +
    Ответить
  • zero50x
    больше года назад
    nogval, теперь это я ))
    -
    0
    +
    Ответить
  • Виталий
    4
    комментария
    0
    читателей
    Виталий
    больше года назад
    Рустем, «Реаспект»,
    Еще несколько моментов по поводу данной оценки:
    1. В данной формуле явно не хватает оценки спектра тематик анкор-листа, так как чем шире спектр тематик анкоров, тем Выше шанс, что это спам.
    2. В заголовке статьи сказано, что это "Оценка спамности доноров", а по факту это методика оценки спамности анкор-листа, если говорить о спамности донора, то в формуле нужно как минимум учитывать общее количество документов донора и количество анкоров на 1 до...
    Рустем, «Реаспект»,
    Еще несколько моментов по поводу данной оценки:
    1. В данной формуле явно не хватает оценки спектра тематик анкор-листа, так как чем шире спектр тематик анкоров, тем Выше шанс, что это спам.
    2. В заголовке статьи сказано, что это "Оценка спамности доноров", а по факту это методика оценки спамности анкор-листа, если говорить о спамности донора, то в формуле нужно как минимум учитывать общее количество документов донора и количество анкоров на 1 документ и т.д.
    -
    0
    +
    Ответить
  • nogval
    больше года назад
    >И еще вопрос: получается исходя из формулы брендовые ссылки типо "supershop" и ссылки типа "www.somesite.com" (без http) будут отнесены к CAnch, верно я понял? Но это не до конца соответствует действительности..

    так и выходит. спасибо! учтем.

    >откуда выгружаете анкоры - ahrefs, opensiteexp, majestic или чтото другое?
    >Информацию по исходящим ссылкам с донора откуда берете? Соломоно?

    да, соломоно. по апи.
    -
    0
    +
    Ответить
  • Хость
    больше года назад
    0,09 - чистый, 0,1 - уже подозрительный!?) Как вам это удалось?
    -
    0
    +
    Ответить
  • Виталий
    4
    комментария
    0
    читателей
    Виталий
    больше года назад
    Как одну из проверок можно использовать с одним "но"!
    Точечные проверки не всегда адекватны, нужно смотреть динамику изменения показателя AnchSpam .
    Сайты с бирж сегодня могут быть с допустимым показателем AnchSpam , а завтра он будет уже зашкаливать!
    -
    0
    +
    Ответить
  • Рустем, «Реаспект»
    больше года назад
    TIIIMOXAN, доказательства чего? Есть множество доказательств того, что поисковые системы для определения коммерческих ссылок в большей степени ориентируются на из анкоры. В 9 из 10 патентов на эту тему речь так или иначе идет о коммерческих анкорах.

    Иван, ссылки на сервис нет. А кто то ещё хочет протестировать? :)

    zero50x, а так никто делает. Ни оптимизаторы пока не парятся, ни тем более вебмастера-манимейкеры. Зачем? И так покупают и продают.

    Илья...
    TIIIMOXAN, доказательства чего? Есть множество доказательств того, что поисковые системы для определения коммерческих ссылок в большей степени ориентируются на из анкоры. В 9 из 10 патентов на эту тему речь так или иначе идет о коммерческих анкорах.

    Иван, ссылки на сервис нет. А кто то ещё хочет протестировать? :)

    zero50x, а так никто делает. Ни оптимизаторы пока не парятся, ни тем более вебмастера-манимейкеры. Зачем? И так покупают и продают.

    Илья,
    Про брендовые анкоры. Они не дают ни плюса ни минуса. Плюс дают картинки и хттп. А минус коммерческие.
    Нет, они не относятся к CAnch, т.к. не коммерческие.


    Анкор листы берутся из соломоно. Не 500 первых доноров-акцепторов, а полные анкор-листы хостов.
    -
    0
    +
    Ответить
  • Рустем, «Реаспект»
    больше года назад
    nogval, нет, это типе и выходит. Такие бредовые анкоры не подпадают под CAnch, т.к. они, как правило, не содержат коммерческие слова.

    Хость, тут мы поставили простые границы. 0 - 0.1, 0.1 - 0.2, 0.2 - 0.5, 0.5 - 1. И обозвали их для удобства. Границы взяты на основе наблюдений за сотнями анкор-листов разных доноров.

    Виталий, да. Доноры имеют привычку заспамляться. Описанным выше методом как раз это и можно анализировать.
    -
    0
    +
    Ответить
  • zero50x
    больше года назад
    ну ставим 100 безанкорных ссылок вида хттп//ru.wikipedia  хттп//ria.ru и мы в шоколаде ))
    -
    0
    +
    Ответить
  • Игорь Бакалов
    39
    комментариев
    0
    читателей
    Игорь Бакалов
    больше года назад
    Информацию по исходящим ссылкам с донора откуда берете? Соломоно?
    -
    0
    +
    Ответить
  • NosovI
    больше года назад
    >Мы решили оценить степень спамности доноров оценивая оптимизированность их исходящих анкор-листов.

    Методика интересная, для автоматизации каких-то процессов однозначно подойдет.

    Вообще Яндекс никогда не был против коммерческих ссылок, он был против ссылок, поставленных не в интересах пользователя и используемых для влияния на выдачу поисковой системы. А это не одно и тоже. Для Гугла вполне возможно, что это весьма рабочая тема, а для Яндекса - не факт, у него все...
    >Мы решили оценить степень спамности доноров оценивая оптимизированность их исходящих анкор-листов.

    Методика интересная, для автоматизации каких-то процессов однозначно подойдет.

    Вообще Яндекс никогда не был против коммерческих ссылок, он был против ссылок, поставленных не в интересах пользователя и используемых для влияния на выдачу поисковой системы. А это не одно и тоже. Для Гугла вполне возможно, что это весьма рабочая тема, а для Яндекса - не факт, у него все сложнее. Но чтобы говорить наверняка надо проводить настоящие исследования.
    -
    0
    +
    Ответить
  • Илья
    больше года назад
    Спасибо, очень интересная идея. Еще бы сервис поюзать)
    К сожалению, ссылка на ваше предыдущее исследование не работает.
    -
    0
    +
    Ответить
  • TIIIMOXAN
    больше года назад
    О чем пост? Где доказательства?
    -
    0
    +
    Ответить
  • Марал Гаипова
    137
    комментариев
    0
    читателей
    Марал Гаипова
    больше года назад
    Илья, сейчас не работает блог компании Реаспект, в котором было опубликовано исследование. Думаю, скоро починят и можно будет посмотреть.
    -
    0
    +
    Ответить
  • Антон Шабан
    18
    комментариев
    0
    читателей
    Антон Шабан
    больше года назад
    Очень жду когда починят блог, тоже хотелось бы почитать предыдущее исследование.
    -
    0
    +
    Ответить
  • иван
    больше года назад
    а где ссылка на сервис то?
    -
    0
    +
    Ответить
  • Марал Гаипова
    137
    комментариев
    0
    читателей
    Марал Гаипова
    больше года назад
    Антон Шабан, написали ребятам в Реаспект, ждем)
    -
    0
    +
    Ответить
  • Андрей Пунегов
    1
    комментарий
    0
    читателей
    Андрей Пунегов
    больше года назад
    Илья, спасибо за интерес. Блог подняли) В открытый доступ пока ничего выкладывать не планируем. Рустем сейчас в отпуске уже, а в статье хотел поделиться в первую очередь мыслями и принципами оценки. Пишите Рустему, вернется к началу октября - ответит.
    -
    0
    +
    Ответить
  • nogval
    больше года назад
    TIIIMOXAN, Пост о том как еще можно оценивать доноров. Сервис оценивает доноров по 2 основным метрикам, причем один из них развернуто описан в мадридском докладе (классификатор SEOtext). Прочитайте мадридский доклад Яндекса (2009 год), там много интересных вещей написано. :) Доказательства частично описаны в предыдущем исследовании (ссылка в посте, не могу оставить ссылку).

    Это просто один из методов отбора ссылочных доноров. Можно также изменить форм...
    TIIIMOXAN, Пост о том как еще можно оценивать доноров. Сервис оценивает доноров по 2 основным метрикам, причем один из них развернуто описан в мадридском докладе (классификатор SEOtext). Прочитайте мадридский доклад Яндекса (2009 год), там много интересных вещей написано. :) Доказательства частично описаны в предыдущем исследовании (ссылка в посте, не могу оставить ссылку).

    Это просто один из методов отбора ссылочных доноров. Можно также изменить формулу в свою сторону, оценивая также страничные факторы и расставив при этом к каждой метрике свои коэффициенты.
    -
    0
    +
    Ответить
  • zero50x
    больше года назад
    Легко накрутить алгоритм просто увеличив количество внешних ссылок на википедию и СМИ :))
    -
    0
    +
    Ответить
  • nogval
    больше года назад
    zero50x, а теперь найдите доноров в популярных ссылочных биржах, которые накручивают этот алгоритм. :)
    -
    0
    +
    Ответить
  • Илья
    больше года назад
    Спасибо, всем кто отреагировал на мой коммент о нерабочей ссылке, оказывается я это исследование уже видел)) Но все равно спс!

    zero50x, при чем тут вики и СМИ? В формуле ведь учитываются анкоры ссылок, а не их акцепторы...

    И еще вопрос: получается исходя из формулы брендовые ссылки типо "supershop" и ссылки типа "www.somesite.com" (без http) будут отнесены к  CAnch, верно я понял? Но это не до конца соответствует действит...
    Спасибо, всем кто отреагировал на мой коммент о нерабочей ссылке, оказывается я это исследование уже видел)) Но все равно спс!

    zero50x, при чем тут вики и СМИ? В формуле ведь учитываются анкоры ссылок, а не их акцепторы...

    И еще вопрос: получается исходя из формулы брендовые ссылки типо "supershop" и ссылки типа "www.somesite.com" (без http) будут отнесены к  CAnch, верно я понял? Но это не до конца соответствует действительности..
    И вопрос на тему "спалить тему": откуда выгружаете анкоры - ahrefs, opensiteexp, majestic или чтото другое?

    Ну а мысль очень толковая, как я уже говорил, спасибо!
    -
    0
    +
    Ответить

Отправьте отзыв!