Объемы поискового спама в зарубежном интернете просто ошеломляющие. Недавние исследования компании Microsoft в этой области показали, что средняя плотность дорвеев в сети составляет около 11% по отношению к обычным страницам. А в некоторых темах доходит и до 30%. Эти данные были получены на основе анализа 1000 разных поисковых запросов. И, что самое удивительное, большая часть всех дорвеев размещена на серверах двух хостинг-компаний, а 68% подобных сайтов перенаправляют трафик на три известные PPC системы. А то, что большая часть дорвеев в сети создана русскоязычными веб-мастерами, не вызывает сегодня ни у кого сомнений.
Чем же вызван этот бум поискового спама, который мы наблюдаем последние несколько лет? Все довольно просто. Для реализации подобного сайта со стороны владельца требуется минимум знаний в области программирования и денежных вложений. Поисковые системы, в свою очередь, грешат своими несовершенными алгоритмами, которые постоянно на шаг позади нарушителей. Чтобы вникнуть в суть этой проблемы, нужно четко представлять себе, что происходит по обе стороны баррикад.
Как создаются дорвеи?
Прежде всего, определяются тематика, поисковые запросы. Выбрать тематику позволяют рекламодатели, которые потом будут покупать трафик с этих дорвеев. Чем дороже рекламодатель платит за посетителя в той или иной теме, тем больше желающих поучаствовать в этом процессе. Подобрать запросы помогают сами поисковые системы, которые дают свободный доступ к статистике показов контекстной рекламы по запросам. Можно с уверенностью сказать, что не было бы сервиса Overture Keyword Selector Tool - не было бы такого количества дорвеев в сети сегодня. И это в действительности так. Правда, представители Yahoo уже намекали на то, что до конца 2007 года этот сервис перестанет существовать в том виде, в котором он сейчас есть, а именно не будет общедоступным. Но это уже не имеет никакого значения для армии доблестных дорвейщиков, которые успели “отпарсить” с помощью этого сервиса все, что только можно и с большим запасом. Да и не так давно Google открыл свою утилиту для подбора слов, так что переживать им пока нет смысла.
Далее, создаются тысячи текстовых страниц, оптимизированных под определенные ключевые слова. Естественно, что к копирайтеру за уникальным контентом никто из создателей дорвеев не обращается. Все это делается в автоматическом режиме с помощью специальных программ. Существует множество методов и алгоритмов генерации текста. Самый простой и древний – это взять какой-то текст, перемешать в случайном порядке слова и вставить нужные ключевые фразы. Это работало несколько лет назад. На сегодняшний день распознавание подобного вида дорвея для Google не отнимет много времени. Более предпочтительна генерация текста с помощью цепей Маркова. Каждый дорвейщик, серьезно занимающийся программированием, считает за честь написать свой личный генератор текстов, но это все частности.
Потом все эти мусорные страницы заливаются на хостинг, настраиваются редиректы на PPC системы, которые будут покупать посетителей. Осталось только поставить на дорвеи внешние ссылки и подождать эффекта в поисковой системе. Ссылки добывать тоже «белыми» методами не представляется возможным. В ход идут спамилки заброшенных гостевых книг и форумов. В последнее время участились вирусные атаки на владельцев сайтов с последующим взломом серверов и заливкой дорвеев на чужие домены. Все это может набрать угрожающие масштабы и привлечь внимание правоохранительных органов.
Русскоязычные программисты по праву являются одними из лучших в мире, так что и в этой сфере они смогли себя проявить. В прошлом году была история, когда, по слухам, молдованин, за раз заспамил Google пятью миллиардами бесмысленных страниц. Сегодня существует множество программных комплексов, которые позволяют свести участие человека в генерации дорвеев к минимуму. Сегодня все процессы от выбора тематики, создания дорвея, до добычи внешних ссылок и контроля над позициями в поисковых системах, способна выполнять одна программа. Запустить ее можно на сервере или на компьютере, подключенном к интернету. Все эти программы доступны за небольшую плату любому. Нюансы заключаются в том, кому удастся найти такой вариант генератора текста, который будет выдавать текст, наиболее приближенный к естественному.
MFA сайты и принцип их работы
MFA – сокращение от made for Adsense. MFA сайт – сайт, созданный исключительно для зарабатывания денег с помощью программы Google Adsense. Действительно, в мире существует несколько крупных рекламных сетей, подобных этой, но ни одна не может сравниться с Adsense по простоте в использовании и количеству рекламодателей.
Принцип работы MFA сайтов довольно прост. Создается сайт на какую-то тематику с минимумом полезной информации, на сайте размещаются рекламные блоки Adsense. Пользователь, не найдя нужной информации, кликает по рекламным объявлениям, - владелец MFA сайта получает прибыль. Да, многие сайты в сети размещают у себя Google Adsense, но отличительной особенностью MFA сайтов является то, что они не содержат уникального авторского контента, а большую часть видимого пользователю пространства занимает реклама.
Если говорить о зарубежном сегменте, то там в последние несколько лет наблюдается бурный рост именно такого вида поискового спама. Дорвеи уходят на второй план, так как MFA сайт намного дольше может находиться в выдаче поисковой системы и приносить прибыль.
Популярность подобного вида заработка, также как и в случае с дорвеями, обусловлена простотой реализации, размытыми правилами участия в системе (а порой и двойными стандартами), плюс несовершенством алгоритмов поисковых систем. Для создания подобного MFA сайта нужно не так много средств и усилий. Покупается домен, сайт делается на основе какого-то бесплатного шаблона. Далее, этот сайт нужно наполнить контентом. В ход идут разные способы. Начиная от комбинирования новостей с Google News и чужих блогов, заканчивая незаконным копированием контента с сайтов по этой тематике прямо из выдачи поисковых систем по нужному запросу. Далее, этому сайту нужно немного повысить ссылочную популярность. Это можно сделать, как и для дорвеев, регистрацией по форумам и гостевым, можно обмениваться ссылками. А можно просто купить сотни ссылок через специальных брокеров или принять участие в закрытых системах кольцевого обмена. На сегодняшний день существуют целые фабрики, которые выпускают подобные сайты сотнями за день в автоматическом режиме.
Все эти действия не являются нормальными с точки зрения морали, да и закона тоже, в частности, когда нарушаются чьи-то авторские права.
Последние два года бурно развивалось такое направление в MFA бизнесе как Adsense арбитраж. Суть его заключается в том, что покупается трафик из различных источников (сайтов) по маленькой цене и перенаправляется на MFA сайт, где зачастую цена за один клик существенно выше. В результате, имеем безубыточную схему заработка. Профессионалы в этом деле дошли то того, что скупали посетителей в Google Adwords и перенаправляли их на Google Adsense. Эта схема очень долгое время была самой прибыльной, так как покупать качественный и дешевый трафик позволяют возможности Adwords, а невнятные правила участия в Adsense позволяли безболезненно направлять этот трафик на MFA сайт с неуникальным контентом.
Что предпринимают поисковые системы в отношении дорвеев и MFA
Безусловно, что поисковые системы не могут не видеть такого бурного развития спама, который сейчас наблюдается в мире. Если пользователь не будет находить по своим запросам нужную ему информацию, то он просто откажется от этого сервиса и уйдет к другому. Как следствие – рекламодатели откажутся размещать рекламу, поисковая система перестанет получать прибыль. Все это понимают. Следовательно, можно предположить, что совершенствование алгоритмов борьбы со спамом идет постоянно, и средства на это выделяются немалые.
Для примера рассмотрим, что же предприняла компания Google в этом направлении в последние годы, так как она более открыта.
Что касается дорвеев, то одной из их отличительных особенностей является редирект на страницу с рекламой после захода из выдачи поисковой системы. Так вот, за последние годы все-таки видны улучшения в этом плане именно у гиганта мирового поиска. Сейчас Google легко определяет клоакинг, чрезмерное использование ключевых слов в тексте, распознает большинство видов страничных, серверных редиректов. Может исполнять простенькие JavaScript и видит в них URL ссылки.
Google предпочитает более старые домены, следовательно, невыгодно делать дорвеи на новых доменах. Дорвейщики пошли в обход и стали размещать дорвеи на бесплатных хостингах или старых доменах или поддоменах. Google теперь постоянно фильтрует подобные хосты, как только заметит. Также, на сегодняшний день у этой поисковой системы довольно хороший алгоритм определения дубликатов, по сравнению с остальными.
Совсем недавно был запатентован новый алгоритм Google Phrase Rank, суть которого заключается в том, что учитываются не просто слова в тексте, а частотность встречающихся фраз и синонимов. Если эта частотность отклоняется от нормальных показателей, то документ получает пенальти.
Если раньше попасть в индекс поисковой системы Google можно было довольно легко, поставив всего-то одну внешнюю ссылку, то сегодня этого уже не достаточно. Существует такое понятие как Supplemental Results – индекс дополнительных результатов. Если страница имеет недостаточный Page Rank, неуникальный автоматически созданный контент, то она попадает не в основной индекс, а в дополнительный. Страницы из дополнительного индекса показываются в результатах выдачи, только если нет релевантных документов из основного.
Также Google в последнее время ужесточил свое отношение к искусственному воздействию на сайт, то есть, к внешним ссылкам. В последние годы ссылки, полученные с помощью обмена, имеют немного меньший вес, следовательно, меньше влияют на позиции сайта. Ужесточился контроль над покупными ссылками – в панели для вебмастеров появилась форма, где можно пожаловаться на сайт, который торгует ссылками.
В том же направлении идет борьба Google с MFA сайтами. Компания стала получать множество исков в суд от возмущенных рекламодателей, которые были недовольны большими денежными потерями из-за обманных кликов на плохих сайтах. Сейчас уже сложнее купить дешевую рекламу в Adwords, если она будет вести на некачественный сайт. Google добавляет одну за одной новые записи в правила участия в сети Adsense. Сначала запрещают использовать картинки рядом с рекламой, которые намного повышают кликабельность и могут обмануть пользователя. Сейчас уже появилось дополнительное условие в правилах Adsense, которое запрещает размещать рекламу на MFA сайтах, т.е. где нет уникального интересного контента. В виде наказания за нарушения этих правил пользователям закрывают их аккаунты без права восстановления. Собственно говоря, это только начало войны с поисковым спамом, захлестнувшим интернет.