Написание скрипта для определения страниц сайта, проиндексированных Яндексом

1. Введение
2. Как узнать, какие страницы проиндексировал Яндекс
3. Скрипт для определения проиндексированных Яндексом страниц сайта
4. Заключение
5. Дополнительные материалы по теме

1. Введение

Что такое проиндексированные страницы? Проиндексированные страницы - это страницы уже зарегистрированные поисковыми роботами.

Если вы меняетесь с сайтом ссылками очень важно, чтобы ваша ссылка стояла именно на проиндексированной странице. Лучше всего, если к странице, где будет стоять ваша ссылка, есть прямой переход, максимум в три клика, с главной страницы - тогда вы на 90% можете быть уверены в том, что страница с вашей ссылкой проиндексирована.

Почему на 90%, а не на все 100%? Потому что прямой переход к странице ссылкой с главной страницы - еще не 100% гарантия того, что страница с вашей ссылкой проиндексирована. При желании веб-мастер может закрыть любую страницу своего сайта от индексации. Тогда Ваша ссылка, даже если она прямая, невзаимная и тематическая, даже если к странице с вашей ссылкой есть прямой переход с главной страницы, даже если Ваша ссылка одна единственная внешняя ссылка на всей странице - даже в этом случае она не принесет Вам никакой пользы. Следите за тем, чтобы страница с вашей ссылкой была не закрыта от индексации при помощи, например, файла robots.txt . В данном мастер-классе автор предлагает схему написания собственного скрипта, позволяющего определять проиндексированные страницы поисковой системой Яндекс.

2. Как узнать, какие страницы проиндексировал Яндекс

Подобную информацию можно узнать с помощью «Расширенного поиска Яндекс». На данной странице в поле "находятся на сайте" (в нижней части страницы) необходимо ввести url сайта, для которого необходимо выяснить, какие именно документы Яндекс на нем проиндексировал, и нажать кнопку "Найти", оставив поле для ввода ключевых слов пустым. В результатах поиска будут показаны все страницы (документы), проиндексированные Яндексом на указанном сайте. Если ничего не найдено, значит Яндекс на указанном сайте не проиндексировал ни одну страницу (и/или ни один документ).

3. Скрипт для определения проиндексированных Яндексом страниц сайта

Для облегчения поиска проиндексированных страниц лучше использовать скрипт, написанных на каком-либо языке программирования.

Интерфейс рассматриваемого в данном мастер-классе скрипта представляет собой:

• текстовое поле для ввода URL сайтов;
• кнопку для запуска скрипта.

Ниже приведен оригинальный текст скрипта, созданного на PHP:



   < title >Проиндексированные Яндексом страницы сайта
   < meta http-equiv="content-type" content="text/html; charset=windows-1251">
В В  < meta http-equiv="content-language" content="ru">



В В