В опубликованном сегодня руководстве были учтены наиболее частотные вопросы, присланные в саппорт Яндекса. Вот Яндекс и рассказал:
про содержание и указания тегов, которые учитывает робот Яндекса.
про мета-теги: если они не указаны, по умолчанию они имеют положительное значение (index, follow, archive). В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию.
про тег : используется для запрета индексирования служебных участков текста. Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега. Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы).
про атрибут rel="nofollow":работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.