У Яндекса, как и у любого поисковика есть свои боты, которые собирают информацию о сайте, индексируют, определяют зеркала и т.д. Идентифицировать их можно по строке User-agent:
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму “Добавить URL”
Yandex/1.02.000 (compatible; Win16; F) — индексация иконки сайта (favicon)
Yandex/1.01.001 (compatible; Win16; H) — определение зеркалов сайтов
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке “Найденные слова”
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
YaDirectBot/1.0 (compatible; Win 16; I) — индексация страниц сайта, участвующего в рекламной сети Яндекса
YandexBlog/0.99.101 (compatible; DOS3.30,B) — робот, индексирующий xml-файлы для поиска по блогам.
YandexSomething/1.0 — робот, индексирующий новостные потоки партнеров Яндекс-Новостей
Yandex/2.01.000 (compatible; Win16; Dyatel; C) — Яндекс.Каталог. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
Yandex/2.01.000 (compatible; Win16; Dyatel; D) — Яндекс.Директ. Она проверяет корректность ссылок из объявлений перед модерацией.
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — Яндекс.Закладки.
