Полезно будет познакомится как веб-мастерам, так и оптимизаторам с теми, кто приходит на их сайты и какие действия они выполняют.
Знакомимся боты поисковой системы Яндекс:
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий бот поисковой системы Яндекс. Yandex/1.01.001 (compatible; Win16; P) — бот индексатор картинок. Yandex/1.01.001 (compatible; Win16; H) — бот, определяющий зеркала сайтов. Yandex/1.02.000 (compatible; Win16; F) — бот, индексирующий пиктограммы сайтов (favicons). Yandex/1.03.003 (compatible; Win16; D) — бот, обращающийся к странице при добавлении ее через панель веб-мастера «Добавить URL». Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии страницы по ссылке «Найденные слова». YaDirectBot/1.0 (compatible; Win16; I) — бот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса или в простонародий Яндекс директ. YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) — робот поиска по блогам, индексирующий коментарии постов.
Также у Яндекса имеются несколько ботов агентов-«простукивалок», задача которых определять, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.
Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «бот простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он снова автоматически появляется в Каталоге. Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «бот простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом. Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «бот простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий в этом случае не предпринимается. Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «бот простукивалка» Яндекс.Новостей. Он формирует статистические отчеты для контент-менеджера и информирует его о возможных проблемах у партнеров-поставщиков новостей
