На днях Google обновил Googlebot. Обновленный робот будет работать на тех страницах, которые «адаптируются» к местности — то есть меняют размещенный на них контент в зависимости от установленного географического региона пользователя или выбранного им языка.
Нововведение потребовалось потому, что обычный Googlebot не всегда может просканировать контент на таких страницах.
Причина такой проблемы не является секретом: IP-адреса робота Google относятся к США по умолчанию, а запросы HTTP от Googlebot не содержат в заголовке Accept-Language.
Для представления локального контента в Google-поиске применяются новые конфигурации — сканирование с учетом языка или по географическим регионам. В первом случае сканирование выполняется с установленным в заголовках запросов HTTP параметром Accept-Language; во втором — робот использует IP-адреса вне США, учитывая при этом и адреса в США.
Автоматическое включение новых конфигураций дает возможность пользователям самостоятельно отслеживать изменение данных поисковика. Рекомендация Google использовать отдельные URL с атрибутом rel=alternate hreflang для разных языков остается в силе.
Напомним, что реализована в мае прошлого года возможность просматривать сайты «глазами» Googlebot, доступна посредством сервиса «Инструменты для вебмастеров».
