| В блоге Google для вебмастеров сообщается
о небольшом изменении в сканировании страниц, язык которых меняется
в зависимости от языка пользователя или региона, в котором он находится.
В таких случаях робот Google может не просканировать весь контент
страницы, т.к. его IP-адреса по умолчанию относятся к США и, кроме того,
он отправляет запросы HTTP без параметра Accept-Language в заголовке.
Чтобы избежать подобной проблемы Google запустил новые конфигурации для сканирования локальных страниц роботом Googlebot :
- Сканирование по географическим регионам. Googlebot использует IP-адреса, находящиеся за пределами США. Также учитываются и адреса в Соединенных Штатах.
- Сканирование с учетом языка. Googlebot выполняет сканирование с параметром Accept-Language в заголовках запросов HTTP.
Конфигурации используются автоматически для страниц, контент которых является локализованным.
Несмотря на нововведение команда Google по-прежнему поддерживает и рекомендует использовать для разных языков отдельные URL с атрибутами rel=alternate hreflang.
| 