Главная Услуги Работы Персона Юзабилити анализы
IMG тел. +7(98I) 7608865
Яндекс будет по-новому читать robots.txt




ПОИСК по сайту


    Полный список статей
/ Яндекс будет по-новому читать robots.txt / Версия для печати / translit / абракадабра :-)


<-предыдущая следующая ->

 
  google.com bobrdobr.ru del.icio.us technorati.com linkstore.ru news2.ru rumarkz.ru memori.ru moemesto.ru smi2.ru twitter.com Яндекс закладки text20.ru RuSpace RuSpace toodoo

Отныне поисковый робот Яндекса перестал воспринимать пустую директиву Allow в файле robots.txt как руководство к запрету индексации всего сайта.

Об этом крупнейшая отечественная поисковая система сообщила вчера в своем официальном блоге. По словам Яндекса, в прошлом довольно часто ее поисковый робот не мог получить доступ к тому или иному сайту из-за того, что в текстовом файле robots.txt, как правило, по ошибке была обозначена пустой директива Allow.

User-agent: * 
Allow:

Казалось бы, как такое может быть, если упомянутая директива, по умолчанию, «разрешающая» (аllow в переводе с английского – разрешить). А вот и может: упомянутая команда, как оказывается, разрешала индексировать содержимое сайта, когда она сопровождалась конкретным уточнением. Например:

User-agent: * 
Allow: /wp-admin

Когда же директива Allow была прописана в robots.txt без такого уточнения (так сказать, находилась в гордом одиночестве), то поисковый робот Яндекса понимал ее как указание к запрету на полное индексирование веб-ресурса. Следовательно, многие сайты по этой причине отсутствовали в индексе российского поисковика. По крайней мере, на этом настаивает Яндекс.

Учитывая сказанное, поисковая система решила наконец-то «научить» своих роботов игнорировать данную пустую директиву в файле robots.txt. Теперь при ее обнаружении робот все равно будет индексировать содержимое сайта, если, конечно, в robots.txt нет других запретов.

Яндекс напоминает, что после такого нововведения, если вы в силу разных причин все равно хотите полностью запретить сайт к индексации, то в этом случае следует прибегать к помощи следующих команд:

User-agent: * 
Disallow: /

или

User-agent: Yandex 
Disallow: *

Кстати, проверить, что именно запрещено, а что разрешено к индексации, можно в панели веб-мастера Яндекса.


3
Создание эксклюзивных сайтов, юзибилити анализ и бесплатный анализ под запросы основных поисковых машин
Контактная информация :
тел. +7(98I) 7608865

Написать письмо на e-mail
icq 415547094  romverрейтинг на mail.ru сайта romverinbox.ru
© 1997 - 2024 romver.ru

Полная карта сайта Display Pagerank