Ob etom krupney6aa ote4estvennaa poiskovaa sistema soob6ila v4era v
svoem oficial'nom bloge. Po slovam Andeksa, v pro6lom dovol'no 4asto ee
poiskoviy robot ne mog polu4it' dostup k tomu ili inomu saytu iz-za
togo, 4to v tekstovom fayle robots.txt, kak pravilo, po o6ibke bila obozna4ena pustoy direktiva Allow.
User-agent: *
Allow:
Kazalos' bi, kak takoe mojet bit', esli upomanutaa direktiva, po umol4aniu, «razre6au6aa» (allow v perevode s angliyskogo – razre6it').
A vot i mojet: upomanutaa komanda, kak okazivaetsa, razre6ala
indeksirovat' soderjimoe sayta, kogda ona soprovojdalas' konkretnim
uto4neniem. Naprimer:
User-agent: *
Allow: /wp-admin
Kogda je direktiva Allow bila propisana v
robots.txt bez takogo uto4nenia (tak skazat', naxodilas' v gordom
odino4estve), to poiskoviy robot Andeksa ponimal ee kak ukazanie k
zapretu na polnoe indeksirovanie veb-resursa. Sledovatel'no, mnogie
sayti po etoy pri4ine otsutstvovali v indekse rossiyskogo poiskovika. Po
krayney mere, na etom nastaivaet Andeks.
U4itivaa skazannoe,
poiskovaa sistema re6ila nakonec-to «nau4it'» svoix robotov ignorirovat'
dannuu pustuu direktivu v fayle robots.txt. Teper' pri ee obnarujenii
robot vse ravno budet indeksirovat' soderjimoe sayta, esli, kone4no, v
robots.txt net drugix zapretov.
Andeks napominaet, 4to posle
takogo novovvedenia, esli vi v silu raznix pri4in vse ravno xotite
polnost'u zapretit' sayt k indeksacii, to v etom slu4ae sleduet
pribegat' k pomo6i sleduu6ix komand:
User-agent: *
Disallow: /
ili
User-agent: Yandex
Disallow: *
Kstati, proverit', 4to imenno zapre6eno, a 4to razre6eno k indeksacii, mojno v paneli veb-mastera Andeksa.