Поисковая выдача в вопросах и ответах

Сначала поисковый робот обходит все страницы сайтов, на которые может попасть, переходя по ссылкам, размещенным на известных ему страницах. При этом он сохраняет в базу данных все найденные таким образом страницы. А также заменяет в базе данных информацию о страницах, которые были изменены со времени последнего посещения их роботом.

Далее страницы, находящиеся в базе данных, индексируются. Т.е. специальный робот-индексатор анализирует текст на каждой странице, выделяет картинки, ссылки и другие составные части.

Только после всего вышеперечисленного страница попадает в поисковую выдачу.

Как формируется поисковая выдача?

Пользователь вводит запрос в форму ввода поисковика и, нажимая на кнопку «Искать», передает этот запрос поисковику.

Поисковик анализирует запрос: язык, морфологию, прочие параметры (при «расширенном поиске»).

Поисковик ищет в базе данных наиболее подходящие по его мнению (= наиболее релевантные) страницы.

Поисковик формирует страницу выдачи из найденных им на предыдущем этапе сайтов, располагая их в порядке уменьшения релевантности.

Следовательно позиция конкретной страницы в конкретном поисковике зависит от того, на сколько данный поисковик сочтет данную страницу релевантной (подходящей для конкретного запроса).

Почему в разных поисковиках позиции одной и той же страницы по одному и тому же запросу отличаются?

Как правило, каждый существующий в Интернете поисковик – это самостоятельный, независящий от других поисковиков, проект (есть исключения, например поисковик Mail.ru в настоящее время транслирует выдачу Яндекса).

У каждого из поисковиков своя собственная концепция и свои собственные представления о том, какая выдача может быть релевантной, а какая – нет. Также у каждого из поисковиков своя собственная команда программистов, реализующих эти концепцию и представление о релевантности. Кроме того, каждый поисковик использует своих собственных роботов, посещающих и индексирующих страницы.

Следовательно, для формирования поисковой выдачи каждый поисковик использует свою собственную базу данных (где могут присутствовать некоторые страницы не известные другим поисковикам и при этом отсутствовать страницы известные другим поисковикам). Также каждый поисковик использует свой собственный алгоритм определения релевантности (алгоритм ранжирования).

Поэтому и выдача в разных поисковиках может существенно отличаться.

От чего зависит релевантность страницы?

Каждый поисковик формирует выдачу, используя свой собственный уникальный алгоритм ранжирования. Однако в основу этого алгоритма у всех поисковиков заложены одни и те же факторы: внутренние (содержание конкретной страницы, ссылки на страницу с других страниц сайта) и внешние (ссылки на страницу со страниц других сайтов).

Анализируя внутренние факторы ранжирования, поисковики «смотрят» на сколько текст страницы в целом и отдельных ее частей в частности (заголовок страницы, куски текста, выделенные жирным) отвечают запросу, сделанному пользователем. Очень большое значение придается уникальности текста страницы. В случае обнаружения поисковиками неуникального контента возможны как значительное понижение позиций, так и исключение страницы из индекса.

Также поисковые системы учитывают сколько ссылок с других страниц этого же сайта ведет на анализируемую страницу и на сколько текст этих ссылок (их называют «анкорами») соответствует тому же запросу.

В качестве внешних факторов ранжирования учитываются все известные поисковику ссылки, ведущие на страницу с других сайтов и их анкоры (тексты ссылок). При этом также может учитываться качество страницы на которой размещена ссылка. Данный механизм называют «ссылочным ранжированием».

На самом деле механизм учета внешних факторов крайне сложен. Помимо количества ссылок и их анкоров могут учитываться текст страницы, на которой установлена ссылка, возраст ссылки, возраст сайта, содержащего ссылку, принадлежность сайтов содержащего ссылку и того, на который эта ссылка ведет, одному хозяину и куча других факторов.

На самом деле о том, какие факторы и как учитываются при определении релевантности страницы достоверно знают только создатели поискового алгоритма. Пользователи же (включая и оптимизаторов) об этом могут только догадываться, строя гипотезы на основе анализа изменения позиций сайтов. Преимущество здесь имеют оптимизаторы, работающие одновременно с несколькими сайтами и, следовательно, имеющие возможность отслеживать изменение позиций сразу по нескольким сайтам.

Как скоро будут учтены поисковиком изменения, внесенные в текст страницы сайта и появившиеся внешние ссылки?

В этом вопросе каждый поисковик ведет себя по-разному. Яндексу бывает достаточно 1-2 недель, но иногда приходится ждать обновлений до 1-2 месяцев. Рамблер часто затягивает обновление выдаваемой страницы до 6 месяцев и больше и вообще очень неохотно размещает в выдаче сайты моложе полугода.

Почему выдача одного и того же поисковика по одному и тому же запросу время от времени очень сильно меняется? Почему позиция страницы долгое время находившейся на одном и том же месте в выдаче может в одночасье измениться на десятки пунктов?

Причина первая

У большинства поисковиков обновление базы данных проиндексированных страниц происходит не постоянно (каждая найденная страница тут же анализируется и добавляется в выдачу), а периодически (информация о проиндексированных страницах накапливается и раз в несколько дней добавляется в основную базу). Периодическое обновление базы данных поисковика называют апдейтом. К примеру, в Яндексе апдейты происходят как правило два раза в неделю: первый раз в ночь с понедельника на вторник или со вторника на среду, а второй раз в ночь со среды на четверг или с четверга на пятницу, реже с пятницы на субботу.

В результате апдейта выдача поисковой системы по некоторым запросам может измениться кардинально, а по другим – не имениться вообще. Все зависит от того, какие страницы были проиндексированы поисковой системой в предшествующий период.

В этом случае позиции страниц, находящихся на 1 и 2 страницах выдачи как правило изменяются не слишком сильно.

Причина вторая

Создатели поисковых систем постоянно стремятся к тому, чтобы сделать выдачу своего поисковика лучше выдачи всех остальных поисковиков. Поэтому алгоритмы ранжирования каждой поисковой системы постоянно изменяются (вводятся различные коэффициенты для влияющих факторов, фильтры, ограничивающие влияние других факторов и т.д.).

Подобное изменение алгоритма ранжирования может повлечь за собой очень серьезные изменения в выдаче поисковика. Позиции страниц могут изменяться на несколько десятков пунктов. Позиции страниц, которые стабильно находились на определенном месте в выдаче много месяцев подряд, заметно изменяются, как правило, также именно в этой ситуации.

Почему страницы, стабильно находившиеся в выдаче долгое время, вдруг пропадают из нее?

Как правило, такие выпадения страницы из индекса происходят из-за того, что во время посещения сайта поисковым роботом, сайт был недоступен. Чаще всего это происходит по вине провайдера.

Если удается устранить причину неработоспособности сайта достаточно быстро, то через 2-4 апа поисковика позиции восстановятся сами.

Кроме того, существует вероятность, что сайт «забанили» в поисковике (запретили к выдаче, это делается исключительно сотрудниками поисковой системы).

В каких случаях сайт могут забанить?

Забанить сайт могут в случае, если обнаружится, что он продвигается при помощи запрещенных методов, называемых поисковым спамом.

Кроме того, забанить сайт могут в случае, если обнаружится, что его страницы имеют вредоносное содержание (вирусы). Причем помещают вирусы на страницы сайта не обязательно веб-мастера. Сайт может быть заражен вирусом извне.

Чтобы вернуть забаненный сайт в поисковую выдачу, необходимо устранить причину бана и написать в администрацию поисковой системы.

Полный список статей / Поисковая выдача / Версия для печати / translit / абракадабра :-)

Как работает поисковик?