Статья посвящена SEO аудиту, который позволит выявить явные и не явные ошибки оптимизации, индексации и общей работы сайта. Бывают случаи, когда ломаешь голову над причиной того, почему продвижение сайта не является успешным. Но как только ошибка находится – всё становится на свои места. Рассмотрев все пункты оценки оптимизации можно найти слабые места сайта и “подкрутить” их. Рассмотрим всё по порядку.
План статьи:
Проверка на присутствие в ПС
Проверка индексации страниц
Проверка на запрещённые методы продвижения
Оценка оригинальности контента
Проверка на ошибки в HTML коде
Анализ работы хостера
Проверка внутренней оптимизации
Оценка сайта глазами ПС
Проверка региональной зависимости
Перед прочтением статьи рекомендую подписаться на RSS и быть в курсе новых статей, о которых вы будете узнавать сразу после их публикации!
Проверка на присутствие в ПС
Первым делом проверим сайт на присутствие в поисковых системах. Получить результат можно, посмотрев, есть ли страницы сайта в индексе (вместо site.ru вписываем свой домен):
Яндекс – http://yandex.ru/yandsearch?serverurl=www.site.ru&lr=2Понижение в ранжировании
В тех случаях, когда добавление в ПС запрещено – скорей всего домен забанен. Об этом читайте в другой статье.
Проверка индексации страниц
Проверив на присутствие в ПС, оцениваем количество страниц, участвующих в поиске. Если сайт относительно новый, то всех страниц в индексе можно и не ожидать. Однако, если сайту несколько месяцев, и количество меньше того, которым обладает сайт, то возможен ряд причин:
Сайт находится под фильтром АГС
ПС – Яндекс, кол-во страниц в индекс гораздо меньше “локального” количества, по сравнению с Гуглом.
Не учтённые страницы запрещены к индексации
либо через robots.txt, либо через метатеги запрета – <META CONTENT=”NOINDEX,NOFOLLOW”>
Ошибки HTML кода
Отсутствие декларации <!DOCTYPE>, не валидная кодировка
Другие внутренние и внешние факторы
Дублированный контент, большое кол-во ВС, не поддерживаемый формат документа и т.д.
Советую добавить сайт в панель вебмастера Яндекса и проследить, какие страницы не были допущены к индексации и почему. Посмотреть можно в графе “Исключено роботом”.
Проверка на запрещённые методы продвижения
Страдать сайт может от запрещённых методов продвижения, которые могли быть применены и без вашего участия. Распространены:
нечитаемый пользователем или скрытый текст
Совпадение цвета текста и фона. Очень грубый и чёрный способ обмана ПС. Наказывается на раз. Проверить можно визуально, нажав CTRL+A, если выделится текст, которого не видно, то его цвет совпадает с цветом фона.
Клоакинг (от англ. cloaking – маскировка, укрытие)
Различие информации, которая выдаётся пользователю и ПС. То есть ПС видит одну страницу (напичканную ключами), а пользователь – другую (хорошо оптимизированную и читаемую). Технически реализуется весьма не просто. Поэтому проверяем, чтобы основные страницы содержали тот же текс, который видит ПС. Проверяйте соответствие КЭШа к текущему состоянию (заменить домен на свой) – http://hghltd.yandex.net/yandbtm?url=http%3A%2F%2Fwww.site.ru%2F&text=%E2
Дорвеи
Это страницы сайта, которые оптимизированы под конкретные запросы путём повышения плотности ключевых слов к общему тексту. Призваны для привлечения трафика с ПС. Проверяйте, не являются ли страницы вашего сайта дорвеями и не ссылаются ли они на ваш сайт (полуюмор).
Свопинг
Данный чёрный метод славится тем, что после достижения акцептором верхних позиций по конкурентным запросам и привлечения трафика – он резко меняет содержание той же страницы, что приводит к косому взгляду со стороны ПС. Проверяйте соответствие КЭШа к текущему состоянию (заменить домен на свой) – http://hghltd.yandex.net/yandbtm?url=http%3A%2F%2Fwww.site.ru%2F&text=%E2
Ссылочный спам
Обмен ссылками так же карается ПС. Размещая ответную ссылку на страницах сайта – вы повышаете количество ВС (внешних ссылок). Тем самым даёте повод ПС считать ваш сайт – линкопомойкой. Проверить ВС можно сервисом – http://www.slavssoft.ru/developer/?page=site_robot
Страницы сайта используют редирект кодов – 301, 302, 303. Стоит использовать только в случае переноса адресов страниц.
Оценка оригинальности контента
Не оригинальный контент является весомым вкладом в применение санкций от ПС. Выражается:
Фильтр АГС 30 (ex 17)
Дублированные страницы одного домена просто исключаются из индекса, так же как и не нужные (по мнению Яндекса). Пример: архивы сайта, теги, рубрики, результаты поиска, версии для печати. Все эти страницы содержат в себе контент, который повторяется, относительно прямого адреса страницы. Избежать фильтра можно закрыв страницы метатегом <META NAME=”ROBOTS” CONTENT=”NOINDEX “>, либо указав запрет в файле robots.txt
Понижение в ранжировании
То есть ПС не дают высоко ранжироваться сайту с неуникальным контентом. Высоких позиций можно не ждать.
Проверить контент на оригинальность можно множеством программ и сервисов. Наиболее распространена – Advego Plagiatus. Вбив адрес сайта или вставив текст в ручную получаем результат, например:
В случае такого результата, если чувствуете, что позиции сайта не высокие – меняем текст на уникальный.
Проверка на ошибки в HTML коде
Ошибки в коде сайта также могут непосредственно влиять на проблемы с индексацией, позициями, продвижением. Самый простой способ проверить на валидность кода можно через сервис – W3C Validator. Основные грубые ошибки HTML кода:
Отсутствие декларации <!DOCTYPE>
Деклараций, отвечающая за объявление типа документа, то есть сообщает какую версию (X)HTML вы используете. Её отсутствие в ряде случаев пагубно влияет на корректность документа, что приводит к проблемам взаимоотношений с ПС.
Errors, Warnings
не существенные ошибки, которые следует разбирать с помощью этого сервиса. Советую приводить код к валидному виду.
Кодировка
Проверяйте сайт на соответствие кодировки самого кода и указанной кодировке в метатеге:
Бывают случаи, когда в коде при запрете какой-либо ВС или не нужной информации с помощью данного тега, просто забывают его закрыть. Тем самым начиная с открытого тега и до конца документа – его индексация в Яндексе не возможна. Следует тщательно проверять на закрытие!
Так же следите за тем, чтобы все ваши теги были закрытыми.
Анализ работы хостера
В первом случае – это проверка скорости загрузки сайта. Низкая скорость отдачи информации от сервера хостинга может привести к тому, что ПС будут пренебрежительно относиться к ранжированию и индексации вашего сайта. Задав вопрос: “Зачем ПС выводить на высокие позиции сайт, который грузится очень долго?”, можно самому додумать ответ. Проверить скорость загрузки сайта и, следовательно, скорости сервера можно через сервис. Вписывайте ваш сайт + сайты ваших конкурентов и сравнивайте результаты. Более 3 секунд – следует срочно переезжать!
Также советую отследить перебои в работе серверов хостера. Это можно сделать, просмотрев логи ошибок (читать FAQ хостера). Естественно, если сайт несколько раз в день просто выключается из-за того, что сервер терпит большие нагрузки, то следует сменить своего хостера. А если сбой произойдёт в момент или в преддверии апдейта выдачи? Многие испытывают проблемы, поэтому на анализ хостинга тоже следует уделить время.
Проверка через сервис мониторинга веб-сайтов
Принцип работы сервиса таков, что из разных точек мира (на сегодня их больше 100 штук) производится периодическая проверка доступности сайта, в результате при “падении” хостинга у Вас будет информация как на ящике, так и в виде СМС, это позволяет просто с феерической скоростью набрать номер хостинг провайдера и решить проблему оперативно. Есть проблемы правда, но они нивелируются плюсами такого подхода. Допустим если “ляжет” канал вне России, зарубежка – естественно будет сигнализировать о недоступности, но в РФ сайт работать будет. Также есть постоянные отчеты и “кнопка” с циферкой суммарной, сколько в % времени был доступен сайт. Так что реально рекомендую потратиться в 5$ и брать тариф на несколько сайтов хотя там и фри версия вроде бы есть.
Спасибо, MyOST, за обзор сервиса
Проверка внутренней оптимизации
Внутренняя оптимизация может способствовать как повышению позиций сайта и индексации, так и понижению в ранжировании. Рассмотрим основные моменты:
Более 1 тега H1
Тег H1 подразумевает одно вхождение в документ, так как это заголовок верхнего уровня. Сравнить можно с заголовком книги, который по стандарту встречается 1 раз. Повторное вхождение может привести к тому, что ПС будут с опаской смотреть за страничкой.
Пользуемся сервисом проверки контента
Количество ВС
Внешние ссылки – один из тех параметров, к которым конкретно Яндекс относится весьма негативно. Ссылаясь на другие сайты, вы как минимум передаёте им свой вес, а так же позволяете поисковому роботу переходить по таким ссылкам. Особенно пагубное воздействие несёт за собой факт того, что ссылки ведут на некачественные сайты, к которым скорей всего С уже применили санкции. За это наказывается и сам акцептор. Советую скрывать такие ссылки тегом <noindex>ВС</noindex>. Количество не скрытых ВС не советую чтобы превышало 5-6, особенно с морды.
Пользуемся сервисом анализа сайта
Количество реальных ВС
Все открытые + скрытые от поисковых систем внешние ссылки будем называть “реальные ВС”. Яндекс не обходит внешние ссылки, заключённые в noindex, он их прекрасно видит и хранит у себя в базе, вот только не придаёт им значения. Количество реальных ВС советую делать не более 15.
Чрезмерность тегов выделения
Всякие теги выделения (b, strong, u и т.д.) должны знать свою меру. Если на странице несколько вхождений ключевого запроса в текст, то выделение более 1 раза не имеет смысла. Повторное выделение приводит во многих случаях к санкциям и понижению в ранжировании.
Пользуемся сервисом проверки контента
Плотность ключевых слов
Плотность ключевых слов – отношение количества ключей ко всему контенту страницы. На то она и плотность, что должны быть в меру. Превышение плотности – полу-дорвей. Оптимальной плотностью считаю – до 10 %.
Пользуемся сервисом проверки контента
Количество символов текста
Текст на страницы – неотъемлемая её часть, в прочем даже основная. Так как посетитель сайта, перейдя с ПС, хочет видеть информацию, релевантную своему введённому запросу, то не стоит его разочаровывать. 1-2 предложения никому не будут интересны, да и высоко ранжироваться такие страницы не будут. Тем более, если страница содержит текст в сайдбаре, футере и шапке, то он будет повторяться на всех страницах. И основной текст, который будет состоять из малого количества символов, не поможет вам избежать фильтра АГС-30. В большинстве случаев, такой статичный текст составляет порядка 1000 символов. Советую для остального составляющего страницы (основной текст) использовать: от 4000 символов (для морды) и от 2000 (для внутряка).
Пользуемся сервисом проверки количества символов
Дублирующие ссылки
На странице могут присутствовать внутренние ссылки на ту же страницу с разными анкорами. По сторонним экспериментам было замечено, что Гугл учитывает только первую ссылку, Яндекс – все. Можно конечно и воспринимать как факт, но превышать количество в 2 ссылки нет смысла.
Оценка сайта глазами ПС
Robots.txt
В этом пункте следует уделить больше внимания. Так как robots.txt – инструкция для роботов поисковых систем, следуя которой они принимают решения об индексации. Самая распространённая ошибка – это указание директивы Disallow в таком виде:
Disallow: /
То есть таким образом мы запрещаем весь сайт к индексации!
Хорошим robots.txt считаю:
User-agent: Yandex
Disallow: /категория не для индекса
Disallow: /категория не для индекса
Host: www.site.ru
User-agent: *
Disallow: /категория не для индекса
Disallow: /категория не для индекса
Sitemap: http://www.site.ru/sitemap.xml
Где:
User-agent: Yandex – указание нижестоящих правил для Яндекса
Disallow: /категория не для индекса – категория или страница, которая нам не нужна в индексе
Host: www.site.ru – указание на основной домен с www или без. Данная директива указывается непосредственно к поисковой машине Яндекс
User-agent: * – указание нижестоящих правил для всех ПС
Sitemap: http://www.site.ru/sitemap.xml – указание ссылки на карту сайта в формате xml
Перед вторым указанием инструкций для ПС следует ставить пустую строку, так же как и перед картой сайта!
Более подробный разбор файла инструкций для поисковых систем robots.txt мы будем рассматривать в другой статье.
Текст и ссылки
Проверяйте, какой текст и ссылки видят поисковые роботы. Проверить можно сервисом по просмотру сайта глазами ПС
Проверка региональной зависимости
Продвигая сайт нужно обязательно следить за региональной привязкой к самому сайту и к гео-зависимостью ключевых запросов. Запросы делятся на:
Гео-зависимые запросы
Те, при которых сайты ранжируются в разных регионах по-разному.
Гео-независимые запросы
В любом регионе ранжирование сайтов происходит одинаково.
Проверить на зависимость можно через поиск в разных регионах
Пример гео-независимого запроса – SEO:
Выдача одинаковая – запрос гео-НЕзависим
Пример гео-зависимого запроса – продвижение сайтов
Выдача разная – запрос гео-зависим
Если вы продвигаете сайт по гео-зависимым запросам, то присвоение региональной зависимости сайту – крайне обязательно! В остальных случаях – не обязательно.
Подробнее про гео-зависимость запросов и региональной принадлежности сайта читайте в других статьях.
И на последок – вырезка из правил Яндекса, который высоко не ранжирует сайты:
SEO аудит – 9 пунктов проверки и анализа сайта
Январь 12th, 2010 | Раздел: SEO аудит
Статья посвящена SEO аудиту, который позволит выявить явные и не явные ошибки оптимизации, индексации и общей работы сайта. Бывают случаи, когда ломаешь голову над причиной того, почему продвижение сайта не является успешным. Но как только ошибка находится – всё становится на свои места. Рассмотрев все пункты оценки оптимизации можно найти слабые места сайта и “подкрутить” их. Рассмотрим всё по порядку.
План статьи:
Проверка на присутствие в ПС
Проверка индексации страниц
Проверка на запрещённые методы продвижения
Оценка оригинальности контента
Проверка на ошибки в HTML коде
Анализ работы хостера
Проверка внутренней оптимизации
Оценка сайта глазами ПС
Проверка региональной зависимости
Перед прочтением статьи рекомендую подписаться на RSS и быть в курсе новых статей, о которых вы будете узнавать сразу после их публикации!
Проверка на присутствие в ПС
Первым делом проверим сайт на присутствие в поисковых системах. Получить результат можно, посмотрев, есть ли страницы сайта в индексе (вместо site.ru вписываем свой домен):
Яндекс – http://yandex.ru/yandsearch?serverurl=www.site.ru&lr=2Понижение в ранжировании
В тех случаях, когда добавление в ПС запрещено – скорей всего домен забанен. Об этом читайте в другой статье.
Проверка индексации страниц
Проверив на присутствие в ПС, оцениваем количество страниц, участвующих в поиске. Если сайт относительно новый, то всех страниц в индексе можно и не ожидать. Однако, если сайту несколько месяцев, и количество меньше того, которым обладает сайт, то возможен ряд причин:
Сайт находится под фильтром АГС
ПС – Яндекс, кол-во страниц в индекс гораздо меньше “локального” количества, по сравнению с Гуглом.
Не учтённые страницы запрещены к индексации
либо через robots.txt, либо через метатеги запрета – <META CONTENT=”NOINDEX,NOFOLLOW”>
Ошибки HTML кода
Отсутствие декларации <!DOCTYPE>, не валидная кодировка
Другие внутренние и внешние факторы
Дублированный контент, большое кол-во ВС, не поддерживаемый формат документа и т.д.
Советую добавить сайт в панель вебмастера Яндекса и проследить, какие страницы не были допущены к индексации и почему. Посмотреть можно в графе “Исключено роботом”.
Проверка на запрещённые методы продвижения
Страдать сайт может от запрещённых методов продвижения, которые могли быть применены и без вашего участия. Распространены:
нечитаемый пользователем или скрытый текст
Совпадение цвета текста и фона. Очень грубый и чёрный способ обмана ПС. Наказывается на раз. Проверить можно визуально, нажав CTRL+A, если выделится текст, которого не видно, то его цвет совпадает с цветом фона.
Клоакинг (от англ. cloaking – маскировка, укрытие)
Различие информации, которая выдаётся пользователю и ПС. То есть ПС видит одну страницу (напичканную ключами), а пользователь – другую (хорошо оптимизированную и читаемую). Технически реализуется весьма не просто. Поэтому проверяем, чтобы основные страницы содержали тот же текс, который видит ПС. Проверяйте соответствие КЭШа к текущему состоянию (заменить домен на свой) – http://hghltd.yandex.net/yandbtm?url=http%3A%2F%2Fwww.site.ru%2F&text=%E2
Дорвеи
Это страницы сайта, которые оптимизированы под конкретные запросы путём повышения плотности ключевых слов к общему тексту. Призваны для привлечения трафика с ПС. Проверяйте, не являются ли страницы вашего сайта дорвеями и не ссылаются ли они на ваш сайт.
Свопинг
Данный чёрный метод славится тем, что после достижения акцептором верхних позиций по конкурентным запросам и привлечения трафика – он резко меняет содержание той же страницы, что приводит к косому взгляду со стороны ПС. Проверяйте соответствие КЭШа к текущему состоянию (заменить домен на свой) – http://hghltd.yandex.net/yandbtm?url=http%3A%2F%2Fwww.site.ru%2F&text=%E2
Ссылочный спам
Обмен ссылками так же карается ПС. Размещая ответную ссылку на страницах сайта – вы повышаете количество ВС (внешних ссылок). Тем самым даёте повод ПС считать ваш сайт – линкопомойкой. Проверить ВС можно сервисом – http://www.slavssoft.ru/developer/?page=site_robot
Страницы сайта используют редирект кодов – 301, 302, 303. Стоит использовать только в случае переноса адресов страниц.
Оценка оригинальности контента
Не оригинальный контент является весомым вкладом в применение санкций от ПС. Выражается:
Фильтр АГС 30 (ex 17)
Дублированные страницы одного домена просто исключаются из индекса, так же как и не нужные (по мнению Яндекса). Пример: архивы сайта, теги, рубрики, результаты поиска, версии для печати. Все эти страницы содержат в себе контент, который повторяется, относительно прямого адреса страницы. Избежать фильтра можно закрыв страницы метатегом <META NAME=”ROBOTS” CONTENT=”NOINDEX “>, либо указав запрет в файле robots.txt
Понижение в ранжировании
То есть ПС не дают высоко ранжироваться сайту с неуникальным контентом. Высоких позиций можно не ждать.
Проверить контент на оригинальность можно множеством программ и сервисов. Наиболее распространена – Advego Plagiatus. Вбив адрес сайта или вставив текст в ручную получаем результат, например:
В случае такого результата, если чувствуете, что позиции сайта не высокие – меняем текст на уникальный.
Проверка на ошибки в HTML коде
Ошибки в коде сайта также могут непосредственно влиять на проблемы с индексацией, позициями, продвижением. Самый простой способ проверить на валидность кода можно через сервис – W3C Validator. Основные грубые ошибки HTML кода:
Отсутствие декларации <!DOCTYPE>
Деклараций, отвечающая за объявление типа документа, то есть сообщает какую версию (X)HTML вы используете. Её отсутствие в ряде случаев пагубно влияет на корректность документа, что приводит к проблемам взаимоотношений с ПС.
Errors, Warnings
не существенные ошибки, которые следует разбирать с помощью этого сервиса. Советую приводить код к валидному виду.
Кодировка
Проверяйте сайт на соответствие кодировки самого кода и указанной кодировке в метатеге:
Бывают случаи, когда в коде при запрете какой-либо ВС или не нужной информации с помощью данного тега, просто забывают его закрыть. Тем самым начиная с открытого тега и до конца документа – его индексация в Яндексе не возможна. Следует тщательно проверять на закрытие!
Так же следите за тем, чтобы все ваши теги были закрытыми.
Анализ работы хостера
В первом случае – это проверка скорости загрузки сайта. Низкая скорость отдачи информации от сервера хостинга может привести к тому, что ПС будут пренебрежительно относиться к ранжированию и индексации вашего сайта. Задав вопрос: “Зачем ПС выводить на высокие позиции сайт, который грузится очень долго?”, можно самому додумать ответ. Проверить скорость загрузки сайта и, следовательно, скорости сервера можно через сервис. Вписывайте ваш сайт + сайты ваших конкурентов и сравнивайте результаты. Более 3 секунд – следует срочно переезжать!
Также советую отследить перебои в работе серверов хостера. Это можно сделать, просмотрев логи ошибок (читать FAQ хостера). Естественно, если сайт несколько раз в день просто выключается из-за того, что сервер терпит большие нагрузки, то следует сменить своего хостера. А если сбой произойдёт в момент или в преддверии апдейта выдачи? Многие испытывают проблемы, поэтому на анализ хостинга тоже следует уделить время.
Проверка внутренней оптимизации
Внутренняя оптимизация может способствовать как повышению позиций сайта и индексации, так и понижению в ранжировании. Рассмотрим основные моменты:
Более 1 тега H1
Тег H1 подразумевает одно вхождение в документ, так как это заголовок верхнего уровня. Сравнить можно с заголовком книги, который по стандарту встречается 1 раз. Повторное вхождение может привести к тому, что ПС будут с опаской смотреть за страничкой.
Пользуемся сервисом проверки контента
Количество ВС
Внешние ссылки – один из тех параметров, к которым конкретно Яндекс относится весьма негативно. Ссылаясь на другие сайты, вы как минимум передаёте им свой вес, а так же позволяете поисковому роботу переходить по таким ссылкам. Особенно пагубное воздействие несёт за собой факт того, что ссылки ведут на некачественные сайты, к которым скорей всего С уже применили санкции. За это наказывается и сам акцептор. Советую скрывать такие ссылки тегом <noindex>ВС</noindex>. Количество не скрытых ВС не советую чтобы превышало 5-6, особенно с морды.
Пользуемся сервисом анализа сайта
Количество реальных ВС
Все открытые + скрытые от поисковых систем внешние ссылки будем называть “реальные ВС”. Яндекс не обходит внешние ссылки, заключённые в noindex, он их прекрасно видит и хранит у себя в базе, вот только не придаёт им значения. Количество реальных ВС советую делать не более 15.
Чрезмерность тегов выделения
Всякие теги выделения (b, strong, u и т.д.) должны знать свою меру. Если на странице несколько вхождений ключевого запроса в текст, то выделение более 1 раза не имеет смысла. Повторное выделение приводит во многих случаях к санкциям и понижению в ранжировании.
Пользуемся сервисом проверки контента
Плотность ключевых слов
Плотность ключевых слов – отношение количества ключей ко всему контенту страницы. На то она и плотность, что должны быть в меру. Превышение плотности – полу-дорвей. Оптимальной плотностью считаю – до 10 %.
Пользуемся сервисом проверки контента
Количество символов текста
Текст на страницы – неотъемлемая её часть, в прочем даже основная. Так как посетитель сайта, перейдя с ПС, хочет видеть информацию, релевантную своему введённому запросу, то не стоит его разочаровывать. 1-2 предложения никому не будут интересны, да и высоко ранжироваться такие страницы не будут. Тем более, если страница содержит текст в сайдбаре, футере и шапке, то он будет повторяться на всех страницах. И основной текст, который будет состоять из малого количества символов, не поможет вам избежать фильтра АГС-30. В большинстве случаев, такой статичный текст составляет порядка 1000 символов. Советую для остального составляющего страницы (основной текст) использовать: от 4000 символов (для морды) и от 2000 (для внутряка).
Пользуемся сервисом проверки количества символов
Дублирующие ссылки
На странице могут присутствовать внутренние ссылки на ту же страницу с разными анкорами. По сторонним экспериментам было замечено, что Гугл учитывает только первую ссылку, Яндекс – все. Можно конечно и воспринимать как факт, но превышать количество в 2 ссылки нет смысла.
Оценка сайта глазами ПС
Robots.txt
В этом пункте следует уделить больше внимания. Так как robots.txt – инструкция для роботов поисковых систем, следуя которой они принимают решения об индексации. Самая распространённая ошибка – это указание директивы Disallow в таком виде:
Disallow: /
То есть таким образом мы запрещаем весь сайт к индексации!
Хорошим robots.txt считаю:
User-agent: Yandex
Disallow: /категория не для индекса
Disallow: /категория не для индекса
Host: www.site.ru
User-agent: *
Disallow: /категория не для индекса
Disallow: /категория не для индекса
Sitemap: http://www.site.ru/sitemap.xml
Где:
User-agent: Yandex – указание нижестоящих правил для Яндекса
Disallow: /категория не для индекса – категория или страница, которая нам не нужна в индексе
Host: www.site.ru – указание на основной домен с www или без. Данная директива указывается непосредственно к поисковой машине Яндекс
User-agent: * – указание нижестоящих правил для всех ПС
Sitemap: http://www.site.ru/sitemap.xml – указание ссылки на карту сайта в формате xml
Перед вторым указанием инструкций для ПС следует ставить пустую строку, так же как и перед картой сайта!
Более подробный разбор файла инструкций для поисковых систем robots.txt мы будем рассматривать в другой статье.
Текст и ссылки
Проверяйте, какой текст и ссылки видят поисковые роботы. Проверить можно сервисом по просмотру сайта глазами ПС
Проверка региональной зависимости
Продвигая сайт нужно обязательно следить за региональной привязкой к самому сайту и к гео-зависимостью ключевых запросов. Запросы делятся на:
Гео-зависимые запросы
Те, при которых сайты ранжируются в разных регионах по-разному.
Гео-независимые запросы
В любом регионе ранжирование сайтов происходит одинаково.
Проверить на зависимость можно через поиск в разных регионах
Пример гео-независимого запроса – SEO:
Выдача одинаковая – запрос гео-НЕзависим
Пример гео-зависимого запроса – продвижение сайтов
Выдача одинаковая – запрос гео-зависим
Если вы продвигаете сайт по гео-зависимым запросам, то присвоение региональной зависимости сайту – крайне обязательно! В остальных случаях – не обязательно.
Подробнее про гео-зависимость запросов и региональной принадлежности сайта читайте в других статьях.
И на последок – вырезка из правил Яндекса, который высоко не ранжирует сайты: