Здравствуйте, уважаемые читатели сайта Uspei.com. В первых двух постах мы купили домен, хостинг, выбрали CMS, а затем создали его структуру и наполнили контентом. На следующем долгожданном этапе мы добавляем ваш будущий ресурс в поисковую выдачу. Перед тем как вы сообщите о вашем сайте индексирующему роботу я советую заполнить два файлика, о которых мы говорили уже неоднократно, но о которых вебмастера успешно забывают или не обращают внимание: фал robots.txt и sitemap.xml.
Создание и заполнение файла robots.txt
Robots.txt это служебный файлик, в котором содержатся правила, о том какие страницы индексировать не нужно. В него мы добавляем все, что не должно попадать в поисковую выдачу, все что не должен посещать индексирующий робот и тратить свое (а значит ваше) время на бесполезные адреса. Пример моего файла. Подробнее читаем в отдельной специальной статье.
Это позволит оставить для робота те действительно важные страницы вашего сайта, которые должны попадать в поиск, которые должны быстро индексироваться. Вы же помните, у робота только определенный, небольшой отрезок времени, который он сканирует ваш сайт. То есть добавляем запреты на различные админки, поиск по сайту, действия и все подобное. Все, что не должно попасть в поисковую выдачу. Существует специальный инструмент анализатор этого файла.
Создание файла sitemap.xml
Файл sitemap.xml противоположность. В него нужно добавить те страницы, которые робот должен проиндексировать. То есть если у вас готовый ресурс, если вы используете какой-то плагин для составления robot.txt сразу же, перед тем как вы сообщаете роботу о вашем сайте, составьте файлик sitemap.xml, проверьте, что он составлен корректно, что там находятся только действительно нужные страницы вашего ресурса. Также файл sitemap.xml можно проверить с помощью специального валидатора в яндекс вебмастере. Пример моего файла.
Добавление сайта в Яндекс вебмастер
Ну и приступаем к добавлению сайта в Яндекс вебмастер. Очень частый вопрос: а по какому адресу добавлять – http или https? Если у вас новый сайт (тут о запуске нового сайта) и вы уже используете защищенный протокол, то сразу добавляйте в яндекс вебмастер именно версию https, чтобы она индексировалась и участвовала в поисковой выдаче.
Кстати, напомню, что еще в 2014 году google заявил о том, что наличие у сайта https является фактором ранжирования. Плюс для некоторых пользователей зеленый значок является некоторым фактором надежности. Соответственно возникает доверие, плюс другие моменты. Например вы сможете настроить push-уведомления, наверное вы видели когда на некоторые сайты заходишь где-то вверху всплывает окошко о том, чтобы подписаться на оповещения от этого сайта. И в дальнейшем прямо в браузере начинают приходить новости. Это как раз и есть push-уведомления, для настройки которых на вашем сайте необходимо наличие https. Поэтому, если вы еще не перешли на https, то торопитесь. В этой статье я подробно разобрал как без последствий перейти на https протокол.
Если вы используете или не используете префикс WWW, соответственно на это тоже нужно обращать внимание для того, чтобы получать корректную статистику по индексированию вашего ресурса.
Подтвердить права на ваш сайт можно различными способами. Я думаю, что здесь у вас проблем никаких не возникнет. После того, как вы подтвердили право на сайт и зашли в Яндекс вебмастер, советую проверить доступны ли страницы вашего ресурса для индексирующего робота с помощью соответствующего инструмента.
Вбили адрес страницы, нажали кнопочку проверить – смотрим код ответа, то есть это статус страницы для индексирующего робота. Статус 200 ок – означает что все хорошо, можно индексировать, если статус отличается от кода 200 стоит задуматься, вероятно сайт недоступен для нашего робота. Можно посмотреть время ответа и также можно посмотреть исходный код страниц, который получил наш индексирующий робот.
Очень часто при индексировании новых ресурсов робот в течение суток начинает получать заглушку от вашего либо хостера, либо от регистратора доменного имени. То есть важно посмотреть, что новый сайт возвращает именно тот контент, который находится на вашем ресурсе.
Если все в порядке бежим в инструмент переобхода страниц и добавляем наиболее важные страницы вашего сайта, которые должны в максимально короткие сроки попасть поисковую выдачу. Например, если это страницы каталога, то можно использовать какие-то наиболее важные разделы, где больше всего находится товара.
Дальше идем в раздел региональность, добавляем регион сайта, если он необходим. Проверяем корректность мобильной версии для вашего сайта и переходим в раздел диагностика сайта. Вы можете посмотреть здесь возможные проблемы либо рекомендации для вашего ресурса, то есть то, что вам может посоветовать Яндекс-топмастер уже сейчас.
В итоге дали для индексирующего робота дополнительную информацию, в виде robots.txt, важных страниц и региона, воспользовались инструментами проверки ответа сервера, мобилопригодности и посмотрели диагностику.
Если все хорошо – через несколько дней в статистике обхода можно посмотреть как часто ваш сайт посещается индексирующим роботом. Также спуститься вниз немножко в этом разделе можно посмотреть, какие именно страницы робот посещает.
Если видите здесь служебные адреса их стоит закрыть в robot.txt чтобы робот не обращался к ним. В соседнем разделе можно посмотреть статистику того, как страницы вашего сайта попадают в поисковую выдачу.
Можно посмотреть, какие страницы не попали в поиск и причины их исключения и посмотреть собственно то, что мы и добивались – те страницы, которые сейчас попали в поиск, и которые уже сейчас могут показываться пользователям по нужным вам запросам.
Отдельные моменты настройки сайта
- Если сайт сделан на нескольких языках в рамках одного домена (даже наверное и поддоменов), то наиболее частая проблема со стороны индексирующего робота это отсутствие соответствующей разметки на языковые версии. Проверьте составлена ли у вас разметка и присутствует ли она вообще.
- pre и next робот Яндекса не поддерживает поэтому на страницах пагинации советую использовать rel=canoniсal на странице со всеми товарами или на первой страницу вашего каталога.
- В sitemap.xml не обязательно указывать все страницы вашего ресурса. Вы можете добавлять только новые страницы, робот обязательно заметит, что в данном файле регулярно появляются новые странички, которых он еще не знает, и он будет скачивать ваш файл чаще (несколько раз в день). Естественно, это положительно повлияет на скорость индексирование вашего сайта в целом.
- Очень часто у интернет-магазинов одинаковые описания товаров. Товаров, конечно, много и для всего писать ручками проблематично, тем более, если вы один работаете над вашим ресурсом . Я советую начать, во-первых, из тех товаров, которые у вас лучше всего продаются. Если у вас представлено несколько тысяч товаров, стоит выделить те, которые будут продаваться или уже продаются на вашем сайте лучше всего. Разработать для них уникальные описания и посмотреть дальше, переходя по всем или по наиболее популярным товарам. Описание, конечно лучше всего писать самому, а не копировать у конкурентов и писать их стоит именно для пользователей. То есть часто пользователи, заходя на карточку товара, не могут понять чем отличается этот товар от других, представленных товаров. Расскажите это так, как вы бы сделали это в магазине как продавец консультант рассказал бы чем именно данный товар отличается от всех остальных товаров.
- Нужно ли закрывать фильтры, сайдбар и дополнительные меню от индексации? Смотря о какой странице идет речь. Если эта страница каталога, например, какой-то категории, то закрывать панель навигации не нужно. Но если речь идет о, например, товарной позиции, на которой совсем мало уникального текста, робот может посчитать такую страницу дублирующей, потому, что из уникального текста на ней всего одно предложение и при этом, очень большой фрагмент текста это панель навигации. Тут стоит доработать и контент на самой странице и по возможности закрыть дополнительно вот этот минимум от индексирующего робота, чтобы он увидел только уникальный и релевантный контент на данной страничке.
Для чего мы это делаем? Вот смотрите выдача по поисковому запросу “ссылочное продвижение” по этому сайту. В каждом посте в сайдбаре присутствует ссылка на популярные статьи, в частности на статью “Ссылочное продвижение, виды, тактики и стратегии…” и в поисковой выдаче все это безобразие попадает в каждую статью. Размывается релевантность и все смешивается в одну кучу, что не айс. Когда я все это увидел, то срочно принял меры.
- Наличие множества скриптов на вашем сайте не влияет напрямую на ранжирование (если они не сильно нагружают скорость загрузки страницы) и никаких проблем с ними не будет, так как индексирущий робот на текущий момент не использует скрипты при обходе вашего сайта.
- Если вы удалили на сайте какие либо ссылки или страницы, а индексирующий робот все равно к ним постоянно обращается (в течении нескольких месяцев), значит где-то на сайте есть код, содержащий эту ссылку.