Здравствуйте, уважаемые читатели сайта Uspei.com. Следующий важный инструмент управления индексации, который мы обязательно должны узнать – это канонический адрес или canonical еще это называют обычно. Что это такое и как это правильно использовать? Поисковая система дает нам возможность указать канонические адреса страниц. Давайте рассмотрим на примере зачем это нужно.
Проблема: разные адреса одних и тех же страниц
Представим себе, что у нас есть какой-нибудь интернет магазин и в нем товары разбиты на категории и на бренды. Например, мы выбрали категорию кроссовки, а потом выбрали бренд adidas, а можно зайти по-другому – в бренды adidas и потом выбрать категорию кроссовок. Так вот, в некоторых системах управления контентом на некоторых движках, если мы пройдем два этих разных пути мы получим в итоге 2 разные страницы. То есть в первом случае мы получим страницу вида site.ru/кроссовки/adidas, а во-втором site.ru/adidas/кроссовки.
Или вторая ситуация, когда один пост относится к двум разным категориям «продвижение» и «безопасность». Если зайти в категорию «продвижение» и выбрать пост, то адрес у него будет uspei.com/продвижение/пост, а если зайти в категорию «безопасность» и выбрать этот же пост, то теперь у него адрес будет uspei.com/безопасность/пост.
То есть, по сути, мы будем видеть один и тот же контент, но адреса этих страниц будут разными. Как мы знаем, основной идентификатор страницы – это ее адрес и для поисковой системы это полный дубль. Запрещать что-либо из этих страниц от индексации полностью было бы ну как минимум странно, потому что и в первом и во втором случае содержится полезный контент.
Плюс на этих страницах есть внутренние ссылки. Внутренние ссылки это тоже один из важных сигналов для поисковой системы, поэтому закрыть их от индексации будет неправильно.
Решение: указать канонические адреса.
И здесь нам на помощь приходят как раз канонические адреса (в пер. – твёрдо установленный, принятый за образец). Мы можем указать для поисковой системы, что эта страница как бы является производной, а эта страница является канонической (основной). Что для производной страницы основной адрес является каноническим.
Для этого в коде производной страницы (uspei.com/продвижение/пост) в блоке hand мы должны указать вот такую конструкцию:
<link rel="canonical" href="https://uspei.com/безопасность/пост">
Ну, еще один контрольный пример с этого сайта. У меня есть статья “Смена структуры или дизайна сайта”, которая относится к двум разделам и доступна по разным адресам – в разделе SEO и в разделе “юзабилити”. Обратите внимание, что это ОДНА И ТА ЖЕ статья, просто у нее два разных адреса, так как она принадлежит сразу к двум разделам.
Так вот, сейчас почти все cms или плагины в автоматическом режиме проставляют такой тег canonical. Откроем исходный код обеих статей и увидим там прописанный данный тег.
Таким образом, мы укажем, что эта страница как бы производная, а эта страница каноническая. Поисковый бот при индексации этой страницы проанализирует эту строку и не будет ее добавлять как отдельный элемент в индекс, а, грубо говоря, подклеит под основную страницу. В этой статье я писал, как вообще поисковые боты индексируют интернет.
При этом подклеется под эту страницу и рейтинг этого дубликата. То есть если у меня есть какой-нибудь ссылочный вес внешняя ссылка или еще что-то в этом духе, то этот рейтинг будет подклеен под канонический адрес.
Можно грубо сказать, что атрибут canonical это как бы 301 редирект без редиректа. Но здесь редиректить было бы не логично, потому что это будет давать даже дополнительную нагрузку на сервер и, в принципе, не будет отражать структуру нашего сайта.
Человек выбрал какие-то разделы, а потом его редиректит на другую страницу – это не очень правильно. Значительно правильнее оставить как есть и через canonical объяснить поисковой системе, что эта страница основная, а это как бы дополнительный адрес этой страницы.
Canonical используется сейчас во многих ситуациях, чаще всего по сайту прописывается canonical абсолютно на всех страницах для избежания возникновения дублей. Например, такие системы управления как wordpress автоматически на всех страницах прописывает canonical и если потом эта страница дублируется на каком-то другом адресе автоматически, она не индексируется и приклеивается на свой канонический адрес.
Давайте рассмотрим еще какой-нибудь пример, потому что с пониманием канонического адреса у людей проблемы.
Применение canonical на станицах-дублях
Предположим у нас есть сайт подбора билетов, например, железнодорожных или авиабилетов. Это форма, в которой мы выбираем направление, время отъезда, дату. То есть какой-то набор характеристик, но, по сути, эта форма, которую мы заполняем и нажимаем подобрать, после чего генерируется страница результатом.
Это страница нам очень полезна, потому что она как раз содержит подбор каких-то рейсов, когда выезд, в какое время вы выезжаете, ну все, что вам нужно. Обычно эта страница имеет не очень красивый url, он скорее всего будет с какими-то знаками вопроса, он будет не очень чпу-шным. И для каждой конкретной вот этой подборки, для каждого конкретного набора данных, будет своя подборка. Таких подборок в зависимости от количества пользователей в день может генерироваться несколько тысяч, а то и десятки тысяч.
И если все эти страницы будут проиндексированы, то большинство страниц будет некачественными (а что такое качественные смотри тут). Потому что, по сути, это подборка актуальна один день. То есть, если мы смотрели какие поезда едут из Москвы в Новосибирск в 7 часов вечера на определенную дату – эта информация не очень полезна большому количеству людей. И это страница уже устарела буквально через неделю. Поэтому в принципе попадание таких страниц в индекс не очень полезно.
Можно было бы запретить все результаты этого подбора от индексации в принципе через мета robots или robots.txt, но это тоже не совсем корректно. Потому что, если мы их запретим для индексации, то мы тут сами себе создаем небольшую проблему. Потому что вот этими страницами, как раз с этим подбором в основном люди будут делиться в социальных сетях на форумах, в личной переписке, неважно где. То есть человек подобрал себе какие-то варианты и делятся ими со своими друзьями, предположим.
Поэтому вполне возможно, что на эти страницы подборок будут появляться внешние ссылки. Еще на первых занятиях мы узнали, что внешние ссылки – важный сигнал для поисковой системы. Мы еще отдельно будем говорить про внешние ссылки, но даже на базе алгоритма pagerank мы знаем, что внешняя ссылка это полезная штука. Так вот, если у нас идет внешняя ссылка на наш сайт на страницу, которая закрыта от индексации, то это лишняя ссылка по сути уходит в никуда. То есть, если мы закроем эту страницу через мета robot или robots.txt это внешняя ссылка нам практически ничего не даст.
Отредиректить эту страницу мы тоже не имеем права, потому что это будет абсолютная глупость – человек зайдет и его сразу же отредиректит на главную и он не получит никаких результатов, сайт не будет работать.
И вот здесь нам опять же помогает canonical. Все страницы подборок, по сути, являются производными от формы, которую мы заполняли. Так вот, мы можем указать, что эта страница является канонической для всех этих страниц с результатом. И поисковая система может индексировать эти страницы, но не должна добавлять их как отдельные страницы, а их рейтинг и полученный вес на основе каких-то внешних сигналов подклеивать под форму подбора билетов.
Таким образом, мы правильно настроем индексацию и поисковик правильно поймет нашу структуру (почитайте про правильную структуру сайта). Поймет, что это за страница, как ее анализировать и вот эти внешние ссылки будут помогать продвигать нам саму форму подбора железнодорожных билетов.
То есть, если сказать образно, если у вас есть какой-то контент и в зависимости от каких-то свойств, например, через фильтр или через какие-то формы этот контент немножко изменяется и отображается по другим адресам вы должны настроить вот этот canonical этими страницами.
Таким образом, все страницы будут доступны для пользователя. Человек сможет на них зайти, прочитать все, что ему нужно, но в то же время поисковая система поймет, что одна страница является основной, а вторая производной. И эти производные страницы как бы подклеятся в индексе поисковой системы под свой основной адрес. Вот зачем нам нужен атрибут canonical и как его использовать.
Примеры применения canonical на каких-то реальных сайтах
Вот у нас есть адрес ролик Youtube, но помимо самого адреса ролика существуют разные дополнительные адреса, по которым можно получить доступ на какие-то конкретные элементы контента этой странице. К примеру, это ссылки на комментарии. То есть, если мы нажмём на дату публикации комментария мы получаем вот такую длинную ссылку на комментарий.
https://www.youtube.com/watch?v=LRqvcAD9nUc&lc=UgwBFTa815jlfKd4SAN4AaABAg
Причем, естественно, адрес комментария отличается от адреса основного ролика. Если оставить это как есть, то тогда каждая ссылка на комментарий будет дублировать контент страницы ролика. То есть, если под видео много комментариев, то все это будут дубли этого ролика. Для такого большого ресурса как youtube вы можете себе представить – будут миллионы этих дублирующих страниц.
Для того, чтобы этого дублирования не происходило, youtube указывает на странице вот этой ссылки с комментариями конструкцию canonical на основную страницу видеоролика.
То есть, по сути, мы можем получить ссылку на комментарий, мы можем ей делиться фейсбуке, на форумах, мы можем отправлять их друзьям, но страница эта индексироваться отдельно не будет, а при обработке этой страницы поисковик автоматически поймет, что нужно индексировать основную страницу и присваивать весь рейтинг основной странице данного видеоролика.