Мета-тег robots, примеры и варианты использования


Здравствуйте, уважаемые читатели сайта Uspei.com. В прошлой статье мы рассмотрели базовые инструменты управления индексацией, такие как robots.txt и sitemap и атрибут ссылок rel=nofollow. Сегодня мы рассмотрим более профессиональные инструменты управления индексацией. Некоторые из них нужны практически на каждом проекте, некоторые используются в основном на крупных ресурсах.

Инструмент, который мы рассмотрим это метатег meta robots. С помощью файла robots.txt мы могли управлять индексацией целых каталогов или отдельных страниц. По шаблонам мы могли запрещать доступ поисковому боту на эту страницу, то есть он просто не мог туда зайти, не мог просканировать, что на странице находится.Метатег robots

Что лучше - метатег robots или файл robots.txt ?

Но у robots.txt и есть один минус - заключается он в том, что если страница уже была в индексе поисковой системы, то после ее закрытия в robots.txt она, по сути, не совсем удаляется из индекса, вы ее можете даже найти в индексе и даже в поиске, но с пометкой закрыта в robots.txt.

При robots.txt страница не совсем удаляется из индекса

Плюс, когда мы полностью закрываем доступ, мы не можем никак гибко управлять индексацией этой страницы.

А meta robots позволяет более гибко управлять индексацией. Он оформляется следующим образом.

<meta name="robots" content="noindex,nofollow"/>

После чего мы указываем в поле content как стоит поступать со страницей поисковому боту. Если мы хотим, чтобы страницу поисковик просто обычно индексировал, то мы пишем два значения через запятую index, follow. Причем в метатеге robots мы вначале указываем стоит ли индексировать или не индексировать контент страницы, после чего мы через запятую указываем, что нужно делать с ссылками.

То есть, если мы говорим follow, значит поисковому боту следует воспринимать эти ссылки и следовать по ним на следующие страницы для индексации. Так же мы можем сказать noindex и nofollow, то есть запрещено сканировать контент и ссылки не нужно воспринимать на этой странице. И грубо говоря, можно считать, что все эти ссылки на этой странице они как бы закрыты атрибутом rel=nofollow.

Читайте также:  Google разъясняет влияние анкорных текстов на ранжирование

По ним поисковая система, поисковый бот не будет переходить дальше, и не будет индексировать. Это удобно потому, что мы можем комбинировать вот эти значения в мета робот как нам нужно в зависимости от индексации страниц.

К примеру, мы хотим, чтобы поисковый бот следовал по ссылкам на странице, но не хотим чтобы он сканировал контент. Мы можем написать noindex follow, что означает - содержание страницы сканировать не надо, но по ссылкам переходить стоит. Или же наоборот, если мы хотим, чтобы страница индексировались и контент из нее был просканирован, но по ссылкам чтобы поисковый бот не переходил (это иногда полезно при ссылочном продвижении, а также почитайте про алгоритм ссылочного ранжирования Pagerank).

Ну, к примеру, в каких случаях это нужно. У вас, например, сайт производителя какой-нибудь техники или спортивного инвентаря и у вас есть раздел представительства. Не все эти магазины могут быть какими-то качественными и вот этот весь список ссылок на эти магазины пометить атрибутом nofollow, либо взять и просто на этой странице поставить метатег <meta name="robots" content="index,nofollow">, что будет означать, что саму страницу с представительствами проиндексировать, но уже вот эти ссылки на представительства не воспринимать. Таким образом, вы сможете немножко отстраниться от них в плане передачи ссылочного веса.

На самом деле, существуют разнообразные ситуации, когда реально полезно использовать различные варианты в зависимости от нашей необходимости. Но о них мы поговорим чуть-чуть позже.

Поскольку это метатег и мы можем отображать его на конкретных страницах, то с помощью языков программирования мы можем написать более сложную логику, уже используя не только стандартные правила, как в файле robots.txt, а использовать какую-то сложную логику для запрета определенных страниц или открытия к индексации более важных для нас страниц. То есть, более гибко управлять вот этим всем процессом, даже создавать какие-то списки исключений и подобные ситуации. Вариантов там действительно много.

Читайте также:  Внешние упоминания сайта, отзывы и рейтинги, а также их накрутка

Также помимо значений index, follow и noindex, nofollow есть другие значения, которые мы можем задавать в мета-теге robots. Они позволяют вам настроить, допустим, не отображать описание из каталога dmoz и многое другое. Но подробнее о дополнительных значениях и о том, как они работают, можно будет почитать по ссылке в справке google.

Вообще сейчас считается более правильной оптимизацией индексации, когда вы используете не файл robots.txt, а meta robots для страниц результатов поиска, сортировок, не нужных страниц фильтрации, версий для печати и разнообразных режимов отображения, дубликатов и т.д. То есть тех любых страниц, которые стоило бы запретить от индексации.

Единственное помните, что страницы, которые вы закрываете через метатег robots, не должны быть закрыты через файл robots.txt. Иначе метатег robots просто не будет считан поисковой системой. То есть robots.txt исполняется раньше чем метароботс поэтому, если вы используете вот этот метатег, то в robots.txt эти страницы должны быть открыты для индексации. Когда бот зайдет, увидит метатег страницы и уже выполнит то, что вы там написали.

До встречи! Успевайте всё и всегда на страницах блога Uspei.com

Плюсануть
Поделиться
Класснуть
Линкануть
Запинить

Буду благодарен, если поделитесь новостью в соцсетях

Вам также понравится...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *