Здравствуйте, уважаемые читатели сайта Uspei.com. Сегодня мы поговорим о базовых принципах ранжирования, то есть какие факторы использует поисковая система для определения позиций сайта в результатах поиска.
О том, как поисковая система рассчитывает релевантность и какие еще факторы может использовать при ранжировании сайтов.
Что такое релевантность и как поисковые системы ее определяют
Прежде всего, давайте поговорим о релевантности. Что такое релевантность мы уже выяснили в статье, когда обсуждали основные принципы SEO. Это степень соответствия страницы поисковому запросу пользователя, то есть тому, что человек искал в поисковой системе.
Как поисковые системы это определяют? Один из самых старых базовых алгоритмов определения релевантности является анализ текстового содержимого страницы. И действительно, если мы возьмем какую-то книжку или какую-то страницу в интернете или любой текстовый документ и проанализируем его с точки зрения какие слова чаще всего встречались в этом тексте, то таким образом мы приблизительно сможем понять смысл этого текста.
Давно было замечено, что если взять книжку про историю, разложить ее на слова, то обычно слово “история ” может встречаться очень часто.
Таким образом, если взять текст и разложить и его на частотную таблицу (то есть на список слов) и выписать сколько раз каждое из этих слов встречалось, то верхушка этой частотной таблицы будет так или иначе характеризовать содержание всего этого текстового документа. В нашем случае веб-страницы.
Это базовый алгоритм, которым пользовались поисковые системы и пользуются так или иначе до сих пор. Единственный минус такого алгоритма в том, что он очень неустойчив к любому влиянию и манипуляциям. То есть любой человек может на своей странице написать нужные слова определенное количество раз и таким образом искусственно завысить вот это количество упоминаний, либо плотность ключевого слова, того слова, которое ему интересно.
Как поисковая система с этим справляется? На самом деле поисковые системы раньше для себя рассчитывали некие пороги плотности, сейчас же поисковая система использует более сложные алгоритмы анализа данных и практически все поисковые системы так или иначе используют алгоритмы машинного обучения.
Алгоритм машинного обучения
Что такое алгоритм машинного обучения. Это когда люди учат поисковую систему, как правильно искать хорошие странички. Как это приблизительно происходит? В поисковых системах есть специальные люди (аналитики), которые выбирают хорошие странички по набору субъективных факторов.
Например, в google есть люди, у них есть руководство как должна выглядеть хорошая страничка, как ее нужно оценивать. Там есть куча вопросов и они ставят оценку насколько страница справилась: хорошо-плохо, очень плохо или очень хорошо. И формируют наборы качественных страниц, страниц релевантных определенным запросам с полезной, хорошей информацией. То есть ОНИ, эти люди учат робота, какие страницы хорошие, а какие плохие.
Дальше этот набор качественных страниц отправляется в специальный алгоритм машинного обучения, который пытается среди этих страниц обнаружить какие-то общие сигналы, общие факторы.
То есть, предположим, все хорошие интернет-магазины имеют хорошо заполненную страницу доставки и оплаты или все хорошие блоги имеют контактные данные блогера, который ведет этот блог.
То есть, вот такие разнообразные сигналы технология машинного обучения пытается обнаружить на этих страницах и сайтах, которые были распознаны специальными людьми-аналитиками как качественные.
Факторы тестируются на небольших выборках пользователей и если они показали, что людям нравятся эти результаты поиска, в которых учитывались эти факторы, они внедряются в алгоритм поиска и начинают использоваться в поисковой системе как факторы, влияющие на позицию в результатах поиска.
На самом деле алгоритм поиска очень динамичная штука. Как поисковые системы искали в 2005 году практически нельзя сравнить с тем, как это делают современные поисковые системы.
Так вот, технология машинного обучения находит какие-то общие сигналы закономерностей и из этих закономерностей выделяет факторы. Похожим образом можно себе представить и работу с ключевыми словами с плотностью и с частотой упоминания ключевых слов.
Диапазон естественной плотности ключевого слова
Представим себе, что у нас есть три хороших странички. На самом деле эти выборки значительно больше трех страничек, так как они содержат в себе тысячи и десятки тысяч страниц, но представим себе, что у нас есть три хороших странички.
И они, предположим, о кредитах и мы можем рассчитать плотность этой фразы внутри каждой странички.
Что такое плотность ключевого слова? Плотность ключевого слова (частота упоминания) рассчитывается по формуле: количество упоминаний деленное на количество слов в документе. Если, допустим, у нас слово упоминалось один раз на 100 слов, то плотность будет 0,1 или 1%.
Предположим, на первой страничке плотность фразы 1%, на 2- 2%, на 3- 3%. Далее мы можем рассчитать среднюю плотность ключевого слова для этих страниц – 2 %.
Зачем нам среднее? На самом деле, имея хорошую выборку качественных страничек, имея среднее значение по этим страничкам с помощью теории вероятности поисковая система может рассчитать некий диапазон плотности ключевого слова, в который будет попадать 99% всех релевантных страниц.
Таким образом, поисковая система может приблизительно составить себе отрезок плотности ЕСТЕСТВЕННОСТИ ключевого слова, предположим, от 1.1% до 5% процентов. Сюда будут попадать 99% всех релевантных страниц.
Если же плотность ключевого слова ниже какой-то этой отметки этого диапазона, такую страницу можно считать нерелевантной или менее релевантной.
Если выше, то релевантность тоже начинает падать и эту страницу можно считать подозрительной (с целью повлиять на алгоритм поиска) либо некачественной страницей с большим количеством тавтологии (повторения одного и того же слова), то есть ее тяжело воспринимать пользователю.
То есть поисковая система, если в этой странице одних и тех же ключевых будет уже упоминаться очень много, просто эту страницу поисковик не будет показывать и даже может исключить из поискового индекса. Что такое поисковый индекс мы тоже обсуждали тут.
Так вот, поисковая система вполне может рассчитать для себя некий доверительный диапазон плотности ключевого слова и проверять попадает ли страница в этот доверительный диапазон.
Оптимальная плотность ключевого слова
Многие seo-шники знают об этом и поэтому несколько лет было очень модно пытаться рассчитать оптимальную плотность ключевого слова. Считалось, что это “философский камень” в сео и если правильное количество раз написать ключевое слово у себя на странице, то можно было получить какой-то сумасшедший эффект в позициях.
На самом деле сейчас это абсолютно не так и никакой оптимальной плотности ключевого слова быть не может, так как в каждом конкретном случае, в каждом конкретном языке, для каждого конкретного слова этот диапазон более-менее индивидуален.
И если вы где-то читаете, что оптимальная плотность ключевого слова 5%, то к такой информации нужно относиться с большим подозрением, потому что есть слова более популярные в языке, есть менее популярные, и все сильно зависит от типа страниц, на которых используются слова и от самого слова и от тематики.
Не может быть идеальной плотности ключевого слова для всех страниц, для всех слов в интернете, для всех языков. И на самом деле, важно понимать, что нам не обязательно попадать в эту точку важно просто попасть в этот отрезок.
Сейчас для поисковой системы сама плотность ключевого слова не является решающим фактором релевантности. Это скорее один из факторов, который позволяет поисковой системе понять тему и смысл документа.
Качество страницы, полноту ответа, саму релевантность поисковая система рассчитывает по дополнительным факторам, о которых мы будем говорить позже.
Поэтому нам важно попасть в любую точку этого диапазона. Как это сделать на практике?
– Делаем плотность ключевого слова “средней по больнице”
Здесь есть два стандартных подхода. Первый основан на анализа конкурентов, то есть мы просто можем взять топ-10 или топ-20 конкурентов и отталкиваться от них как от той самой доверительной выборки. Это страницы, которые с точки зрения поисковика уже сделаны качественно и, рассчитав некое среднее значение, ориентироваться на него.
Это не значит, что если среднее значение будет 2% или 3% вы должны жестко соблюдать эти три процента. Ну просто, ориентируясь на него, подгоняя немножко значения под эту плотность, можно сказать, что вы оптимизируете свою страницу. И таким образом все слова ключевые будут упомянуты в этом диапазоне и не будут заходить в зону, где релевантность ваша уже будет понижаться.
Минус такого подхода в том, что часто особенно в низкоконкурентных тематиках ваши конкуренты не очень хорошо оптимизированы и если вы возьмете не очень хорошо оптимизированные сайты и будите использовать их как выборку, от которой будите отталкиваться в своей оптимизации, естественно вы получите не очень хороший результат. О том, как оптимизировать тексты и контент можно почитать в этой статье.
– Что такое “контент для людей”
Поэтому существует второй подход. Он очень абстрактный, но на самом деле часто очень эффективен. Заключается он в том, что сами поисковые системы и многие seo-шники советуют: пишите содержание своего сайта для людей, делайте контент для людей.
Ну в этот момент очень многие владельцы сайтов вебмастера говорят: “такой себе совет”, потому что хотелось бы более точные какие-то проценты, какое-то количество упоминаний.
На самом деле этот совет очень правильный и достаточно полезный. Почему? Потому что вот эта выборка, эти факторы, которые выделяются из этой выборки технологией машинного обучения они на самом деле являются результатом субъективного анализа людей. То есть изначально эта выборка, на которой формируются факторы поисковой системы, основана на субъективном мнении человека.
Если ваша страница достаточно интересна, если она раскрывает тему, если она содержит много полезного качественного контента и она нравится большей части вашей аудитории, то вы с вероятностью 99% попадете в нужный диапазон плотности и будете иметь правильные другие факторы: по разметке, по содержанию, по типу контента. И это важно понимать.
– Интересно, но нетематично и неинформативно
На самом деле эта идея создания контента для людей она очень полезна при поисковой оптимизации. Но здесь есть одно серьезное “но…”. Когда люди создают контент “для людей” они часто не совсем правильно понимают этот совет. И для того, чтобы разобраться о чем я говорю нам надо разобраться еще в одном важном факторе, который учитывает поисковая система при расчете соответствия этой самой релевантности.
Оказывается можно написать текст про ноутбуки или про люстры или про кредиты с высокой и правильной плотностью ключевого слова, но при этом это текст не будет иметь никаких позиций, будет иметь низкую релевантность. С чем это связано? Текст будет недостаточно полным и недостаточно тематичным.
О чем я говорю. Представьте себе 2 страницы, на первой слово “наполеон” имеет плотность 3%, на второй слово “наполеон” имеет плотность 1%. Если мы говорим, что основным фактором определения релевантности является плотность ключевого слова, то эта страница должна всегда показываться выше второй страницы. Но здесь один есть серьезный нюанс, “наполеон” может быть Бонапартом, а может быть тортом или шампанским и в зависимости от тематики поискового запроса результаты поиска будут сильно отличаться. Какие вообще бывают виды поисковых запросов читайте в этой статье.
Так вот, если эта страница про бонапарта (история), а эта страница про торт (кулинария), то естественно, что когда люди ищут “наполеон бонапарт” показывать им страницу с тортом будет некорректно. Как поисковая система определяет тематику?
На самом деле для поисковой системы это не очень сложная задача. Поисковик смотрит какие слова использовались на этой странице. К примеру, если на этой странице использовались слова вида молоко, рецепт приготовления и подобные слова из темы кулинария, то поисковая система отнесет эту страницу к теме кулинария.
Если здесь использовались такие слова как битва, биография, франция, ватерлоо, то есть термины из истории, то эта страница будет отнесена к тематике истории.
Так вот, в зависимости от того, в какой теме нужно показать результаты поиска, поисковая система соответственно выберет одну из этих страниц.
Почему я это говорю? Некоторые люди думают, что когда они пишут тексты для людей контент просто должен быть интересным. Нет, контент должен быть еще информативным и тематическим. Это те две особенности, которые очень часто упускают начинающие оптимизаторы, либо владельцы сайтов.
Скажем, они делают страничку про люстры (мой любимый пример), но пишут не про то, как и где купить люстру, а про то, как люстра была изобретена или интересную историю с люстрой.
Суть в том, что мы получаем текст с правильным количеством упоминания слова люстра и написанное интересно для людей, но в тематике “история” или другой, но не в тематике продажи осветительных приборов. Естественно, эта страница не будет получать нормальных позиций.
Анализ и подборка тематических терминов
Как проверить правильные ли мы слова используем, имеет ли наш текст правильную тематичность. Во-первых, проанализируйте частотные таблицы конкурентов. Еще раз покажу инструмент, которым лично я пользуюсь. Я пользуюсь обычно двумя инструментами.
Первый это Simple SEO Tools. Это инструмент, в котором вы можете просмотреть частотную таблицу любого текста. Вы берете страницу, вводите ее в анализатор текста и получаете 2 частотных таблицы. Первая частотная таблица идет просто по каждому слову и вторая с учетом словоформ.
Таким образом, вы можете сравнить свои страницы со страницами конкурентов, которые уже находятся в топ 10 и посмотреть, какие термины они используют в своем тексте, какие аспекты они раскрывают.
Если к примеру у вас сайт про рецепты и вы сделали страницу рецепта торт наполеон, но она не занимает должных позиций посмотрите, возможно на страницах ваших конкурентов раскрываются какие-то аспекты.
Возможно там более подробные рецепты или более подробно рассказано об ингредиентах или еще какие-то моменты. Посмотрите какие слова используются, которые вы не используете, посмотрите на успешные страницы. И может использовать их как пример для того чтобы сделать свою страницу?
Либо же вы можете использовать специальные инструменты, которые сравнивают страницы и дают вам готовую выборку слов, которые встречаются на многих страницах топ-10.
Для этого есть инструмент lemmatop.yula-group.ru от компании Юла-групп. Он бесплатный, вы просто вводите любой запрос, например, “торт наполеон” и указываете google, ну либо ту поисковую систему, под которую вы хотите оптимизировать свой сайт.
Открываете несколько типичных конкурентов, то есть вот я открыл сайты с рецептами и вводите список страничек, которые вы хотите проанализировать. После чего нажимаете анализ и через минутку получаете список тематических слов.
Вот к примеру слова рецепт и цифра четыре цифра 4 означает, что это слово встречалось на всех четырех страницах, которые я ввел для анализа.
То есть, вот у меня есть три слова: рецепт, коржи, наполеон – это слова, которые встречались на всех четырех страницах. То есть это слова, которые крайне желательно использовать в нашем тексте про торт наполеон. Дальше идет набор слов, который встречался на трех из четырех страниц – это тоже те слова, которые крайне желательно использовать.
Конечно, этот анализатор выделяет не только тематические термины, а часто выделяет просто популярные слова русского языка, но все равно вы можете быстро базово проанализировать конкурентов и составить некий набор слов, который потом можете использовать для проверки подходит ли ваш текст по тематике по тому запросу, по которому вы хотите отображаться в поиске.
Таким образом, не только упоминание слов в тексте дает нам релевантность, базово это должно быть хотя бы упоминание и плюс тематичность, потому что упоминание слова без тематичности не даст нам практически никакого результата.