Как работает яндекс
Перейти к содержимому

Как работает яндекс

  • автор:

Как работают алгоритмы поиска

Как работает поисковая система? Информационный поиск — это набор последовательных операций, выполняемых с целью выдачи определенной информации по заданным критериям.

Критерием поиска является информационный запрос, выражающий информационную потребность пользователя в каких-либо данных.

Процесс поиска включает в себя несколько этапов:

  • формирование информационного запроса;
  • определение всех возможных источников данных;
  • извлечение информации из найденных информационных массивов;
  • представление полученной информации пользователю для оценки результатов (поведенческие факторы).

Результаты поиска характеризуются релевантностью, т. е. степенью соответствия найденных данных поисковому запросу, и пертинентностью – соотношением полезной информации к общему количеству представленных результатов.

Для получения полезных результатов немалую роль играет формулировка информационного запроса. В любой поисковой системе можно уточнить запрос с помощью определенных инструментов, тем самым сузив область поиска. Выбор определенной поисковой системы также значительно влияет на вид информационной выдачи.

В общем случае любая поисковая система строится по одному алгоритму. Она состоит из двух компонентов: программа, осуществляющая сбор информации и ее индексацию, и программный комплекс отбирающий данные по запросу пользователя и ранжирующий (сортирующий) их для вывода результата. Рассмотрим каждую часть поисковой системы подробнее.

Сбор информации и индексация

Поисковый робот – программа, осуществляющая основную функцию поисковой системы – поиск новых источников данных (страниц). Так как эта программа свободно перемещается по всемирной паутине, ее стали называть «пауком». Принцип действия «паука» достаточно прост: попадая на одну страницу, он ищет на ней ссылки на другие страницы и заходит на каждую из них, повторяя предыдущие действия. При этом, робот индексирует (сохраняет основные сведения о сайте в базе данных) и отправляет копию каждой найденной страницы в архив. Стоит понимать, что под словом «каждая» подразумевается страница, соответствующая параметрам поиска. Прежде чем попасть в индекс, новые страницы сайта проверяются на вирусы, технические ошибки и плагиат. Плохие страницы сразу отсеиваются. И, конечно, исходя из принципа работы «паука», очевидно, что чем больше ссылок на сайт (учитываются внутренние и внешние), тем быстрее он попадет в индекс.

Сбор информации и индексация

Помимо качественных проверок существуют количественные ограничения записи страниц в индекс. Поисковая система имеет ограниченные ресурсы и не может просканировать мгновенно или даже за месяц все сайты в интернете. Поэтому каждый сайт имеет «краулинговый бюджет» — количество страниц, которые поисковый робот может обойти за один раз, и максимальное число проиндексированных документов с данного сайта. Для крупных сайтов это может быть основной причиной задержки обновления данных в индексе. Наиболее действенным решением в этом случае является настройка sitemap.xml. Это специально разработанная карта сайта, предназначенная для направления работы «паука». В этой карте необходимо указывать, какие страницы сайта чаще всего обновляются, что более приоритетно добавить в индекс, на какую информацию поисковый робот должен обратить внимание, а что он уже проверял.

В любом случае, индексация страниц не происходит мгновенно, так как поисковый робот не может пройти по всей сети за секунду. Сейчас процесс индексации занимает не более 2-3 недель, а для качественных, полезных и правильно оптимизированных сайтов может проходить за несколько дней. Проверить индексацию страниц в Яндексе можно в Вебмастере.

Работа по сокращению сроков индексации сайта является важным условием развития. Ресурсов в интернете становится больше с каждой секундой, а поисковые системы не могут совершенствоваться с той же скоростью. Поэтому, помимо обычного поискового робота, был создан быстроробот.

Быстроробот – это программа-робот, занимающаяся индексацией часто обновляемых сайтов (блогов, новостных порталов, соц. сетей и т. д.). Таким образом, именно эта программа позволяет выводить на первые места самые свежие результаты в выдаче. Основное отличие между обычным роботом и быстророботом в том, что быстроробот не учитывает ссылки. Поэтому одна и та же страница может быть проиндексирована и обычным роботом и быстророботом.

Формирование выдачи

Рассмотрим вторую часть поисковой системы на примере Яндекса.

После того как пользователь ввел в строке поиска свой запрос, первым делом его обрабатывает «балансировщик нагрузки». Он автоматически распределяет запросы по кластерам (объединениям серверов). Этот этап важен для эффективного использования вычислительной мощности.

После этого идет проверка наличия уже готовых результатов в кэше (памяти для хранения часто запрашиваемой информации). Это упрощает работу, так как некоторые запросы начинают чаще повторяться при определенных событиях (важные мировые происшествия, рекламные кампании и т. д.), а другие вообще не теряют популярности, например, социальные сети.

Результаты выдачи некоторое время хранятся в кэше поисковой системы, чтобы, при необходимости, выдать уже готовые данные.

Далее поисковая машина начинает метапоиск. Определяет, к какому типу данных относится запрос. Чаще всего это текст, но многие поисковые системы могут работать с изображениями. Здесь же осуществляется проверка орфографии и уточняется географическое положение отправки запроса.

Также определяется тип запроса: коммерческий или информационный. Тип запроса непосредственно влияет на ранжирование. Если запрос информационный, например, «состав мороженого», то на первых местах в выдаче будут сайты с максимально полезной информацией для пользователя (интересный контент, естественные ссылки и т. д.). При коммерческом запросе, например «купить мороженое», поисковая система постарается показать в результатах коммерческие страницы.

Информация о типе запроса важна для правильной оптимизации сайта. Получить такие данные о запросе можно с помощью специальных сервисов, таких как Labrika.

Также поисковые системы определяют специфические запросы, например, содержащие “отзыв”, “скачать”, “купить” и др. Для этих запросов важно не просто наличие ключевых слов на страницах, а возможность выполнения транзакции (“скачать”, “купить”), или реальных отзывов. То есть, если у конкурентов на сайте можно действительно купить/заказать товар или услугу, то просто наличие в тексте слова “купить”, скорее всего, не поможет. Для разных запросов те или иные факторы ранжирования (сортировки результатов поиска) могут иметь большее значение, чем для других, например, свежесть информации для новостей или наличие в имени домена названия бренда, для запросов информации именно о бренде.

Система начинает собирать информацию для нового списка. Для этого запрос поступает в «базовый поиск». В базовом поиске хранится тот самый индекс поисковой системы, разделенный на несколько частей и обрабатываемый на разных серверах. Наличие нескольких серверов позволяет снизить нагрузку и ускорить процесс поиска. При этом, для защиты от потери информации, каждый сервер создает несколько копий.

В конце работы базовый поиск возвращает метапоиску найденные результаты, соответствующие запросу. Но этот ответ еще не является конечным, представленным пользователю. После получения результатов метапоиском, в Яндексе результаты обрабатываются сначала фильтрами, а потом готовятся к выдаче алгоритмом Матрикснет.

Фильтр – это алгоритм, содержащий определенные требования к сайтам. При обнаружении фильтром несоответствия указанным параметрам, поисковая система применяет санкции: исключение из индекса, занижение позиций или удаление некоторых страниц из выдачи.

Основная цель применения фильтров – это повышение качества поисковой выдачи. Фильтры поисковых систем постоянно совершенствуются, чтобы учитывать больше факторов полезности.

Некоторые наиболее известные фильтры:

  • Аффилиат-фильтр (Яндекс и Google);
  • АГС (Яндекс);
  • Минусинск (Яндекс);
  • Ты последний (Яндекс);
  • Пингвин (Google);
  • Панда (Google);

Им мы посвятили отдельную статью.

Все они направлены на борьбу со спамом и конкретными несовершенствами сайтов, но основные проблемы это: уникальность контента, регулярное обновление и качественные внешние ссылки.Существование фильтров заставляет оптимизаторов уделять больше внимания повышению качества сайта, его наполнению и дизайну, дабы попасть в ТОП.

Далее в Яндексе происходит ранжирование результатов алгоритмом Матрикснет. Впервые Матрикснет появился при создании поискового фильтра Снежинск. Целью создания алгоритма было повышение качества поиска, за счет увеличения критериев ранжирования.

Матрикснет – это алгоритм машинного обучения, который строит формулу ранжирования (распределения позиций) результатов поисковой выдачи. Данный алгоритм позволяет создать очень сложную формулу с учетом десятков коэффициентов для вывода наиболее релевантных результатов на первое место. При этом, главной особенностью Матрикснет является возможность отдельной настройки формулы для определенных видов запросов, без снижения качества работы по другим.

Поисковые роботы находят миллионы страниц и проверка каждой на соответствие запросу, а также определение ее места в списке может вызвать сильную задержку по времени. Матрикснет просматривает все страницы, выданные базовым поиском, определяет список параметров релевантности текстов и присваивает им определенный вес. Затем начинает ранжировать страницы по убыванию полезности. При этом, алгоритмом учитываются сотни различных факторов (посещаемость, уникальность контента, количество ссылок и т. д.). На данный момент, Матрикснет содержит около 800 таких критериев. После появления этого алгоритма релевантность выдачи Яндекса значительно возросла, и пользователь получает необходимый ответ практически мгновенно.Но скорость не является самым важным критерием для пользователя.

Основные параметры оценки поисковой системы

  • Точность выражает соответствие результата запросу. То есть, чем меньше ошибочных сайтов в выдаче, тем лучше работает система. С этим у поисковых систем проблем нет.
  • Полнота заключается в разнообразии представленных результатов. Например, если поисковая система не знает точно, что нужно пользователю по запросу «Сура» (есть такая река, а также город, спортивная команда), то поисковая система не знает, что именно ищет пользователь, и постарается выдать результаты под все наиболее частые варианты запросов. Поэтому борьба между сайтами при таких запросах идет не за ТОП-10, а за ТОП-5 или ТОП-3. Потому что остальные позиции отданы справочникам, картам, Википедии и т. д., а также сайтам из других категорий, которые отображаются для полноты поиска.
  • Удовлетворенность пользователя вычисляется достаточно просто: если после перехода на сайт пользователь не вернулся к выдаче для просмотра нового сайта, значит результат подходящий. Если вернулся, то поисковая система запоминает эту информацию и меняет формулу ранжирования с помощью машинного обучения и асессорской оценки. Асессоры – это специалисты, которые определяют, насколько полезен сайт, выбранный поисковым роботом. Оценка со стороны человека помогает машинному обучению постоянно улучшать формулу ранжирования — убирать из выдачи вредные или бесполезные сайты, формально подходящие под запрос.

Результат

После ранжирования результатов в выдачу добавляется дополнительная информация: карты, адреса, общие сведения, полезные ссылки, подходящие рекламные объявления, видео, рекомендациии в таком виде выводится пользователю. Таким образом, поисковые системы стараются выдавать разнообразную и наиболее релевантную информацию, что необходимо учитывать при оптимизации сайта для получения высоких позиций сайта.

Читать дальше подобные статьи

  • Основы ранжирования Яндекс и Google
  • Факторы ранжирования сайтов, интернет магазинов поисковой системой Яндекс
  • Новые алгоритмы ранжирования поисковой системы Яндекс 2022
  • Фильтры поисковых систем Яндекс и Google. Как проверить сайт на санкции
  • 5 методов ускорить индексацию страниц сайта в Яндекс и Google

Как работает поиск

Вывод сайта в топ поисковой выдачи – одна из задач digital-маркетинга, без решения которой нельзя говорить об оптимальном ведении интернет-рекламы. Чтобы обеспечить эффективное СЕО-продвижение сайта, необходимо понимать основные принципы, по которым поисковые системы «Яндекс» и Google формируют выдачу с момента ввода запроса пользователя до момента вывода результатов на странице браузера. Понимание принципов работы поисковиков при подготовке ответа на запрос пользователя необходимо применять при оптимизации страниц сайта. В этом случае можно получить качественный SEO-трафик от поисковых систем.

Вывод сайта в топ поисковой выдачи – одна из задач digital-маркетинга, без решения которой нельзя говорить об оптимальном ведении интернет-рекламы. Чтобы обеспечить эффективное СЕО-продвижение сайта, необходимо понимать основные принципы, по которым поисковые системы «Яндекс» и Google формируют выдачу с момента ввода запроса пользователя до момента вывода результатов на странице браузера. Понимание принципов работы поисковиков при подготовке ответа на запрос пользователя необходимо применять при оптимизации страниц сайта. В этом случае можно получить качественный SEO-трафик от поисковых систем.

Алгоритм работы поисковых систем при подготовке результата на запрос

Когда пользователь вводит любой запрос, поисковая система «Яндекс» или «Гугл» выдает ответ практически мгновенно, при этом выполняется достаточно сложный алгоритм формирования выдачи с поиском по огромной базе проиндексированных сайтов. В общем случае кратко процесс можно представить следующим образом:

  • получение запроса, сформулированного пользователем;
  • лингвистический анализ, трактовка морфологии, снятие омонимии, дополнение синонимами, определение тематики запроса;
  • поиск в индексе страниц с релевантным содержимым, которые подходят под тематику и ключевые слова запроса;
  • построение порядка выдачи, то есть ранжирование с учетом множества факторов;
  • передача готового результата поиска пользователю.

По такому принципу работает и «Яндекс», и Google. С точки зрения решения задачи SEO продвинуть сайт сложнее именно в «Яндексе», поскольку он больше ориентирован на русскоязычную аудиторию и более тщательно подходит к анализу семантики и ранжирования. Поэтому детальный разбор этапов формирования выдачи мы проведем именно на основе этой системы.

Поиск связанной по смыслу информации

После получения запроса пользователя сайта Yandex.ru поисковая система проводит детальный лингвистический анализ введенного текста.

  1. Определение языка. Для удобства пользователей поисковая система определяет язык не только по применяемому алфавиту, но и по характерному сочетанию символов в запросе. Это позволяет получить верный результат даже тогда, когда пользователь не переключил раскладку клавиатуры.
  2. Трактовка морфологии. Поисковая фраза расширяется морфологическими формами введенных пользователем ключей и дополняется синонимами для максимального охвата материалов, которые будут отобраны для выдачи. Однако при ранжировании отдается предпочтение точному вхождению ключевых слов.
  3. Исключение омонимии. То есть учитываются одинаковые по написанию, но различные по смысловому значению слова. Определение омонимов выполняется на основе статистики одновременно используемых слов на базе Национального корпуса русского языка и собственных корпусов «Яндекса».
  4. Расширение запроса. На данном этапе ищутся синонимы, аббревиатуры, написания на различных языках, например названий брендов, подбираются высокочастотные однокоренные слова.
  5. Исключение синонимов наименований объектов. На этом этапе определяются, как правило, названия компаний, мест, имен собственных, для которых не требуется подбирать синонимы и расширять круг поиска. Также запрос прорабатывается на наличие грамматических и орфографических ошибок.

Благодаря высокой производительности оборудования, использованию распределенных вычислений эти операции проводятся за доли секунды, после чего формируется поисковый запрос для последующей обработки поисковой системой. Естественно, что он претерпевает значительные изменения для более полного охвата тематики и максимального удовлетворения интереса пользователя.

Язык формулирования запроса к поисковым машинам называется информационно-поисковым. В его составе логические операторы, морфология языка, регистр слов, префиксы обязательности, возможность учета расстояния между словами и расширенного поиска. Подобное представление запроса требуется для более быстрой выборки по обширным базам данных.

Принудительное сужение или расширение круга поиска при формировании запроса

Очевидно, что расширение поиска для пользователя нужно не всегда, и, если он помнит дословно фразу из нужного ему документа, вряд ли ему понравится то, что на первой странице выдачи появится релевантная информация, собранная по синонимам к запросу. Поэтому для поисковых систем существуют общие правила (с некоторыми нюансами для каждой из них) формирования запроса, при помощи которых ей можно указать, какая именно конкретика интересует пользователя.

Так, для сужения или, наоборот, расширения круга поиска в определенной области следует придерживаться таких правил формирования поискового запроса.

  • Точное вхождение. Если поиск ведется по известной точной ключевой фразе, нескольким подряд стоящим словам, следует заключать такую фразу в кавычки – «». «». В этом случае в выдачу попадут только точные совпадения без расширения поиска на синонимы и однокоренные слова.
  • Объединение ключевых слов. Когда требуется найти документ, который в обязательном порядке имеет вхождение нескольких слов в любой части страницы, следует написать их после основного запроса через знак «плюс» – «+». Уточняющие слова позволят значительно сузить круг поиска.
  • Исключение ключевых слов. Позволяет убрать из выдачи документы с вхождениями слов, стоящими после основной ключевой фразы через знак «минус» – «-». Это удобно, например, если нужно отсечь коммерческие тексты от информационных, например, указав после минуса типичные для первых слова: «цена», «купить», «недорого» и др.
  • Варианты. Использование логического «ИЛИ» в запросах позволяет выполнить поиск в документах, где присутствует хотя бы одно слово из указанного набора. В «Яндексе» вариации слов перечисляются через «|», а Google требует использования служебного слова OR, которое нужно указывать между вариантами ключей в поисковой фразе.

Освоив на практике и немного потренировавшись с использованием этих правил формирования поискового запроса, можно быстрее находить нужный материал и избавить себя от просмотра информации, близкой по семантике, но не имеющей важности в конкретном случае.

Принципы ранжирования результатов поиска

После передачи запроса на выполнение поиска по индексу на его основе строится выборка из базы, содержащая ссылки на страницы, которые полностью удовлетворяют всем заданным условиям. Как правило, эта выборка весьма внушительна даже для продуманно составленных поисковых фраз и может содержать сотни и тысячи страниц. Выдать ее в таком необработанном виде пользователю – значит обречь его на сложный ручной поиск и анализ наиболее подходящего результата. Поэтому после формирования выдача ранжируется по достаточно сложной технологии.

Ранжирование, или сортировка ссылок на страницы в Интернете, в порядке убывания их полезности для пользователя – это достаточно сложный и постоянно совершенствующийся процесс. Его главная задача – дать потребителю максимально полезную информацию, которая полностью ответит на его запрос.

Именно технологии ранжирования оказывают максимальное влияние на интернет-маркетинг, напрямую определяя позицию сайта в поисковой выдаче. Стоит отметить, что применение таких технологий в «Яндексе» началось с 2009 года и постоянно развивается путем внедрения новых алгоритмов. Каждая модернизация может привести к резкой смене позиции сайта, особенно если предыдущая позиция была занята не благодаря качественному информационному наполнению, а путем использования исключительно технических методов SEO-продвижения.

Справка: с ноября 2009 года в «Яндексе» использовался метод машинного обучения «Матрикснет», запущенный в алгоритме «Снежинск». С 2012 года применяется платформа «Калининград», разработанная на основе «Матрикснета». В 2016 году появился алгоритм «Палех», в 2017-м – «Баден-Баден» и «Королев».

Современные алгоритмы ранжирования способны учитывать тысячи различных параметров, начиная от статистических характеристик текста и заканчивая поведенческими факторами на сайте и его смысловым наполнением.

Весь процесс сортировки страниц по соответствию поисковой фразе делится на два этапа:

  1. Отбираются наиболее релевантные страницы сайта, информация с которого должна попасть в выдачу.
  2. Выбранные страницы еще раз сортируются по релевантности запросу.

Такой подход обеспечивает попадание в конечную выдачу обычно не более одной страницы с веб-ресурса, что облегчает для пользователя задачу выбора наиболее интересного сайта из нескольких. В противном случае страницы с одного тематического ресурса могли бы заполнить всю выдачу. Однако в некоторых ситуациях пользователь может заметить в выдаче несколько страниц с одного сайта.

Конечное численное значение релевантности, которое используется в сортировке, определяется по сложным формулам и алгоритмам, которые в большей части известны только компании – владельцу поисковой системы. Также на ранжирование влияет и региональная принадлежность ресурса, что особенно актуально для коммерческих запросов.

После завершения предварительной сортировки отобранные страницы проходят еще через ряд более строгих фильтров, среди которых есть и система санкций, понижающих значимость страницы в выдаче. Санкции, или пессимизация, могут применяться как к ресурсам целиком, так и к отдельным страницам за нарушение правил публикации контента, плагиат, использование технологий накрутки и ряд других факторов.

После завершения всех этапов алгоритма определения релевантности найденные страницы сортируются от более релевантных к менее релевантным и отправляются пользователю на экран в виде выдачи поисковой системы.

Факторы ранжирования

Стоит отметить, что поисковые системы не раскрывают до конца все критерии ранжирования сайта и технологии определения релевантности. Даются лишь общие рекомендации, главная суть которых – улучшение качества контента, его содержательности и полезности для конечного пользователя. К числу основных факторов относятся следующие:

  • внутренние – текст, его оформление, графические элементы, перелинковка внутри сайта;
  • внешние – ссылки на страницы сайта с других ресурсов, активность в социальных сетях (лайки, ретвиты, репосты и др.);
  • поведенческие – показатель отказов, время пребывания на сайте, глубина просмотра и т. д.

Тем не менее часто на первой странице выдачи можно наблюдать материалы, которые далеки от таких требований и занимают их благодаря использованию технологий «черного SEO». Однако такие ресурсы обычно исключаются из выдачи с применением санкций при очередной модернизации алгоритмов ранжирования. Впрочем, нередки и ситуации, когда внедрение нового алгоритма приводит к понижению позиций качественных ресурсов, что требует постоянного внимания к ним со стороны их владельцев и своевременного реагирования оптимизаторов на изменение ситуации, чтобы не допустить потери прибыли из-за снижения потока клиентов от поисковых систем.

Алгоритмы и технологии Яндекса: как работает поиск

Разберем более подробно, как устроена поисковая машина Яндекса. Что же происходит после того, как пользователь вводит запрос в строку поиска?

Поиск Яндекса

MatrixNet

Технология поиска Яндекс устроена сложно. Поисковая выдача формируется на основе формулы ранжирования, построенной на нескольких сотнях факторов, каждый из которых может включаться с индивидуальным коэффициентом, а также в различных комбинациях с прочими факторами.

Формула ранжирования — это функция, построенная на множестве факторов, при помощи которых определяется релевантность сайта поисковому запросу и его очередность в выдаче

Для обеспечения качественного поиска факторы и коэффициенты в формуле ранжирования должны регулярно обновляться. Построением такой формулы в Яндексе занимается MatrixNet (Матрикснет) — метод машинного обучения, введенный Яндексом в 2009 году с целью сделать поиск более точным.

«Матрикснет» — метод машинного обучения, с помощью которого подбирается формула ранжирования Яндекса. Входными данными являются факторы и обучающие данные, подготовленные асессорами (экспертными сотрудниками Яндекса).

Основная его особенность заключается в том, что он устойчив к переобучению и позволяет построить сложную формулу ранжирования с десятками тысяч коэффициентов, которая учитывает множество различных факторов и их комбинаций без увеличения количества асессорских оценок и опасности найти несуществующие закономерности.

Матрикснет

Архитектура поиска

Ежедневно пользователи посылают Яндексу десятки миллионов запросов. Для формирования ответа под какой-нибудь один запрос поисковой машине необходимо проверить миллионы документов, определить их релевантность и упорядочить при помощи формулы ранжирования так, чтобы наиболее подходящие страницы сайтов оказались вверху выдачи. Для ускорения этого процесса Яндекс использует заранее подготовленные данные — индекс.

Индекс — база поисковой системы, содержащая сведения о запросах и их позициях на страницах сайтов в сети. Индекс формируется поисковым роботом, который обходит сайты и собирает информацию с заданной периодичностью.

Размер индекса в поиске огромен, чтобы быстро обработать такой объем данных используются тысячи серверов, объединенные в кластеры.

После того, как пользователь вводит запрос в строку поиска, он анализируется компьютерной системой «Метапоиск» на предмет региональной привязки, класса запроса и т.д. Там же запрос проходит лингвистическую обработку. Далее «Метапоиск» проверяет кэш на наличие поискового ответа по данному запросу. По часто задаваемым запросам результаты поиска хранятся в памяти поисковика в течение какого-то времени, а не формируются каждый раз заново.

«Метапоиск» — это программа, которая принимает и разбирает поисковые запросы, передает их соответствующим «Базовым поискам», обеспечивает агрегацию и ранжирование найденных документов, а также производит кеширование части ответов, которые впоследствии возвращаются пользователям без обращения к «Базовому поиску».

Если же ответ не найден, «Метапоиск» передает запрос другой компьютерной системе — «Базовому поиску». Там же хранится поисковая база Яндекса (индекс). Так как это огромный объем данных, индекс разбивается на части, которые хранятся на разных серверах. Такой подход позволяет производить поиск одновременно по нескольким частям базы данных, что заметно ускоряет процесс. Каждый сервер имеет несколько копий, это дает возможность распределять нагрузку и не терять данные. При передаче запроса «Метапоиск» выбирает наименее загруженные сервера «Базового поиска».

«Базовый поиск» обеспечивает поиск по всей части индекса (базе поисковой системы), содержащей сведения о запросах и их позициях на страницах сайтов в сети.

Каждый сервер базового поиска отдает список документов, содержащих поисковый запрос, обратно в «Метапоиск», где они ранжируются по сформированной «Матрикснетом» формуле. Результаты такой работы мы видим на странице выдачи.

Архитектура поиска Яндекса

Использование индекса в качестве источника данных, многостадийный подход к формированию ответа и дублирование данных позволяют Яндексу обеспечивать поиск за доли секунды.

Оценка качества поиска

Помимо скорости поиска не менее важно и его качество. Для этого у Яндекса существует система оценки качества поиска, которая также помогает улучшить это качество.

Релевантность — свойство документа, определяющее степень его соответствия поисковому запросу. Вычисляется на основе формулы ранжирования.

Релевантность документа поисковому запросу вычисляется на основе формулы ранжирования — функции от множества факторов. Сейчас в Яндексе более 800 различных факторов, таких как возраст сайта, региональная привязка, взаимодействие пользователей с сайтом (поведенческий фактор), уникальность контента и т.д. В случае с персонализированным поиском релевантность документа зависит непосредственно от предпочтений пользователя, отправившего запрос.

Формула ранжирования постоянно обновляется, так как меняются потребности пользователей и индекс поисковика. Для ее обновления применяется методы машинного обучения. На основе экспертных данных выявляются зависимости между характеристиками документов и порядком их включения в выдачу, которые вносятся в формулу для ее корректировки.

Оценка качества поиска — удовлетворенность пользователей результатами поиска и порядком их следования.

Экспертными данными для машинного обучения являются оценки асессоров, которые также применяются для оценки качества поиска.

Асессоры — специалисты, оценивающие по ряду критериев релевантность представленного в выдаче документа поисковому запросу.

Асессоры оценивают поисковые результаты в выдаче по ряду критериев, которые позволяют определить, присутствует ли на сайте полный ответ на запрос, является ли сайт брендовым, не переспамлен ли текстовый контент и т.д. В основном асессоры работают с наиболее популярными поисковыми запросами (порядка 150 тыс.), при этом оцениваются первые 30 позиций выдачи. Это наиболее авторитетная оценка, так как ее проводит человек, а не машина, т.е. сайт получает оценку с точки зрения пользователя.

Актуализация и улучшение правил ранжирования в комплексе с оценкой качества поиска помогают Яндексу формировать выдачу, соответствующую ожиданиям пользователей.

Как работает яндекс

Аукцион Яндекс.Директ – это инструмент отбора контекстных объявлений, которые будут показываться в результатах поисковой выдачи или РСЯ на определенной позиции в конкретный период времени. Пока подгружаются результаты поиска, система выбирает, какая реклама наиболее точно отвечает на запрос пользователя. В соответствии со своими алгоритмами, ключевыми фразами и контекстом страницы Яндекс расставляет объявления по позициям. Директ.Аукцион проводится для всех рекламодателей, независимо от стоимости размещения, стратегии показа и других настроек кампании. Одним из ключевых параметров торгов является цена, которую готов платить участник за клик по объявлению. Это старый вариант расчета, который использовался системой с 2015 по 2017 год. Новая модель применяет расширенный алгоритм, согласно которому объявление может получить максимальный объем трафика, не находясь на первом месте в рекламном блоке. Яндекс заметил, что на кликабельность влияет не только позиция размещения, но и ряд дополнительных факторов. Принципы новой модели описаны ниже в этой статье.

Как работает Яндекс.Аукцион?

Аукционный отбор и показ объявлений учитывает несколько параметров, которые определяют позицию размещения в поисковой выдаче или на площадках РСЯ. Рекламодатели, создавая кампании, подбирают ключевые фразы, релевантные тематике и потребностям целевой аудитории. В настройках выбирают стратегию показа, устанавливают желаемую цену перехода и прочие настройки. Программный алгоритм Яндекса сопоставляет разные объявления между собой и определяет коэффициент качества рекламы. Это и релевантность креатива поисковому запросу, соответствие контента целевой страницы, временной период показа и другие параметры. Директ.Аукцион отбирает объявления для всех рекламных блоков на подгружаемой пользователем странице: спецразмещение, гарантированные показы, все объявления. Процесс торгов включает в себя несколько этапов.

Отбор и сортировка креативов

  1. Прогнозируемая системой цена клика. В расчет берется только стоимость перехода, а просмотры и показы не учитываются.
  2. Качество рекламного аккаунта, конкретного креатива. По этим параметрам Яндекс оценивает релевантность объявлений тематике и определяет эффективность настройки кампании: выбор стратегии, минус-слова, использование дополнительных ссылок и другое.
  3. Привлекательность рекламы для пользователей, которая определяется соотношением кликов к показам. То есть CTR объявления.

Позиции на тематических площадках РСЯ вычисляются суммой ставки ближайшего конкурента. Стоимость клика в поисковой выдаче определяется по правилам VCG- и GSP-аукционов. Рассмотрим их подробнее.

Определение списываемой цены

Сумма, которую рекламодатель заплатит при клике по объявлению, задается программными алгоритмами системы. Яндекс использует для работы два принципа расчета цены:

VCG-аукцион Директ служит для определения стоимости клика по креативу для блоков спецразмещения и гарантированных показов. Это модель торгов с одним раундом. Побеждает тот, кто предложит большую цену за позицию. Количество объявлений в блоках может варьироваться от 0 до 4, конкретное число зависит от конкурентности ниши. Расчет позиции только по цене относится к старому алгоритму Яндекса. Например, распределение мест для спецразмещения из четырех позиций проводится следующим образом:

  • Все четыре объявления получают 65% трафика;
  • Креативу на третьем месте добавляется +10% переходов;
  • Реклама на втором месте – это ещё +10% кликов;
  • 100% трафика достается первому объявлению.

Соответственно высокие позиции стоят дороже и, по мнению Яндекса, они более кликабельные. Однако в 2017-18 годах этот метод расчета изменили. Выяснилось, что не обязательно занимать первые позиции в рекламном блоке, чтобы привлекать больше трафика. На показатель CTR также влияет формат креатива, визуальное отображение и количество конкурентов в тематике. Можно было платить меньше за 3 или 4 позицию, но за счет заметного оформления получать больше переходов, чем конкуренты на 1 и 2 месте.

Так появился новый аукцион Яндекс.Директ для расчета цены объявлений на первой странице выдачи. Технология получила название «Трафарет». Это более гибкая система расчета позиции, так как она учитывает все классические факторы VGC-аукциона, но в каждой ситуации подбирает оптимальный внешний вид для креатива в соответствии с настройками кампании. В расчете цены клика учитывается объем трафика, который позволяет получить той или иной трафарет. То есть традиционная модель VGC-аукциона дополняется подсчетом объемов выкупаемого трафика за формат отображения креатива.



Чтобы рекламодателю использовать все доступные в системе трафареты рекомендуется добавить максимум дополнительных сведений: адреса, быстрые ссылки, расширения, время работы (визитка), телефоны и другое.

GSP-аукцион распространяется на последующие страницы поисковой выдаче кроме первой, на тематические площадки РСЯ, страницу «все объявления. Отличие от VGC только в одном – цена клика определяется ставкой ближайшего конкурента в выдаче или на площадке партнера. Яндекс.Аукцион по правилам GSP не может считаться оптимальной моделью определения цены. Зависимость стоимости и объема трафика в ней изменяются непропорционально, многое зависит от действий конкурентов.

Резюме

Мы узнали, как работает аукцион Яндекс.Директ. Изучили модели определения списываемой цены за переход. Рассмотрели, какими критериями определяются позиции размещения в рекламных блоках.

Чтобы показываться на высоких строчках выдачи и экономно расходовать бюджет, важно работать над качеством креативов, эффективно настраивать кампанию, максимально расширять видимость объявления на странице с помощью технологи «трафарет».

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *