Поисковые системы непрерывно совершенствуются, предоставляя пользователям все больше возможностей, а владельцам ресурсов – всё меньше.
Изначально поисковики представляли собой обычные каталоги, в которых информация вносилась вручную. Первые каталоги работали следующим образом – на введенный запрос поисковик выдавал список сайтов, которые соответствовали выбранной категории.
Однако в скором времени, когда количество информации выросло, каталоги перестали справляться со своей задачей, поскольку не могли охватить возросший объем информации. В результате свободные каталоги заменили на полноценные поисковые системы. Рассмотрим, как поисковые системы работают сейчас.
Индекс
Современные поисковые машины находят информацию по терминам, которые содержатся в тексте. То есть пользователь вводит набор ключевых слов, а робот подбирает ресурсы с наиболее точным совпадением введенных данных. Можно сослаться, например, на конкретную ссылку, название документа, либо на список слов, расположенных по алфавиту. Все возможные термины, собранные и отсортированные таким образом, чтобы информация об их местонахождении была в быстром доступе, называются поисковым индексом.
Чтобы составить индекс, все слова на странице подвергают анализу, за исключением лишних данных (теги, картинки, пробелы и др.), которые удаляют. Все собранные термины приводят в первоначальную словесную форму, номеруют, и добавляют в индекс. Когда индексирующий робот находит неизвестные слова, он оставляет их в том виде, в котором они были обнаружены, для последующей обработки.
Индексирующий алгоритм сортирует термины по алфавиту, присваивая каждому порядковый номер, показывающий, в каком конкретно документе содержится данное слово. Данный вид индекса называют инверсным, но существует и другая разновидность индексов – прямых. Прямой индекс – это сжатая форма всей содержащейся в интернете информации. Прямой индекс позволяет искать слова непосредственно по оригинальным страницам, предоставляя данные в оригинальном виде – например, вы можете найти какой-либо отрезок текста в изначальном виде.
Ссылки
Ссылки с одного документа на другой также индексируются. Это нужно для того, чтобы видеть, на какую страницу чаще ссылаются. Таким образом составляется рейтинг всех страниц в интернете, на верху которого находятся сайты с наибольшим числом ссылок. Соответственно, чем чаще ссылаются на страницу, тем выше она будет в поисковой выдаче.
Робот индексирует миллионы страниц и потому он не будет индексировать ресурс, если на страницу никто не ссылается. Именно поэтому нужно грамотно структурировать все страницы сайта, проставляя внутренние и внешние ссылки.
Частота индексации
Место в поисковой выдаче во многом зависит от того, насколько часто обновляется сайт. Чем чаще на сайте появляются новые материалы, чем быстрее растет количество ссылок, тем регулярнее поисковый робот посещает ресурс, а это, в свою очередь, выгодно влияет на авторитетность сайта. Для сайтов, на которых информация обновляется чаще всего (блоги, новостные площадки, форумы), был создан так называемый быстробот, который практически моментально индексирует новые страницы.
Расширенный поиск
Большинство поисковиков предоставляют возможность быстро находить точную информацию любого рода. Функция расширенного поиска либо сразу включена в функции поисковика, либо реализуется посредством операторов, которые основываются на документах или логических алгоритмах.
Например, вы ищите новости за январь 2021 года. Для этого можно воспользоваться документным оператором date. Ведя запрос «новости date:202101*» вы моментально получите документы, относящиеся к теме. Отметим, что данной функцией, как правило, пользуются опытные пользователи. Большинство людей вводят запрос словами.
Обработка запросов
Поскольку люди для поиска одного и того же сайта могут вводить разные запросы, то и поисковым машинам пришлось научиться обрабатывать информацию таким образом, чтобы пользователи всегда находили то, что ищут.
Новейшие поисковые системы ищут информацию не по совпадению ключевых слов, а по смыслу, заключенному в запросе. Благодаря этому даже в том случае, если пользователь введет запрос с ошибками, поисковик исправит все неточности, и выдаст нужный ресурс. На сегодняшний день для обработки запросов поисковик Яндекс использует нейросеть по названием YATI, а Google – BERT.
Релевантность
Коэффициент, отображающий соответствие запроса результатам выдачи, называется релевантностью. То есть поисковик должен проанализировать запрос, и предоставить ссылку на наиболее соответствующий ресурс. Соответственно, чем релевантнее сайт, тем выше он находится в результатах выдачи.
На релевантность влияют, как внешняя, так и качество внутренней SEO-оптимизации сайта. Кроме того, имеет значение, как ведут себя посетители на сайте, т.е. поведенческие факторы.
Ранжирование
Основная задача поисковой системы – предоставить доступ к ресурсу, наиболее соответствующему запросу. Для этого поисковики ранжируют (распределяют) сайты по релевантности.
Какие бывают факторы ранжирования:
- Хостовые. Имеет значение возраст сайта, зона регистрации домена и т.д.
- Текстовые (Title, Description, H1, уникальность и др.).
- Коммерческие показатели (стоимость товаров, функционал, ассортимент, наличие контактов и др.).
- Технические характеристики. Учитываются параметры загрузки, наличие мобильного приложения, наличие https, ЧПУ, валидность кода, наличие микроразметки, код ответа сервера и т.д.
- Ссылочные факторы. Количество внешних ссылок, их возраст, авторитетность ресурсов, с которых ссылаются и др.
- Поведенческие факторы. Количество посетителей в сутки, время, проведенное на сайте, показатель отказов, CTR сниппета и т.д.
- Социальные – наличие соцсетей, переходы из них, репосты и пр.
Факторы ранжирования не всегда определяются автоматически. В некоторых ситуациях сайты вручную проверяются асессорами. При этом поисковые системы не оглашают, как именно осуществляется ранжирование, из-за чего владельцамне всегда понятно, почему сайт теряет или, напротив, набирает позиции.
