Поисковая система при индексации отдает предпочтение чему
Что такое индексация сайта в поисковых системах
Под индексированием понимается процесс сканирования страниц сайта роботом поисковой системы (ПС) и их дальнейшее добавление в базу данных, которая называется Индексом. Индекс необходим для поиска страниц сайтов с корректным ответом на запросы пользователей поисковика. Он происходит не в интернете, а в заранее сформированной базе.
К примеру, в Яндексе веб-документы, успешно прошедшие индексирование, разделяют на отдельные смысловые кластеры. Получается, что в момент, когда посетитель набирает поисковый запрос, система моментально ищет нужную информацию в конкретном кластере. далее она ранжируется (сортируется по важности) согласно заданным алгоритмам и формируются страницы выдачи, первая из которых – ТОП-10. На то какое место занимает конкретный сайт в выдаче, влияет то, насколько грамотно проведена внешняя и внутренняя оптимизация страницы под ключевые слова.
Для попадания на верхние строчки в выдаче необходимо, чтобы сайт присутствовал в индексе у целевых поисковиков. А попасть туда действительно важно, так как первые 10 ссылок собирают 95% поискового трафика.
Содержание
Как выполняется индексация
Процесс выполняется автоматически при помощи специально разработанных роботов, которых называют пауками либо краулерами. Создано несколько десятков подобных программ для разных целей, подробный перечень представлен в Яндекс. Проанализировав этот список, можно классифицировать всех роботов по назначению:
Работа пауков происходит по следующему алгоритму:
Сколько времени занимает попадание в Индекс
Время, за которое конкретный URL-адрес появляется в Индексе, зависит от ряда факторов. Ключевое значение имеет периодичность добавления изменений на нем. Индексация новостных порталов, форумов проводится за несколько минут, для них предназначены специальные быстроботы, которые реагируют на ежеминутные изменения. Если информация редко обновляется, а новые материалы практически не публикуются, то частота просмотра ботами снижается. Отсюда рекомендация оптимизаторов регулярно добавлять новые статьи и новости на продвигаемые сайты.
Как ускорить индексацию сайта в Яндекс и Google
Любой веб-сайт рано или поздно попадает в базу данных, но без грамотного подхода на это уходит достаточно длительное время. Избежать этого получится, если следовать этим правилам.
Добавить сайт в панели вебмастеров: «Яндекс.Вебмастер» и Google Search Console
Регистрация в сервисе от Yandex занимает несколько минут. Действуйте согласно инструкции:
Чтобы повысить точность данных, установите «Яндекс.Метрику» и привяжите её аккаунту Вебмастера. Данные, оказавшиеся в метрике, используются поисковым пауком.
Через Вебмастер получится проверить индексацию отдельных разделов. Перейдите на вкладку «Индексирование» и найдите пункт «Проверить статус URL».
Добавление веб-страниц в Google Search Console также занимает всего несколько минут и происходит по следующей схеме:
Программы от этих поисковиков схожи по многим параметрам. Оба сервиса предоставляют пользователям доступ к отчетам о текущем состоянии индексирования. С их помощью легко отследить, какие разделы добавлены поисковиком, увидеть обнаруженные на сайте ошибке, получить рекомендации по доработкам.
Создать файл robots.txt
Поисковик даёт рекомендации:
С помощью robots.txt можно закрыть сайт от индексирования Google и открыть его только для Яндекса. Это выполняется двумя способами. Добавьте следующие правила:
Если надо распространить для всех ПС, в «User-agent» вместо поисковика, добавляют символ «*». Подробнее про настройку файла robots.txt.
Также запрет на индексацию страниц сайта реализуется с помощью мета-тегов. На странице, которую нельзя индексировать требуется прописать тег:
Создать файл sitemap.xml
Создание карты XML предусматривают все популярные CMS. Если сайт работает без движка, сделайте карту при помощи сервисов Gensitemap и XML-Sitemaps, но бесплатно можно добавить не более 1000 страниц.
Чтобы sitemap.xml действительно ускорил проверку, нужно следовать следующим правилам:
Создать HTML-карту
Ссылки на карту встречаются в подвале сайта, то есть в самом нижнем блоке, расположенным под основным контентом. Грамотно разработанная HTML-карта способствует повышению скорости сканирования ресурса поисковыми роботами и помогает им ориентироваться.
Создать понятную многоуровневую структуру
Продуманная структура также способствует повышению скорости индексирования. Чтобы она действительно помогла снизить время проверки, нужно при разработке учитывать требования ПС:
При этом стоит учитывать, что ее разработка во многом зависит от формата веб-ресурса: структуры лендинга или сайта-визитки отличаются от интернет-магазина или тематического форума.
Оптимизировать скорость загрузки
Чтобы ускорить загрузку, надо:
Определить скорость загрузки получится при помощи бесплатных сервисов. Для этих целей разработаны tools.pingdom.com и gtmetrix.com.
Создать внутреннюю перелинковку
Желательно, чтобы в отдельных разделах присутствовали ссылки на другие страницы. Если ведется перелинковка в интернет-магазине, добавьте ссылки на аналогичные и сопутствующие товары. Например, при публикации содержательных статей можно ссылаться на дополняющие материалы, опубликованные ранее, а также сделать рубрику с ссылками «Также полезно знать».
Как подобрать материал, в который может добавить ссылку на новый? Для этого используется поисковик и особый тип запроса «ключевое слово site:domen.ru», например, для это статьи можно подобрать следующие страницы для перелинковки:
Внешние сигналы
Сделайте репост опубликованного материала в социальные сети (например, личные страницы или сообщества в Facebook и ВКонтакте), добавьте ссылки на тематические форумы, доски объявлений и другие сторонние ресурсы (партнерские или спонсорские). Это позволяет поисковым краулерам быстрее обнаружить страницу. Видя, что ей поделились, он считает информацию, размещенную там полезной для пользователей, что ускоряет анализ содержимого.
Проверка индексации сайта в поисковых системах
Проверить, проиндексирован ли веб-адрес, можно несколькими способами, как через поисковики, так и с помощью сторонних сервисов.
Специальные операторы
Число проиндексированных разделов через ПС получится проверить с помощью специального оператора «site:domen.ru». Для этого нужно после него в строке добавить адрес веб-ресурса. Примерное количество указано в верхней части поисковой выдачи.
«Нашлось 640 результатов», говорит о том, что в индексе поисковика 640 страниц с этого сайта.
Фраза «Результатов: примерно 603» указывает на 603 проиндексированные страницы сайта студии.
Если результаты в разных ПС сильно отличаются, это говорит, о том, что есть проблемы в обнаружении страниц роботами сайтам или других проблемах. Посмотрите на ошибки, которые указаны в сервисах для Вебмастеров.
Сервисы для вебмастеров
Если вы пользуетесь Google Search Console, выберите ресурс, информацию о котором хотите посмотреть, и в блоке «Индекс», кликните на «Покрытие». Так вы увидите, какие страницы попали в индекс Гугла, а на каких страницах обнаружены проблемы.
При работе с панелью для вебмастеров от Yandex надо открыть меню «Индексирование сайта» и перейти во вкладку «Страницы в поиске».
Такой метод позволяет увидеть, сколько URL-адресов попало в индекс, и отследить динамику.
Сторонние сервисы
Выполнить проверку получится бесплатно с помощью сторонних сервисов. Для этого подходят инструменты от pr-cy.ru. Чтобы просмотреть данные об индексации, нужно указать ссылку в свободную строку и нажать «Проверить». После этого на экране появится информация о попадании в индекс, трафике, последних событиях. Ресурс показывает количество ошибок и успешных текстов.
Аналогично работают инструменты от be1.ru. Указав адрес и нажав на кнопку «Анализировать», пользователь переходит к ключевым показателям. Здесь также легко просмотреть, адаптирован ли сервис под использование на мобильных устройствах, какова скорость загрузки и динамика посещаемости.
Видеоролик про проверку и ускорению индексации
В обучающем видеоролике, который специалисты студии подготовили для SEO-марафона, идет речь про поисковую индексацию. В нем мы рассказываем, что это такое, почему она важна для SEO, а также как и где проверять индексацию сайта. Даем рекомендации по ускорению индексации страниц поисковиками.
Резюме
Исходя из этой информации, становится понятно, что индексация важна при продвижении в интернете. Если результаты Гугл и Яндекс отличаются в десятки раз, это говорит об ошибке. Из-за них роботам труднее выполнять проверку, частота которых снижается. Если в базу данных не внесена ни одна из страниц или только несколько из них, это также сигнализирует о возможных санкциях со стороны ПС. Эффективное продвижение возможно только при постоянном контроле индексации сайта и исправлении ошибок, которые усложняют доступ роботов к страницам и содержанию.
Индексирование в поисковиках: что это такое и как работает
В тени остается сам процесс индексации, его алгоритмы и механизмы. Есть ли там что-то интересное и полезное для нас? Да, есть, и немало! Сегодня остановимся на процессе индексирования. Узнаем, что это такое, как происходит, а также поймем, можно ли повлиять на скорость добавления новых страниц в Google и «Яндекс».
В чем разница между индексированием и ранжированием
Начинающие вебмастера и оптимизаторы часто путают индексирование с ранжированием. Эти понятия взаимосвязаны, но обозначают разные явления и процессы.
Ранжирование – конечная сортировка сайтов, которые находятся в выдаче, и присвоение им определенных позиций или рангов. Конкретный ранг может быть дан определенной странице, когда она окажется в индексе, и только в тот момент, когда пользователь осуществит поиск по какой-то фразе. Такой порядок внедрен, чтобы обеспечить наличие максимально релевантных страниц в результатах поиска.
Индексирование – процесс добавления (обновления) данных о странице.
Как работает индексирование
Индексирование происходит благодаря краулеру: он обходит страницы всех сайтов в интернете и отправляет получаемую информацию в базу данных поисковой системы. Она и называется индексом. В дальнейшем собранные данные задействуются по-разному. Частично – для выстраивания ранжирования и формирования максимально релевантных поисковой фразе результатов поиска. Частично – для иных, например, служебных целей.
Поисковик может использовать данные только с тех страниц, которые уже были проиндексированы им. Пока первичная индексация не состоялась, его не будет существовать для Google. Зато после Google быстро найдет любую информацию в своих базах данных, и поиск по нескольким миллионам страниц займет считанные миллисекунды.
Стоит отметить, что, даже если краулер уже «обошел» страницу, это не гарантия того, что она мгновенно или вообще когда-либо попадет в поисковую выдачу. Да, краулер обходит абсолютно все страницы, но в SERP попадают только страницы с полезным и уникальным контентом.
Тяжело создавать контент, который удовлетворит не только запросы поисковиков, но и пользователей? Обращайтесь за помощью в «Текстерру».
Обмануть поисковую систему точно не удастся, а если и удастся, то ненадолго: для распознавания некачественного контента у Google есть собственные наработки, защищенные патентами.
Индекс E-A-T, рейтинг Page Quality и алгоритм BERT – все эти разработки позволяют точно определять полезность контента на странице и автоматически распознать его качество. В их основе лежит взаимодействие машинного обучения и других разработок Google, связанных с оценкой пользовательского опыта.
Что представляет из себя индекс Google
Как мы уже выяснили выше, индекс – это большая база данных, которая состоит из нескольких ключевых разделов. Углубляться в них не буду – это не так важно. Скажу лишь, что в этой базе данных имеются сведения о нескольких миллионах страниц. При сканировании краулеры «ощупывают» не только видимую посетителю текстовую информацию страницы, но и другие данные: атрибуты документа, информацию из тегов (alt, title, description), другие технические данные.
Как выглядит индекс Google
Google использует так называемый инвертированный (преобразованный в противоположную сторону) индекс. Условно, краулеры сперва проверяют код ответа сервера, затем – данные из хед и данные по индексации. Только после всех этих технических проверок следует проверка текста. Схематично инвертированный индекс выглядит следующим образом:
Как создается индекс Google: все этапы
Если представить формирование индекса поэтапно, он будет включать в себя четыре стадии.
Краулеры могут сформировать и более сложную запись, но ее скелет все равно будет иметь в основе нарисованную выше схему.
Можно ли ускорить индексирование новых страниц
Можно, но не прямым образом. Если страница долго не появляется в результатах поиска, нужно убедиться, что она не закрыта для краулеров.
Для этого открываем системный файл robots.txt (он находится в корневой директории). Допустим, для сайта mirdostupa.ru файл robots.txt будет находиться по адресу mirdostupa.ru/robots.txt. Проверяем наличие запрещающего тега для интересующего URL. Выглядеть он может так:
Чтобы проверить состояние страницы в Google, открываем инструменты вебмастера:
При необходимости здесь же запрашиваем повторное индексирование (если страница так и не попала в индекс).
Чтобы добавить новую страницу в «Яндекс», можно воспользоваться служебным инструментом «Переобход страниц», который присутствует в «Яндекс.Вебмастере», но такое добавление не гарантирует попадание в индекс:
Чтобы новые страницы индексировались быстро и без проблем, необходимо следить за качеством контента. Естественно, в Google и «Яндекс» не будут попадать мусорные страницы, содержащие только поисковый спам и SEO-оптимизацию. Все элементы страницы должны находиться на своих местах, включая теги, картинки, названия и описания.
Как закрыть страницу сайта от индексации / удалить ее из Google
Хотите скрыть определенную страницу от краулеров (например, технические страницы или страницы с данными пользователей, включая конфиденциальную информацию)? Для этого есть три способа: использование тега robots, добавление запрещающей директивы в системный файл robots.txt, использование инструментов Google и «Яндекса». Рассмотрим все три способа подробнее.
Чтобы закрыть страницу от индексации при помощи мета-тега Robots, достаточно добавить в заголовок страницы ( ) следующий код:
Теперь о запрещающей директиве в robots.txt.
В этом файле прописываются наши «пожелания» для поисковых ботов, но исполнять их будут на свое усмотрение. Чтобы «попросить» краулера не обходить страницу, достаточно добавить в robots следующую запись:
Теперь об инструментах вебмастера. Открываем «Инструмент удаления URL», выбираем домен и пункт «Создать запрос». указываем ссылку и выбираем пункт «Удаление страниц». Далее следуем подсказкам инструмента, чтобы удалить URL из результатов поиска. После завершения отправки данных страницы будут удалены из индекса Google через некоторое время.
Как удалить страницу из результатов поиска «Яндекса»
Для удаления конкретной страницы из результатов поиска проще всего воспользоваться инструментом «Удалить URL». Запретить индексацию можно директивой Disallow, которую нужно добавить в уже знакомый нам системный файл robots.txt:
Disallow: /вставить_URL #
Как узнать, проиндексирована ли страница
Проверить состояние страницы в индексе поисковых систем можно несколькими способами. Самый простой заключается в ручном вводе URL страницы в строку поиска Google / «Яндекса». Если страница уже попала в индекс, она будет отображаться в результатах поиска. Если нет, совпадений, соответственно, не будет.
Как увидеть все страницы сайта, которые находятся в индексе
Для этого в поисковой строке вводим оператор вида site:вставитьвашсайт.ru, например: site:texterra.ru. В результатах поиска мы увидим все страницы, которые сейчас находятся в индексе Google:
Увидеть количество проиндексированных страниц можно также в Google Search Console. Открываем раздел «Индекс» и выбираем пункт «Покрытие». Здесь отобразится общее количество проиндексированных страниц:
Кроме этого, узнать, сколько страниц находится в индексе «Яндекса» и Google, можно при помощи сервиса xseo. Пользоваться им просто: достаточно указать домен и выбрать пункт «Проверить»:
Почему проиндексированная страница может покинуть SERP
Причин выпадения из индекса довольно много. Я перечислю самые распространенные, с которыми сам регулярно сталкиваюсь:
Послесловие
Индексирование – важнейший этап сбора данных о сайтах в интернете. Без индексации новые веб-страницы никогда бы не попали в поисковые системы. Повлиять на индексирование можно лишь непрямым образом: если мы указываем какие-либо команды в robots.txt, то мы даем краулерам лишь рекомендации.
Стоит отметить, что большие поисковые системы эти рекомендации соблюдают беспрекословно. Если ваши страницы преимущественно проиндексированы, но на поиске сайт почти невидим, значит, следует работать над качеством контента.
Проиндексируются все страницы, но бесполезный контент и поисковый спам никогда не будут ранжироваться наравне с качественными сайтами в результатах поиска.
Индексация сайта: принципы работы, советы, секреты
Сегодня рассмотрим подробно самый важный процесс, без которого остальные процессы SEO-продвижения не работают. Мы поговорим об индексации, принципах её работы, важности, отличиях в Google и Яндекс. Также расскажем, как проиндексировать сайт любого размера и улучшить его качество.
Индексация сайта и почему она так важна
Как работает поисковая система?
Чтобы понять, что такое индексация, нужно сначала разобраться, как работают поисковые системы и почему их можно считать библиотеками Интернета.
Поисковая система — это множество серверов, на которых хранятся структурированные данные о миллионах, а возможно и миллиардах документов в Интернете. То есть когда мы запрашиваем какую-либо информацию в Google или Яндексе, мы ищем не по самому интернету, а по их поисковой базе.
Чтобы документ попал в эту базу, он должен быть известен поисковому роботу (краулер — от англ. crawler, бот, паук). Робот узнаёт о новых сайтах и страницах следующими способами:
Когда поисковой робот узнал о новом документе, он заносит его в расписание проверок и затем, если документ доступен для обхода, робот выкачивает преимущественно текстовую информацию (этот процесс ещё называют краулингом) и передаёт индексирующему роботу. После этого документ, сайт или страница могут участвовать в поиске.
Почему мы говорим о документе? Потому что робот умеет индексировать не только HTML-страницы, но и другие форматы (справка Яндекса и Google).
Что такое индексация?
Попробуем дать собственное определение этому понятию. Индексация сайта — это процесс получения, обработки, структуризации и хранения преимущественно текстовой информации о страницах сайта в поисковой базе. О получении этой информации мы уже рассказали. Под обработкой подразумеваем, что информация каждой страницы собрана и очищена от лишнего (картинки и графика, HTML-теги и т.д.). Но важнее всего остановиться на структуризации данных.
Вся полученная текстовая информация делится на отдельные слова, которые группируются в алфавитном порядке. Эти слова приводятся к их начальной форме. Алгоритмы каждой поисковой системы разнятся, поэтому мы не можем точно знать обо всех тонкостях процесса, но сам процесс называется машинной морфологией. К начальным формам слов робот добавляет адрес страницы и количество упоминаний на ней.
Почему так важна индексация?
Ответ прост: чем больше ваших страниц в поисковой базе (проиндексированы), тем больше возможностей для показа в поисковой выдаче. Выражаясь ещё проще, если вы в базе, вас могут найти.
Конечно, всё, что мы здесь описали, значительно упрощено для понимания, а некоторые тонкости и нюансы опущены. Например, логичен вопрос: вы говорите о возможностях, но не говорите о гарантиях показа. Дело в том, что индексация не гарантирует показ страниц вашего сайта, ведь после неё каждый раз включается процесс ранжирования документов по каждому отдельному запросу.
Ранжирование — это распределение страниц, имеющихся в поисковой базе, в порядке приоритета и релевантности для запросов пользователей. Если проще, то документы ваших конкурентов могут быть качественнее и релевантнее (более подходящими) по мнению поисковой системы, чем ваши. Поэтому даже если страницы вашего сайта будут находиться в индексе, не факт, что они будут показываться в поиске. А если и будут, то нет гарантий, что на 1–2 странице.
Тезис: чем больше страниц сайта проиндексированы, тем больше шансов получить трафик.
Что может мешать индексации?
Самая главная причина — робот не знает о наличии страницы либо сайта. Как мы обозначили выше, у краулера ограничены способы нахождения новых страниц. Учитывайте это и используйте все доступные меры:
Помешать индексации могут следующие причины:
Нюанс №1: для Яндекс robots.txt — важный документ, а для Google рекомендательный. То есть, если робот сочтёт страницу полезной для пользователей, он будет игнорировать запреты в файле. Для запрета индексации страницы в Гугле лучше использовать метатег robots или HTTP-заголовок X-Robots-Tag.
Нюанс №2: 3xx-редирект и атрибут rel=canonical не запрещают индексацию страницы напрямую, но указывают, что она вторична, в отличие от страницы редиректа или канонической.
Нюанс №3: указание канонической страницы не всегда спасает владельца сайта, так как Google может по своему усмотрению выбирать канонические страницы и игнорировать атрибут rel=canonical.
Краулинговый бюджет
Количество новых документов в Интернете постоянно растёт, а технологические мощности поисковых гигантов всё же ограничены. Поэтому робот решает, сколько страниц одного сайта будет индексировать за раз. Это и называют краулинговым бюджетом.
Он зависит от количества и качества страниц, частоты их обновления, типа самого сайта (маркетплейс, новостник, небольшой сайт), популярности и авторитетности ресурса. Важно отметить, что краулинговый бюджет — это не постоянная величина, и он может изменяться.
Напрямую управлять как индексированием, так и бюджетом сканирования вы не можете, но способствовать этим процессам точно можно. Об этом подробнее поговорим в разделе «Как управлять индексацией».
Индексация сайта в Google и Яндекс
Принципы индексации у этих поисковых систем преимущественно одинаковые: краулинг → очистка → индексация → ранжирование. Но различия можно найти, поэтому расскажем о тех, которые известны.
Индексация в Google
Самое главное отличие — Google лучше ориентируется в англоязычном сегменте, то есть лучше воспринимает текст и запрос пользователя на английском. Разница на момент 2020, думается, незначительная, но учитывать стоит.
У Гугла 2 основных типа роботов: для мобильных сайтов и для десктопных. Новые сайты индексируются мобильными роботами и приоритет отдан мобильным версиям сайта, согласно алгоритму mobile-first индекс.
Скорость индексации обычно выше, чем у Яндекса: на 1 страницу уходит неделя или меньше. Индекс обновляется постоянно, а некачественные страницы не удаляются из него, но при этом и не показываются пользователям.
Индексация в Яндексе
У Яндекса тоже 2 типа роботов: основной и быстрый (Orange). Основной робот занимается индексацией всего интернета, а быстрый отвечает за поиск самых свежих документов, чтобы информация была доступна как можно быстрее (от нескольких минут до пары секунд).
Обновление индекса происходит раз в несколько дней ночью, когда нагрузки на серверы меньше. Процесс индексирования сайта обычно занимает от недели до месяца, а некачественные страницы удаляются из индекса.
Как проверить индексацию?
Уточним сразу пару моментов. Индексацию нужно проверять как в Google, так и в Яндексе. Более того, вы должны знать изначальное количество страниц на сайте. Это можно сделать с помощью краулеров типа Xenu, Screaming Frog, Netpeak Spider и других.
Как проверить индексацию:
Индексация сайта в поиске
Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.
Как ускорить индексацию?
Мы писали выше, что управлять индексацией, что бы кто не говорил, вы не можете. Но повлиять на процесс или даже ускорить возможно.
Советы по ускорению индексации
Как запретить индексацию?
Выше мы рассмотрели основные способы, как ускорить индексацию, и рассказали, что такое краулинговый бюджет и почему он ограничен для каждого сайта. Поэтому чтобы его не тратить зря, советуем закрывать от индексации служебные и технические страницы, кабинеты пользователей и конфиденциальную информацию, а также страницы в разработке и дубли.
3 основных способа запретить индексацию:
Индексация многостраничных сайтов
Отдельным столпом стоит работа с краулинговым бюджетом для многостраничных сайтов: маркетплейсы, агрегаторы, интернет-магазины, новостники, форумы и другие. Скажем по секрету, что владельцам небольших сайтов (до 1000 страниц) о бюджете краулинга можно волноваться меньше. А вот владельцам многостраничников придётся нелегко.
Как улучшить индексацию многостраничного сайта:
Эта статья уже проиндексирована
Надеемся, что материал получился максимально полезным и интересным, а мы ответили на все вопросы, касающиеся индексации. Тема сложная, и сразу во всём не разобраться, но уверяем, что, если последуете нашим советам, вы только улучшите свой сайт и его качество.
Если всё-таки вопросы остались, задавайте их нам!