Главная / Поисковые системы / Как сделать индексацию сайта в поисковиках

Как сделать индексацию сайта в поисковиках

Проверка индексации сайта в Google и в ЯндексеДобрый день, уважаемый читатель. В этой статье Вы узнаете, что такое индексация сайта в поисковых системах, как можно проверить индексацию страниц в Яндексе и  Гугле, как ее ускорить. Поймете важность этого процесса, увидите на разных примерах несколько вариантов определения документов Вашего блога.

Внимание уделяю часто используемым вариантам проверки индексации, которые не требуют денежных затрат (платные seo-сервисы).

Что такое индексация сайта в поисковых системах

Перед тем, как мы поговорим о различных службах и сервисах проверки проиндексированных страниц в Яндексе и Гугле, предлагаю вспомнить определение самой индексации.

Каждый сайт, блог, портал в Интернете состоит из страниц (их также называют документами веб-ресурса). Между страницами есть связи, называемые внутренними ссылками (отсюда и идет понятие внутренней перелинковки сайта).

Чтобы сайт был виден пользователям поисковой системы, он сначала должен сам стать известным поисковику. Для этого у поисковой системы есть определенная процедура изучения страниц неизвестного ресурса с помощью специального алгоритма, называемым «поисковым роботом» (еще его называют «пауком»):

Индексация сайта в поисковых системах - схема индексирования поисковым роботом страниц

На этом рисунке показан процесс индексирования сайта поисковым роботом (по-другому его называют также «индексацией» ). Он состоит из 3-х этапов.

1Сначала паук подходит к каждой странице проекта и сканирует ее содержимое. Он собирает по определенным правилам все слова на странице, запоминает из расположение, фиксирует служебные теги и т.д.

2Получив слова (не буквы, не предложения!) и место их расположения на странице, робот с помощью алгоритма ранжирования начинает оценивать собранный материал документов.

Так как данных о поведенческих и о ссылочных факторах ранжирования пока нет у робота, он оценивает документы только по текстовым факторам.

Для этого он из собранных слов получает словосочетания и уже их сравнивает с известными ему поисковыми фразами из известной ему базы данных запросов (у каждого поисковика он свой  — например, у Яндекса это Вордстат.)

Затем по каждому запросу оценивается эффективность контента (текста) и дается оценка ранжирования. Если она достаточно высокая, то только что проиндексированная страница по проверяемому запросу может сразу попасть в выдачу (показатель этого явления — наличие времени появления документа в выдаче в виде количества часов или слова «вчера»):

Результат индексации страницы только по текстовым факторам ранжирования

3Оценив по текстовым факторам ранжирования новый / измененный документ, робот отправляет его в специальную базу данных. Она называется индексом поисковой системы и содержит все страницы тех сайтов, до которых добрался «паук».

Попадание в базу данных — это еще не гарантия, что страница появится в поиске и ее увидит пользователь поисковой системы. Она должна быть выбрана поисковиком из множества других страниц по той же тематике (это страницы тоже котируются по тем же запросам).

Именно поэтому в результатах проверки при использовании инструмента «Проверить статус URL» дается информация и по наличию страницы в индексе, и по ее присутствии в поисковой выдаче (по-другому в «поисковом индексе»):

Статус индексации станицы в основном и поисковом индексе Яндекса

Итак, любая поисковая система работает только с теми документами, которые просмотрены ее роботом и занесены в базу данных (проиндексированы). Поэтому правильное понимание работы этого процесса — это одно из главных условий успешного и правильного продвижения любого сайта в Яндексе и Гугле.

Соответственно, нужно уметь проверять индексацию сайта в поисковых системах. Это можно сделать разными способами. Рассмотрим их подробнее.

Проверка индексации сайта в поисковиках

На сегодняшний момент (май, 2020 года) самыми популярными поисковыми системами являются Яндекс и Google. Посмотрим, как можно сделать индексацию сайта в этих поисковиках.

Индексация сайта в Яндексе

С помощью оператора site и host

Для того, чтобы узнать наличие страниц в русском поисковике, существует несколько операторов.

Оператор site находит все страницы Вашего сайта в базе данных Яндекса:

Проверка индексации сайта в Яндексе с помощью оператора site

а host дает информацию по индексированным документам с доменов и поддоменов сайта:

Проверка индексации сайта в Яндексе с помощью оператора host

Теперь давайте посмотрим, сколько покажет нам количество проиндексированных страниц оператор host для моего сайта не по главному зеркалу (с www, к примеру). Результат конечно будет предсказуемым:

Данные по индексированию в Яндексе с оператором host

Если же проделать ту же схему, но для оператора site, то число страниц в индексе не по главному зеркалу моего сайта не измениться — останется 338:

Данные по индексированию в Яндексе с оператором site не главного зеркала

Это потому, что как я и говорил, site находит все документы сайта, а host — домена. Поэтому дам Вам такой совет — если хотите быстро оценить число страниц любого веб-ресурса в базе данных Яндекса, используйте оператор site (в строку запроса можно вводить адрес сайт с или без www — результат будет одним и тем же).

Если же Вам нужно знать точное число страниц в индексе любого домена, используйте следующее сочетание операторов (вместо адреса моего сайта в примере ставите нужный адрес домена):

Универсальный вариант для получения данных по индексации страниц сайта в Яндексе

Для проверки индексации конкретной страницы используем оператор site с добавлением адреса проверяемого документа.

Здесь компановка запроса в поисковую стоку следующая: оператор site, знак двоеточия и сразу (без пробела!) адрес страницы, которую нужно проверить:

Проверка индексации страницы сайта в Яндексе с помощью оператора site

Использование оператора site для поиска доноров для перелинковки

Чтобы сделать эффективную перелинковку для конкретной страницы, необходимо знать адреса документов, на которых будет проставляться внутренняя ссылка.

Есть разные варианты решения этой задачи. Самый простой и самый надежный  — это использование оператора site в связке с поисковым запросом и урлом сайта.

Об этом способе поиска доноров для внутренней перелинковки я подробно описал в этой статье (и показал на видео). Рекомендую!

С помощью функционала Яндекс Вебмастера

Для проверки индексации своего сайта Яндекс в своем вебмастере предлагает своим пользователям специальный инструмент. Называется он «Проверить статус URL»:

Инструмент проверки индексации сайта в Яндекс вебмастере

Здесь мы указываем адрес проверяемой страницы и жмем кнопку проверки. В итоге получаем следующую информацию:

Результат проверки индексации страницы своего сайта в Яндекс вебмастере

Как я уже описывал в этой статье выше, Яндекс в отчете проверки показывает наличие страницы в общей базе данных (статус «страница проиндексирована») и присутствие ее в поисковом индексе (статус «присутствует в поиске»).

Если же у документа нашего сайта есть те или иные проблемы индексации, то мы можем получить такие варианты проверки:

Варианты проверки индексации страниц в Яндекс вебмастере

Разберем подробнее, что каждый вариант нам показывает:

  • 1 — со страницей все отлично, она и в индексе и в поиске.
  • 2 — документ включен в базу данных Яндекса, но в поисковой выдаче его нет.
  • 3 — страница вообще не проиндексирована (и соответственно не оценивалась для попадания в поисковый индекс).

Чтобы решить проблему из 2-го варианта, необходимо проанализировать контент этой станицы, сравнить с конкурентными в топ-10 документами и затем сделать корректировку.

А потом дождаться, пока страница снова проиндексируется роботом и позже опять использовать этот инструмент для проверки индексации.

В каких случаях инструмент «Проверить статус URL» не поможет

Если мы проверяем страницу чужого сайта, для которого у нас нет прав в Яндексе, мы получим такое сообщение:

Понятное дело, получить статус индексации в этом случае мы не сможем.

Если же мы проверяем документ другого сайта, права на которые у нас есть, то Яндекс вебмастер любезно напомнит нам об этом:

Здесь нам нужно будет нажать на кнопку «Проверить» и мы получим информацию о статусе индексации этой нами страницы.

Индексация сайта в гугл

С помощью оператора site

Поисковая система Google обладает только одним оператором для определения проиндексированных страниц. Его название site и он выполняет такую же функцию, как и его коллега в Яндексе — дает полный перечень документов, находящихся в базе данных Гугла. Вот как он выглядит:

Индексация сайта в гугл - проверка с помощью оператора site

 

Здесь мы видим, что результат проверки индексации — 432 страницы. Но принимая эту цифру к сведению, нужно помнить один важный момент.

Поисковая система Google, в отличие от Яндекса, разделяет свою базу данных на основной индекс и дополнительный. В основном содержатся все документы проверяемого сайта, которые поисковик использует для своих результатов выдачи (уходят в поисковую выдачу).

Остальные же документы, которые обычно содержат дублирующие страницы, технические разделы из CMS или не подходящие по ранжированию урлы находятся в дополнительном индексе, который называется Supplemental Results (по сеошному — «сопли»).

Поэтому, оператор site нам показывает все 432 страницы, которые находятся в индексе Гугла.

Для точного определения рабочих проиндексированных страниц своего сайта, которые участвуют при ранжировании, дополнительно используется специальная команда &:

Как проверить индексацию страницы сайта в Google

Как видите, результаты немного отличаются в моем случае — число проиндексированных страниц в основном индексе меньше (387), чем общее число (432). Это говорит о том, что Гугл успел занести в свою базу кучу мусора и дублей. Придется их найти и подчистить.

С помощью функционала Search Console

Аналогично с Яндексом, Google тоже имеет возможность проверки индексации страниц в своей панели инструментов для вебмастера.

Находится данный функционал в самом вверху на любой странице Google Search Console и выглядит следующим образом:

Для поверки индексации нужной нам страницы, вводим ее адрес в правое поле формы данного инструмента и нажимаем кнопку запуска проверки.

Нам сразу показывается старый статус документа (когда был проиндексирован, наличие ошибок и т.д.):

Google Search Console, форма проверки статуса страницы

Смотрим раздел «Покрытие»:

Статус индексирования страницы в Google Search Console

Здесь обращаем внимание на поля «Сканирование» и «Индексирование». Сканирование должно быть разрешенным и успешным, статус индексации — «Проверенный URL».

Если данные устарели или требуется новая проверка, нажимаем кнопку «Запросить индексирование».

Как проверить индексацию сайта другими сервисами

Сервис Серпхант

Многофункциональный, аналитический сервис, позволяющий провести внутренний, постраничный анализ, в том числе и проверить страницы на их проиндексированность.

В платной версии данный инструмент удобен тем, что одновременно можно проверить все страницы сайта, загрузив их путем синхронизации с Вордпресс.

В их арсенале имеется еще бесплатный инструмент, где индексация сайта в Яндексе и Гугле проверяется без регистрации. Он прост в использовании и в день позволяет проверить до 50 страниц.

Сервис Серпхант для проверки индексации страниц

Анализатор сайтов RDS bar

Самый быстрый вариант проверки — использовать seo-плагин Rds Bar.

Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы.

Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта.

Кроме быстрой проверки индексации страниц, плагин Rds Bar позволяет:

  • узнать показатели авторитетности сайта;
  • получить технические данные и теги оптимизацию страниц;
  • оценить показатели seo-продвижения;
  • сделать предварительный анализ веб-проекта.

Более подробно в статье об установке, настройках и практическому использованию Rds bar.

Сервис XSEO

Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google.

Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего сайта:

Проверка индексации страниц сайта в сервисе XSEO

Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».

Сервис PR-CY

Известный аналитический сервис Pr-Cy.ru, имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта.

Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц.

В целом сервис дает похожие показатели индексации страниц моего сайта:

Данные по индексации сайта в Яндексе и Гугле в сервисе PR-CY.ru

Рекомендации по индексации сайта (проверка, анализ)

Одинаковое число проиндексированных страниц в Яндексе и Google

Периодичность проверки индексации страниц

Seo-продвижение напрямую зависит от результатов процесса индексирования. Здесь все просто — если нужные нам целевые страницы не имеют прописки в индексе Яндекса и Гугла, о дальнейшем их попадании в поисковую выдачу нет смысла говорить.

Поэтому необходимо периодически проверять статус страниц, которые мы продвигаем в поиске. Обычно это происходит в процессе проверки видимости сайта. Проверяем позиции, видим наличие целевых документов в поиске.

Например, используя инструментарий сервиса «Топвизор», мы не только видим позиции сайта, но и можем тут же сверить соответствие целевой страницы с той, которая находится в поиске по проверяемому запросу:

Показ релевантной страницы по запросу в сервисе Топвизор

Для постоянной проверки индексированных страниц в Яндексе, рекомендую использовать специальную возможность в вебмастере поисковика. Речь идет об инструменте «мониторинг важных страниц».

Он позволяет отслеживать данные указанных вебмастером страниц (до 100 включительно), среди которых числится статус документа в поиске и наличие индексации в Яндексе:

Перечень параметров, которые отслеживаются в мониторинге Яндекс вебмастера

Сопоставление проиндексированных страниц в Яндексе и Гугле

Проверяя индексацию сайта в Яндексе и Гугл, обязательно стоит сверить число проиндексированных страниц:

Вот какие могут быть различия в полученных данных и возможные причины проблемы индексации (в таблице ниже Я — число проиндексированных станиц в Яндексе, G — в Гугле):

Различия в числе проиндексированных страниц и возможные причины проблемы индексации

Конечно, это не все проблемы несоответствия страниц в индексе Гугла и Яндекса. Могут быть и банальные причины возникшей проблемы (полетел хостинг, залез вирус, на сайт наложены санкции и т.д.).

Но в любом случае, если числа проиндексированных страниц Гугла и Яндекса сильно отличаются друг от друга, пора бить тревогу!

В противном случае потеря поискового трафика не только неизбежна, но и сулит в дальнейшем проблемы с повторной индексацией, когда решится вопрос несоответствия.

Ведь чаще всего бывает так, что один из поисковиков начинает игнорировать страницы сайта из-за наложенных на него санкций или бана. Выползти из этой ситуации очень сложно, поэтому лучше не доводить ситуацию с проблемной индексацией до крайностей.

На этом наш экскурс в тему индексации станиц завершен. Если будут вопросы по этой теме, задавайте в комментариях к этой статье.

С уважением, Ваш Максим Довженко

== Часто задаваемые вопросы по теме (FAQ) ==

Что такое индексация сайта?

Это процесс сбора данных с документов сайта поисковым роботом. Идет в 3 этапа:
1. Робот сканирует станицу сайта, собирает все слова, их местоположение и все теги.
2. Ранжирует полученный документ по текстовым факторам и может сразу отправить страницу в топ.
3. Складирует в базу данных своей поисковой системы (индекс).

Как ускорить индексацию сайта?

Во-первых, уменьшить количество технических ошибок на сайте (дубли и т.д. ).
Во-вторых, улучшить работу хостинга (новый тариф, замена хостера, выделенный сервер).
В-третьих, чаще публиковать новый контент на сайте.

Как долго проходит индексация сайта?

Все зависит от активности сайта в поиске. Чем чаще публикуются свежие материалы на нем, тем быстрее поисковый робот приходит для индексации новых/измененных страниц.

Для чего нужна индексация страниц сайта?

Поисковая система предлагает своим пользователям в выдаче только проиндексированные материалы из сети. Нет индексации — нет поискового трафика (реклама не в счет).

Автор: Максим Довженко

Максим Довженко
Seo-специалист, веб-аналитик, блоггер. Совладелец кулинарного портала и видеоканала "Твой Поваренок". Специалист по работе с информацией, руководитель с 15-ти летним стажем. = Счастливый отец дочки Валерии. = :)

100 комментариев

  1. Аватар

    Привет Макс. Такие классные и нужные темы поднимаешь. Вижу ты с умел все-таки победить дубли, все жду когда поделишься секретом. Видно у меня тот случай, когда их вытащить уже нереально. Вот ссылка на мой «Статус индексирования» http://s1.ipicture.ru/uploads/20130920/7FEV7vgR.jpg

    • Paladin

      Привет, Максим! Согласен с тобой, тема индексации одна из самых актуальных. Без ее понимания можно много дров наломать.
      Вижу, ты прислал свой график. Спасибо. У тебя есть какой-то вопрос по нему?

      • Аватар

        Цитирую «Если желтый график все время стремиться в верх, это говорит о явной проблеме в файле robots.txt. В таком случае стоит внимательно проверить каждую директиву. Возможно найдутся ошибки или придется прописать новые правила для поискового робота.» хочу чтобы ты посмотрел своим профессиональным взглядом мой робот, что в нем не так.

        • Paladin

          Хорошо, Максим. Я собираю материал по следующим постам как раз о robots.txt. Возьму твой файл в пример — будем искать косяки. Не против?

  2. Аватар

    Привет, Максим. У меня этот график такой — удаленных нет, красная линия идет горизонтально, синяя плавными волнами идет вверх, над ней также расположена желтая линия. Это о чем говорит?

    • Paladin

      Василий, пришли мне скриншот, так понятно будет.

        • Paladin

          Василий, посмотри свой скриншот — что то там совсем другое показывается…

          • Paladin

            Привет, Василий!
            Особых причин для беспокойства не вижу. Индексация страниц идет плавно, но вот блокировка мусора идет серьезная — похоже есть возможность зацепить много дублей. Василий, какая у тебя видимость твоего сайта в Яндексе и Гугле? Есть ли разница?

          • Аватар

            Максим, а чем можно проверить видимость сайта?
            По посещаемости с поиска Яндекс — около 70%, Гугл около 20%.

          • Paladin

            Как вариант, можно внести главные поисковые запросы по всем твоим продвигаемым статьям в топ-инспектор (на за это нужно заплатить денюжку) или в мой бесплатный вариант — в специальную таблицу для вычисления видимости сайта. Рекомендую вторую.

  3. Аватар

    Я для просмотра индексации пользуюсь сервисом PR-CY и оператором site. Дальше как то не заморачивалась, мне было достаточно и этих двух помощников.
    Но об альтернативных способах почитала с интересом. Спасибо, Максим, за такой обзор.
    Недавно попробовала установить RDS bar, но меня раздражали указатели на ссылки, так что подключаю его только за надобностью.
    А сервисы, которые ты представил все бесплатные?

    • Paladin

      Все сервисы абсолютно бесплатные, Алена! Нехватало еще платить за то, чтобы проверить индексацию своего сайта. 🙂

  4. Аватар

    Когда надо конкурентов глянуть, смотрю через RDS bar, хотя он привирает частенько, но общая картина ясна. Свою индексацию смотрю в панели Вебмастера.

  5. Аватар

    Здорово. Хороший пост, подробный. Начинающим блогерам и оптимизатором будет хорошей шпаргалкой.

  6. Аватар

    Максим, а у меня почему-то стали выпадать страницы из Яндекса, вообще как-то после переделок он меня разлюбил. А с RDS-баром очень удобно, сначала тоже ссылки раздражали, а теперь привыкла.

    • Paladin

      Добрый день, Ольга! Напишите мне в письме все подробно — будем вместе разбираться.

  7. Аватар

    Максим, а не посмотрите мой график? http://lubimaya-dacha.ru/wp-content/uploads/2013/09/skan.jpg
    Что то у меня голубой и желтый прямо в ногу идут. (:

  8. Аватар

    В статье написано «проиндексировано за все время – это число всех страниц, которые когда-то нашел поисковый робот Гугла. Обычно значения узловых точек этого графика намного больше, чем числа проиндексированных всего документов.» Это про красный график? Просканировано всего?

  9. Аватар

    Максим, у меня наоборот, host:olgushka1971.ru показывает одинаковый результат с оператором site, а host:www.olgushka1971.ru говорит, что ничего не найдено. По XSEO в Гугле 164 страницы, а в Яндексе 91. Где ещё можно проверить?

    • Paladin

      Все правильно, Ольга! Ведь у твоего блога главное зеркало без www. Поэтому при проверке с оператором host (host:www.olgushka1971.ru) показывается 0 страниц.

  10. Аватар
    Елена Олейникова

    А у меня вопрос не по теме, но надеюсь мне простится 🙂
    Давно не заглядывала, все с новым блогом возилась, и, в частности, с кнопками соцсетей. Ну не хотят они у меня скопом устанавливаться и все тут, почему-то у Яндекса, даже если они все в коде прописаны, отражается только часть. Все остальные — в выпадающем списке.
    А у вас так классно все получилось — даже больше кнопок, чем Яндекс в коде пишет. Вручную прописали или как? Поделитесь опытом, тоже хочу такую кучку красивых кнопочек от Яндекса 🙂

    • Paladin

      Добрый день, Елена! Рад Вас видеть на страничках своего блога! 🙂
      Мой ответ очень прост — все кнопки я сделал еще давно с помощью обычной инструкции от Яндекса. И мой шаблон все правильно разместил их. Уверен, что и Вы все делаете правильно, но что-то в Вашем шаблоне не дает нормально им расположиться на странице. Советую обратиться к специалистам или попробовать другой вариант кнопок. А еще, попробуйте кнопки от Яндекса поставить в другом месте страницы.

      • Аватар
        Елена Олейникова

        Спасибо, но все же совет обратиться к специалистам сразу отметаю, я всё должна научиться делать сама! Пусть ошибусь двадцать раз, пусть шишек набью, но всё равно разберусь и сделаю.
        Пошла «доку» читать. Мне, кстати, сын всегда это говорит, а я все надеюсь, что оно как-то само сделается 🙂

        • Paladin

          Сын умница! Дает хорошие советы маме! 🙂

          • Аватар
            Елена Олейникова

            Ага, этот «умница» поступает со мной как с щенком, которого в воду швыряют и смотрят — выплывет или утонет. Пришлось научиться «плавать», ведь блог вести это так интересно, а к специалистам не набегаешься, лучше уж время потратить, да самой научиться.

          • Paladin

            Ну, конечно, когда на камни кидают — это неприятно. Зато так быстрее можно всему научиться и со временем стать крепче духом.

  11. Аватар

    Спасибо за полезную статью. Много узнала нового… Немного расстроилась… Уже почти год сайту, а так мало чего знаю)) Хотя ведь постоянно училась…

    • Paladin

      Не стоит расстраиваться, Лора.Вся наша жизнь — учеба. 🙂

      • Аватар

        Я не расстраиваюсь! Постоянно учусь, но иногда в какой-то момент понимаю, что что-то опять сделала не так. буду разбираться, получила ваши шпаргалки и книгу, буду разбираться. В последнее время посещаемость поисковая растет, что радует, но хочется бОльшего)) Хотела поменять урлы на ЧПУ ( как-то пропустила этот момент в начале создания блога), но на сайте уже более 140 статей… ) Вот буду теперь искать приемлемый выход, чтобы не потерять их в индексе )) так что покой нам только снится!!!

        • Paladin

          Пожелаю Вам удачи в продвижении, Лора! Приятно, когда у человека есть желание идти вперед!

  12. Аватар

    Максим, меня такой вопрос должны ли поисковики индексировать страницы такого типа — vellisa.ru/page/20, это страницы сайта. Может лучше их закрыть от индексации?

    • Paladin

      Привет, Василий! Вопрос наверно не совсем корректный. Он должен звучать так — Нужно ли мне, чтобы поисковики индексировали эти страницы? Ответ — нет, не нужно. Лучше их закрыть от иднексации.

  13. Аватар

    Максим привет, я опять к тебе с вопросами. Так Яндекс меня и не полюбил. Я себе на главную уже и статичный текст повесила. А в Сеокафе мне вот что сказали : «на сайте что-то явно не так, ибо разница проиндексированных страниц разительна (yandex: 132, google: 3680). Возможно причина таится в 8165-ти ссылках с анкором «Ольга Орлова», ведущие на главную страницу сайта?!» И теперь я не знаю, что со всем этим делать. Кстати с наступающим Новым годом, желаю новых успехов в продвижении, здоровья и счастья.

    • Paladin

      Спасибо за поздравление, Ольга!
      Молодцы конечно спецы из Сеокафе… Причем здесь разница в страницах и проблема видимости блога в Яндексе… Разница эта говорит совсем о другом — на блоге имеются дублированные страницы. И не из-за твоих внутренних ссылок, Ольга. Просто нужно из индекса Гугла убрать дубли и все.
      По поводу Яндекса сказать могу следующее — раз страницы в индексе Яндекса есть, а трафик слабый, значит проблема в оптимизации и продвижении. Искать проблему нужно там.

  14. Аватар
    Ксения

    Максим, добрый день. Спасибо за доступную информацию. Не упущу и я возможности задать вопрос.
    http://awesomescreenshot.com/01826tqg66
    Картинка удручающая. Предполагаю, причины: дублирующие страницы и увеличение числа страниц отдающих ошибку 404. Подскажите, что делать с дублирующими страницами, скорее всего это страницы каталога товаров, которые формируются динамически.
    И как убрать из просканированных страницы с 404-й ошибкой (это опять же битые ссылки на товары, которых давно нет).
    Понимаю, вопросов много. Проводите ли вы платные консультации?
    Могу ошибаться в причинах, в яндексе магазин занимает хорошие позиции, по большому числу запросов в топ 1-10. Но гугл пока загадка.

    Заранее спасибо!

    • Paladin

      Добрый день, Ксения! Да, здесь без консультации не обойтись. Мне нужно будет посмотреть Ваш ресурс, сделать быстрый анализ индексирования и тогда найти ответы. Жду от Вас ответ на мою почту (lightmage@yandex.ru)

  15. Аватар

    Привет, Максим! Достаточно важный вопрос — нахождение в основном индексе Гугла, но вот как сформировать для себя список страниц находящихся в «сопле» индексе если их там больше тысячи = 2400 — 975 , т.е. надо вычленить из полного индекса основной индекс. Ну полный я еще могу ориентировочно взять из СитиМап, тогда хотя бы как получить в Exel список основного индекса?

    • Paladin

      Привет, Сергей! Чтобы посмотреть, какие урлы страниц находятся в индексе, достаточно зайти в google.ru и написать такой оператор — site:адрес страницы. Появится список с одним основным адресом. Если будут дубли, то будет еще в выдаче и приписка дополнительного индекса. По приведенной там ссылке переходишь на другую страницу выдачи и смотришь формулировки урла дублей.

      • Аватар

        не понял, ввожу site:medalirus.ru вижу 2400 добавляю /& остается 983, в итоге мне надо увидеть, что пропадает из перечня. Что значит «Если будут дубли, то будет еще в выдаче и приписка дополнительного индекса» нигде такого не нашел, может скрин пришлете 🙁

        • Paladin

          Сергей, я писал не вводить главную страницу сайта, а любую другую.

          • Paladin

            Ну что, Сергей, получилось?

          • Аватар

            Тут совсем другая ситуация, наверно я вопрос не корректно поставил. Дубли мне смотреть не надо. Дублей на сайте практически нет , т.к. почти все страницы я создаю сам вручную от написания УРЛа и до всех тегов, с элементами автоматизации, но все сам. Дубли есть маленько в разделе «новости», там страницы генерируется Битриксом я только формы заполняю — тут все в одной папке и на виду, с этими «соплями» я разберусь. Интересует возможность получить полный список ( около 1500 УРЛ !!!) страниц которые не попали в основной индекс Гугла, чтобы разобраться почему … или это что-то давно удаленное, или страницы-иллюстрации которые априори без текста, или мало там текста и надо добавить чтобы они попали в основной индекс, ЕСЛИ конечно это мне надо. Главное — увидеть, что целевые страниц которые нужны для трафика не находятся в «супле» индексе.

          • Paladin

            Ну и запросы у тебя, Сергей. 🙂 Попробуй поработать с программой NetPeak Spider (http://netpeak.ua/soft/netpeak-spider/). Думаю, она даст тебе некоторые ответы.

          • Аватар

            Максим спасибо за ссылку на программу, только сейчас установил её. Инструмент — супер, запустил и мне уже не до Гугло-индексации (пока) она у меня при первом запуске столько битых ссылок нашла и страниц без тегов, займусь пока ими. Жалко, что не знал раньше про неё.

          • Paladin

            Привет, Сергей! Все когда то приходит и получается. Молодец, что установил!

  16. Аватар

    Спасибо Максим! Запросы предельно скромные, видеть как Гугл ко относится к моим сайтам, верней к их страницам 🙂 🙂 ну и понимать почему ….

  17. Аватар

    А я вот здесь еще проверяю сайт, тоже дает кое-какую информацию о тебе, о конкурентах… http://www.cy-pr.com/

  18. Аватар

    Максим, добрый вечер! Давно не заглядывала к вам, и вот наконец могу поделиться хорошей новостью: неделю назад мой сайт родился! Радоваться бы, развиваться. Но… Очень переживаю по поводу индексации. В Яндексе 1 страница (главная), ну вероятно время не пришло. А вот Гугл ведет себя странно: проиндексировал главную, 1 старую статью (опубликованную до открытия) и 2 новые. Индексировать сайт полностью он не торопится. Ничего не понимаю, что за петрушка творится. Какой срок считается нормальным для полной индексации нового сайта?

    • Paladin

      Поздравляю Вас, Диана! Рождение сайта — это большое событие в жизни любого веб-мастера! Пожелаю Вашему блогу удачи, большого трафика и максимальной конверсии.
      По поводу вопроса — думаю, что пока не стоит думать о плохом. Мой блог Яндекс не индексировал три месяца, Гугл — два. У Вас же в Гугле сейчас есть 5 страниц, в Яндексе — главная. Думаю, все будет хорошо.

  19. Аватар

    Вдобавок обнаружила, что все, кроме перечисленного выше попало в «скрытые результаты» 🙁 Это плохо?

    • Paladin

      Нет, это не страшно.

      • Аватар

        Спасибо, буду ждать, это же ужас как долго! Назрел еще один вопрос насущный, только не нашла, к какой статье его бы задать 🙂 Надо ли обращать внимание на историю домена? Он лучше когда вообще новый или хорошо с историей, но нужна проверка на то, нет ли в бане и т.д. ? Нашла подходящий домен с историей с 2011 по 2013 год, но не понятно почему автор его бросил. Вдруг под фильтром? Причем он был довольно популярен — 5000 в сутки. Автор на мои письма не отвечает (((

        • Paladin

          Конечно надо, Диана! Я с этим столкнулся, когда не шла индексация этого блога. В итоге оказалось, что с таким же доменом (workformation.ru) был подозрительного типа портал. Именно из-за этого Яндекс меня долго игнорировал.
          Поэтому, проверять старый домен перед его приобретением нужно обязательно!

          • Аватар

            Вот я выяснила, что есть история, даже автора нашла. а о репутации сайта ничего узнать так и не смогла. Вроде обычный сайт, даже успешный, но почему-то брошеный… Как проверить, не был ли сайт в бане поскивых систем, если домен свобоный?

          • Paladin

            В истории есть возможность просмотра старых страничек — можно их оценить, что они содержали. Ну и в любом случае, если индексации нормальной нет, стоит писать письмо тому поисковику (где не идет индексация) с объяснением происхождения сайта.

  20. Аватар

    Максим, уже в который раз СПАСИБО большое 🙂 за помощь и добродушие. Разумные ответы на практически жизненно важные вопросы можно получить только на вашем блоге. Настоящая скорая помощь!!! Как вам новое название: Скорая помощь SEO-специалиста :)))

  21. Аватар

    А у меня проблема в панели вебмастеров Google, когда захожу, то ничего видеть не могу, только колесико крутится когда на главную жму и пустая страница. Только когда перехожу на Лаборатория, то могу немного видеть статистику для автора и все.
    Более детальная информация не доступна, где в поддержку писать, я не могу найти. Только в справку могу попасть, но итам все по кругу идет, толку нет.

  22. Аватар

    Никак не могла проверить индексацию по гуглу для своих сайтов megaznaika.com.ua и russian.megaznaika.com.ua. Благодаря вашей статье проблема теперь решена. Огромное спасибо за работу!!!

  23. Аватар

    Очень статья понравилась! Максим, как же вы все хорошо объясняете! По поводу рдс бара… он мне нравится, но пользоваться им не могу. Как только его включаю, меня сразу блокирует яндекс. ((( А так иногда просматриваю данные своего сайта в XSEO

    • Paladin

      Добрый день, Лара! А как это Вас блокирует Яндекс при использовании RDS бара?

      • Аватар

        Если я включу бар, то в поиске яшка блокирует и не дает искать информацию. И на панельке бара, той которая на сайте стоят вопросы, то есть нужно постоянно что-то вводить, но на новой странице нужен и новый ввод.

  24. Аватар

    Нет, не успела даже настроить, а в поиск уже не пускают. ((( Жалко (
    Нам очень жаль, но запросы, поступившие с вашего IP-адреса, похожи на автоматические. По этой причине мы вынуждены временно заблокировать доступ к поиску.

  25. Аватар

    Отключила и сразу поиск заработал.

  26. Аватар

    Проверяю регулярно сайт с помощью Pr-Cy.ru, он почему-то показывает, что Яндекс проиндексировал 0 страниц. Проверила через поисковую строку «site:http://plativseti.net/» выдает 37 страниц. С перепугу даже через аддурилку проверила все страницы, чтобы убедиться, что сайт не под фильтром. Пишет, что урлы проиндексированы. Не пойму в чем дело.

    • Paladin

      Для достоверной проверки всех проиндексированных страниц лучшим источником всегда будет поисковая система. Зашли, например в Яндекс, указали оператор и посмотрели число проиндексированных страниц. А вот в разных сервисах часто возникают различные глюки, которые или дают недостоверную информацию, или откровенно тупят, показывая полный бред.

  27. Аватар

    Чтобы проверить индексацию страницы сайта в Яндексе или Google, воспользуйтесь нашим SEO-инструментом в виде сайта и программы iChecker.biz для массовой проверки индексации URL-s в поисковых системах Яндекс и Google.

  28. Аватар
    Сергей

    Здравствуйте, Максим. Подскажите, при переносе контента с одного (старого) сайта на другой, новый, как объяснить гуглу, что это не копия. Контент будет немного отличаться, домен другой. С яндексом понятно — в роботс старого сайта прописываем хост новый сайт. Гугл игнорирует директиву хост. Как надо сделать?

  29. Аватар

    Если Вы оптимизатор, продвигаете сайт в поисковых системах Яндекс, Google методом покупки тематических SEO-ссылок через ссылочные и статейные биржи SetLinks, Sape, MainLink, LinkFeed, то Вам обязательно необходима проверка индексации страниц, на которых Вы размещаете платные ссылки. В этом Вам поможет сайт и программа iChecker.biz для массовой (пакетной) проверки индексации страниц (URL-s) в поисковых системах Яндекс, Google.

  30. Аватар

    Максим, спасибо за статью!
    Опять в тему как никогда и программка netpeak spider!!!
    Как всегда после хорошей статьи возникают вопросы:

    1. Проверил вышеуказанной программкой ссылки, на главной указывают, что нет тегов DESCRIPTION и KEYWORDS. А куда вставлять эти теги если это не статья, а главная страница?

    2. Что должно индексироваться?
    Как я понимаю только: главная страница, статьи и рубрики, правильно?
    А что делать с архивами, статическими страницами типа КОНТАКТЫ, О ПРОЕКТЕ, КАРТА САЙТА, также вижу в индексе названия с указаниями страниц, например: интерьер /2 страница. Прописать в robots.txt?
    А как именно прописывать для КОНТАКТОВ, КАРТЫ САЙТА, О ПРОЕКТЕ?

    Спасибо!

    • Paladin

      Добрый день, Виталий!
      1. Keywords и Description для главной страницы указываются в общих настройках seo-плагина. В моем случае, в All in One SEO Plugin Options. Кстати, keywords можете не указывать.
      2. Индексироваться будет то, что открыто для доступа роботам поисковых систем. Запрет на определенные страницы указывается в файле robots.txt

  31. Аватар

    Масксим, спасибо за ответ.

    Если открыть все для доступа поисковым роботам, вряд ли видимость сайта в поисковых системах будет 100%. Какие разделы должны быть открыты, при которых видимость сайта может быть 100%, наверное 2-3 отдела не более. Если не секрет, скажите какие разделы у Вас отрыты для индексирования? Ведь у Вас максимальный результат, Браво!!!!!!!!!!!!!!!!!!!

    Спасибо за Ваш опыт и профессиональное знание предмета!

    С уважением,

    Виталий

    • Paladin

      Спасибо за Ваши вопросы, Виталий!
      Про 100% индексацию нужно понимать один важный момент — если открыть доступ роботам ко всему сайту, то не факт, что весь ресурс попадет в базу данных поисковика. Ведь поисковые системы индексируют только те страницы, которые им интересны! А не все, для которых открыт доступ. Поэтому получить 100% — это нужно создать действительно полноценный контент на сайте, сделать код без ошибок и т.д.
      У меня открыты все посты, одиночные страницы, рубрики.

  32. Аватар

    Спасибо, Максим за помощь в понимании это нелёгкого дела.

    Под одиночными страницами Вы имеете в виду статические страницы?

    Много читал про файл robots.txt и видел его десятки разных вариантов, но нужен ли он вообще-то? Я встречал пару раз сайты вообще без этого файла и с 100% видимостью.
    Вот один из таких сайтов: formaonline.com

    Как Вы это можете объяснить? Спасибо!

    • Paladin

      Пожалуйста, Виталий! Да, я имел в виду статические страницы.
      По поводу robots.txt. Он существует для того, чтобы ограничить движение поисковых роботов по сайту. Есть такие документы, наличие которых в индексе не допустимо (с точки зрения поисковой системы, например, дубли и с точки зрения хозяина сайта — например, административные страницы). Если на сайте нет такого файла или он дает доступ ко всем страница сайта, то это получается по следующим вариантам:
      1. доступ сайта открыт для всех, его автору по фигу на сохранение каких-то данных (скорее всего, владелец просто не занимается сайтом);
      2. владелец не знает о пользе данного файла.

  33. Аватар

    Благодарю, Максим, за ответы и помощь в понимании всех тонкостей в данном деле!

    С уважением,

    Виталий

  34. Аватар

    Не могу понять, как использование 2х операторов можно так было растянуть, полезной инфы максимум на 1 абзац. Предложенная информация не дает никакого ответа на возможные проблемы индексации для крупных веб-ресурсов.

    • Paladin

      Перед тем как критиковать кого-то, разберитесь с тем, что видите. Разве тема этого поста — проблемы индексации?

      • Аватар

        Представим, что по тем рамкам у тебя в индексе не 200 страниц, а 200 000.
        Ну, и как будет происходить поиск страниц выпавших из индекса и не проиндексированных? Тема же: проверка индексации, да?
        Наверно, надо писать про срезы по кластерам и методы автоматизации этого процесса, как платными сервисами, так и без их использования?
        А, наверно, в Я.Вебмастере можно выгрузить все урлы страниц в поиске или загруженных роботом? А мб это можно сделать в Google Webmasters? Будем проверять в вебмастере Яши по 1 урлу?
        В общем, я поражаюсь, как можно без конкретики растянуть подобную инфу на столько экранов текста.

        • Paladin

          Юрий, напишите лучше, раз Вы возмущены тем, что я написал слишком просто. Вперед — критиковать каждый может!

          • Аватар

            Без проблем.
            Индексируемая вечная ссылка без редиректов, сеохайда или js с кросспостингом по соцсетям+рсс с закреплением на главной, на первой позиции на 1 неделю — за мой гайд. Разумеется, тематическая.

          • Paladin

            Мне Ваш гайд не нужен, я свои тексты для других пишу, а не для себя. Поэтому, пишите на своем личном сайте (если он у Вас есть).

  35. Аватар

    Отличная статья, много нового узнал

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *