Главная / Поисковые системы / Проверка индексации сайта в Яндексе и в Гугле

Проверка индексации сайта в Яндексе и в Гугле

Проверка индексации сайта в Google и в ЯндексеДобрый день, уважаемый читатель. Продолжим изучать мою книгу о поисковом трафике для блоггера и поговорим сегодня об индексировании ресурса. В этой статье Вы узнаете, как можно быстро и легко проверить индексацию страниц Вашего сайта в Яндексе и в Google с помощью обычных операторов поиска и различных сервисов. Поймете важность этого процесса, увидите на разных примерах несколько вариантов определения документов Вашего блога. Конечно, этот пост имеет практическое значение, но он является первым мануалом для изучения, чтобы в дальнейшем заниматься поисковым продвижением своего веб-ресурса.

[contents h2 h3]

Проверяем наличие сайта в индексе поисковых систем

Перед тем, как мы поговорим о различных службах и сервисах проверки проиндексированных страниц в Яндексе и Гугле, предлагаю вспомнить важность самой базы данных. Дело в том, что любая поисковая система работает только с теми документами, которые просмотрены ее роботом и занесены в базу данных. Эта база называется индексом, а сам процесс сбора всех данных со страниц любого сайта в сети — индексацией. Этот процесс достаточно сложный, но увлекательный и познавательный. И правильное понимание работы этого процесса — это одно из главных условий успешного и правильного продвижения любого блога в Яндексе и Гугле. Поэтому, перед дальнейшим изучением материала этой статьи, рекомендую всем вспомнить суть и важность индексации сайта в поисковиках.

Проверка индексирования страниц сайта в Яндексе и Гугле

Яндекс. Для того, чтобы узнать наличие страниц в русском поисковике, существует несколько операторов. Оператор site находит все страницы Вашего сайта в базе данных Яндекса, а host дает информацию по индексированным документам с доменов и поддоменов сайта. Вот результаты работы оператора site:

Как проверить индексацию страницы сайта в Яндексе

А вот итоговый результат после использования оператора host:

Проверка индексации сайта в яндексе

Теперь давайте посмотрим, сколько покажет нам количество проиндексированных страниц оператор host для моего блога не по главному зеркалу (без www). Результат конечно будет предсказуемым:

Данные по индексированию в Яндексе с оператором host

Если же проделать ту же схему но для оператора site, то число страниц в индексе не по главному зеркалу моего сайта не измениться — останется 206. Это потому, что как я и говорил, site находит все документы сайта, а host — домена. Поэтому дам Вам такой совет — если хотите быстро оценить число страниц любого веб-ресурса в базе данных Яндекса, используйте оператор site (в строку запроса можно вводить адрес сайт с или без www — результат будет одним и тем же). Если же Вм нужно знать точное число страниц в индексе любого домена, используйте следующее сочетание операторов (вместо адреса моего блога в примере ставите нужный адрес домена):

Универсальный вариант для получения данных по индексации страниц сайта в Яндексе

Google. Самая популярная поисковая система обладает одним оператором для определения проиндексированных страниц. Его название site и он выполняет такую же функцию, как и его коллега в Яндексе — дает полный перечень документов, находящихся в базе данных Гугла. Вот как он выглядит:

Проверка индексации сайта в Гугле

К сожалению, этот оператор показывает все страницы, которые находятся в индексе Гугла. Но как Вы знаете, этот поисковик разделяет свою базу данных на основной индекс и дополнительный. В основном содержатся все документы Вашего блога, которые Гугл использует для своих результатов выдачи. Остальные же документы, которые обычно содержат дублирующие страницы, технические разделы из CMS или не подходящие по ранжированию урлы находятся в дополнительном индексе, который называется Supplemental Results (по сеошному — «сопли»). Поэтому, для точного определения рабочих проиндексированных страниц своего блога, которые участвуют при ранжировании, используется специальная команда &:

Как проверить индексацию страницы сайта в Google

Как видите, результаты сильно отличаются в моем случае — число проиндексированных страниц в основном индексе намного меньше, чем общее число. Это говорит о том, что в свое время при первых пробежках поисковым роботом по моему блогу, Гугл успел занести в свою базу кучу мусора и дублей. И перед тем, как я успел это обнаружить, их масса намного превышает реальные страницы моего сайта. Что конечно сказалось на поисковом трафике из Google. Поэтому так важно, перед самым первым запуском своего нового веб-ресурса полностью закрыть в файле robots.txt все ненужные разделы Вашего сайта. Но об этом мы поговорим в другой раз.

Проверка индексации страниц с помощью сервисов

Сервис Серпхант. Многофункциональный, аналитический сервис, позволяющий провести внутренний, постраничный анализ, в том числе и проверить страницы на их проиндексированность.

В платной версии данный инструмент удобен тем, что одновременно можно проверить все страницы сайта, загрузив их путем синхронизации с Вордпресс.

В их арсенале имеется еще бесплатный инструмент, где индексация сайта в Яндексе и Гугле проверяется без регистрации. Он прост в использовании и в день позволяет проверить до 50 страниц.

Сервис Серпхант для проверки индексации страниц

RDS bar. Самый быстрый вариант проверки — использовать один из лучших анализаторов сайтов — Rds bar (пост о том, как его настроить и как им пользоваться). Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы. Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта. В общем, рекомендую, это очень удобно:

Сервис XSEO. Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google. Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего блога:

Проверка индексации страниц сайта в сервисе XSEO

Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».

Сервис PR-CY. Известный аналитический сервис Pr-Cy.ru, имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта. Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц. Вот, к примеру, такова история попадания документов моего блога в базу данных Яндекса:

История индексации страниц моего сайта в Яндексе

Как видно из этого графика, сервис четко показывает число проиндексированных страниц в русском поисковике в течение года. Таким образом можно оценить индексацию любого сайта, особенно, если Вы выбираете хорошего донора для закупки внешних ссылок. Например, в усовершенствованном seo-агрегаторе Seopult Pro, Кстати, на графике хорошо виден скачок числа проиндексированных документов в мае а потом возвращение на предыдущее количество. Это все потому, что в апреле я поменял дизайн своего сайта и у меня поменялась полностью структура страниц. Яндекс достаточно быстро прореагировал, но в свое время поставленный редирект все вернул на место.

С Гуглом история немного другая у меня получилась. Вот график индексации страниц моего блога, начало которого было положено ровно год назад:

История индексации страниц моего сайта в Google

Как видите, рост шел потихоньку, но потом я стал больше писать статей и начал экспериментировать с метками. В итоге пока я их поудалял, Google честно отсканировал все дубли и отправил в свою базу данных. В итоге позиции моего блога упали и до начала июня этого года видимость моего сайта в этом поисковике не достигала и 2-х%. То есть, гугловского трафика на моем блоге просто не существовало. Но как видите, уже на текущий момент число страниц в дополнительном индексе конкретно уменьшилось. И эта тенденция продолжается на текущий момент — все дело в одном моем эксперименте по удалению дублирующих страниц с базы. На данный момент видимость моего блога в Google поднялась до 21%, а материал по эксперименту увеличивается — на будущее заготовил свой пост о работе с дублями и исключению их из индекса Гугла.

Проверка индексации сайта в Яндекс вебмастере и Google Tools

На десерт оставил самые интересные сервисы, которые могут дать полную информацию об индексировании Вашего веб-ресурса. Конечно, я имею в виду панели инструментов для веб-мастеров от Яндекса и Гугла. Только они обладают всеми точными данными о наличии страниц Вашего сайта в их базах данных. Так скажем, обратимся к первоисточнику!

Сервис от Яндекса. Как я уже сказал, это лучший пакет инструментов, который покажет Вам всю информацию об индексировании страниц Вашего сайта (и не только). Им я пользуюсь с самого начала, как только отправил свой блог на съедение русскому поисковику — при регистрации своего сайта. За все время эксплуатации не раз пользовался классными отчетами, которые предоставляет этот сервис.

В этой статье я не буду пояснять все детали отчетов по индексации — они детально расписаны в посте о работе в вебмастере Яндекса. Смотрите раздел «Индексация сайта». Если что-то будет не понятно, в сервисе есть замечательный хелп. На крайний случай, если не разберетесь сами с аналитическими данными отчетов, пишите свои вопросы в комментарии этой статьи.

Сервис от Google. Как и у Яндекса, инструменты вебмастера есть и у Гугла. И все данные в нем дают самую достоверную информацию, так скажем из первых рук. Поэтому, для получения самых точных данных об индексации страниц сайта в этом поисковике, рекомендую использовать подраздел «Статус индексирования» в этом сервисе.

При первом заходе в этот отчет Вы увидите единственный график, где его элементами (отдельные точки на нем) являются общие числа проиндексированных всего страниц сайта в индексе Google. Это количество всех документов, которые находятся в двух индексах — основном и дополнительном.

Но конечно это не вся информация об индексации — для этого нужно нажать кнопку «Расширенные данные» и включить все пустые чек-боксы (поставить галочки). В итоге к первому графику добавляется еще три (картинка кликабельна):

Статсус индексации моегосайта в Гугл вебмастере

Итак, что же показывают эти графики и какую пользу мы можем получить от их показателей:

проиндексировано за все время — это число всех страниц, которые когда-то нашел поисковый робот Гугла. Обычно значения узловых точек этого графика намного больше, чем числа проиндексированных всего документов. Это говорит о том, что кроме периодически появляющихся новых страниц, Google слопал за время скана все бесполезные страницы на Вашем блоге, а также возможно и дубли. Как в моем случае.

заблокировано в файле robots.txt — число запрещенных страниц для индексации, для которых прописаны запрещающие директивы в файле robots.txt. По идее здесь указывается число, которое Гугл не занес в свой индекс из-за запрета. Но на самом деле оно не точное, потому что этот поисковик отлично видит все страницы любого сайта, не отдающие ошибку 404. И даже если по ним прописана директива на запрет сканирования.

удалено — число страниц, удаленных по запросу из результатов поиска.

Как видно из рисунка, каждая точка на любом графике дает всю информацию по четырем показателям за определенный промежуток времени (день — воскресенье, когда обновляются недельные данные в отчетах вебмастера Гугла). Такая информация показана в отдельной табличке с цифрами по каждому графику.

Что можно увидеть в отчете «Статус индексирования»

Во-первых, глядя на полученные данные по графику «заблокировано в файле robots.txt», Вы можете оценить правильно ли работают Ваши запретные директивы. Если желтый график все время стремиться в верх, это говорит о явной проблеме в файле robots.txt. В таком случае стоит внимательно проверить каждую директиву. Возможно найдутся ошибки или придется прописать новые правила для поискового робота.

Во-вторых, при правильно настроенной индексации, число проиндексированных страниц должно все время увеличиваться. Если этого не наблюдается, значит Гугл не правильно собирает с Вашего сайта информацию. Возможно есть ошибки в том же файле robots.txt, появился дублирующийся контент, Гугл стал собирать ненужный мусор из-за несовершенства CMS и т.д. Но вот в моем случае синий график сначала шел рывками, а потом набрав максимум стал в конце июля этого года стремительно снижаться. Это говорит о том, что из индекса стали исчезать дубли (об этом я писал выше).

В-третьих, если в графике проиндексированных страниц есть скачки, которые показывают сильное уменьшение документов в индексе, то значит у Вас проблемы с доступом к веб-ресурсу. Возможно есть перегрузки в работе из-за увеличения скорости загрузки страниц Вашего сайта, или появилось больше страниц с ошибкой 404 (например, при резком изменении структуры) и т.д. В таком случае нужно срочно принимать меры, иначе можно получить массовое падение проиндексированных страниц в Гугле. А это влечет обвалом поискового трафика.

В-четвертых, большое количество дублирующих страниц (огромная разница данных красного и синего графика, если все остальные варианты ошибок исключены) говорит о том, что на Вашем сайте неправильно настроены канонические версии страниц или есть дублирующий контент. Если не принять вовремя необходимые меры, Гугл насобирает огромное число дублей в свой индекс, которые потом очень сложно вытащить назад. Плюс к тому же дублирующие страницы никак не способствуют поднятию видимости сайта, а скорее наоборот — позиции по многим запросам могут просесть.

На этом мой ликбез о том, как самому быстро оценить индексацию страниц своего сайта, считаю завершенным. Как я и говорил, если у Вас есть небольшие вопросы, задавайте их в комментарии. Если для ответа нужен график «Статус индексирования», оставляйте ссылку на скриншот с ним. Если же Ваш вопрос требует пристальное внимание seo-специалиста, то всегда на помощь придут мои консультации.

С уважением, Ваш Максим Довженко

About Максим Довженко

Максим Довженко

Check Also

Причины падения мобильного трафика Яндекса

Добрый день, уважаемый читатель! Уверен, многие владельцы, блоггеры и вебмастера личных блогов, информационных сайтов и …

100 комментариев

  1. Аватар

    Привет Макс. Такие классные и нужные темы поднимаешь. Вижу ты с умел все-таки победить дубли, все жду когда поделишься секретом. Видно у меня тот случай, когда их вытащить уже нереально. Вот ссылка на мой «Статус индексирования» http://s1.ipicture.ru/uploads/20130920/7FEV7vgR.jpg

    • Paladin

      Привет, Максим! Согласен с тобой, тема индексации одна из самых актуальных. Без ее понимания можно много дров наломать.
      Вижу, ты прислал свой график. Спасибо. У тебя есть какой-то вопрос по нему?

      • Аватар

        Цитирую «Если желтый график все время стремиться в верх, это говорит о явной проблеме в файле robots.txt. В таком случае стоит внимательно проверить каждую директиву. Возможно найдутся ошибки или придется прописать новые правила для поискового робота.» хочу чтобы ты посмотрел своим профессиональным взглядом мой робот, что в нем не так.

        • Paladin

          Хорошо, Максим. Я собираю материал по следующим постам как раз о robots.txt. Возьму твой файл в пример — будем искать косяки. Не против?

  2. Аватар

    Привет, Максим. У меня этот график такой — удаленных нет, красная линия идет горизонтально, синяя плавными волнами идет вверх, над ней также расположена желтая линия. Это о чем говорит?

    • Paladin

      Василий, пришли мне скриншот, так понятно будет.

        • Paladin

          Василий, посмотри свой скриншот — что то там совсем другое показывается…

          • Paladin

            Привет, Василий!
            Особых причин для беспокойства не вижу. Индексация страниц идет плавно, но вот блокировка мусора идет серьезная — похоже есть возможность зацепить много дублей. Василий, какая у тебя видимость твоего сайта в Яндексе и Гугле? Есть ли разница?

          • Аватар

            Максим, а чем можно проверить видимость сайта?
            По посещаемости с поиска Яндекс — около 70%, Гугл около 20%.

          • Paladin

            Как вариант, можно внести главные поисковые запросы по всем твоим продвигаемым статьям в топ-инспектор (на за это нужно заплатить денюжку) или в мой бесплатный вариант — в специальную таблицу для вычисления видимости сайта. Рекомендую вторую.

  3. Аватар

    Я для просмотра индексации пользуюсь сервисом PR-CY и оператором site. Дальше как то не заморачивалась, мне было достаточно и этих двух помощников.
    Но об альтернативных способах почитала с интересом. Спасибо, Максим, за такой обзор.
    Недавно попробовала установить RDS bar, но меня раздражали указатели на ссылки, так что подключаю его только за надобностью.
    А сервисы, которые ты представил все бесплатные?

    • Paladin

      Все сервисы абсолютно бесплатные, Алена! Нехватало еще платить за то, чтобы проверить индексацию своего сайта. 🙂

  4. Аватар

    Когда надо конкурентов глянуть, смотрю через RDS bar, хотя он привирает частенько, но общая картина ясна. Свою индексацию смотрю в панели Вебмастера.

  5. Аватар

    Здорово. Хороший пост, подробный. Начинающим блогерам и оптимизатором будет хорошей шпаргалкой.

  6. Аватар

    Максим, а у меня почему-то стали выпадать страницы из Яндекса, вообще как-то после переделок он меня разлюбил. А с RDS-баром очень удобно, сначала тоже ссылки раздражали, а теперь привыкла.

    • Paladin

      Добрый день, Ольга! Напишите мне в письме все подробно — будем вместе разбираться.

  7. Аватар

    Максим, а не посмотрите мой график? http://lubimaya-dacha.ru/wp-content/uploads/2013/09/skan.jpg
    Что то у меня голубой и желтый прямо в ногу идут. (:

  8. Аватар

    В статье написано «проиндексировано за все время – это число всех страниц, которые когда-то нашел поисковый робот Гугла. Обычно значения узловых точек этого графика намного больше, чем числа проиндексированных всего документов.» Это про красный график? Просканировано всего?

  9. Аватар

    Максим, у меня наоборот, host:olgushka1971.ru показывает одинаковый результат с оператором site, а host:www.olgushka1971.ru говорит, что ничего не найдено. По XSEO в Гугле 164 страницы, а в Яндексе 91. Где ещё можно проверить?

    • Paladin

      Все правильно, Ольга! Ведь у твоего блога главное зеркало без www. Поэтому при проверке с оператором host (host:www.olgushka1971.ru) показывается 0 страниц.

  10. Аватар
    Елена Олейникова

    А у меня вопрос не по теме, но надеюсь мне простится 🙂
    Давно не заглядывала, все с новым блогом возилась, и, в частности, с кнопками соцсетей. Ну не хотят они у меня скопом устанавливаться и все тут, почему-то у Яндекса, даже если они все в коде прописаны, отражается только часть. Все остальные — в выпадающем списке.
    А у вас так классно все получилось — даже больше кнопок, чем Яндекс в коде пишет. Вручную прописали или как? Поделитесь опытом, тоже хочу такую кучку красивых кнопочек от Яндекса 🙂

    • Paladin

      Добрый день, Елена! Рад Вас видеть на страничках своего блога! 🙂
      Мой ответ очень прост — все кнопки я сделал еще давно с помощью обычной инструкции от Яндекса. И мой шаблон все правильно разместил их. Уверен, что и Вы все делаете правильно, но что-то в Вашем шаблоне не дает нормально им расположиться на странице. Советую обратиться к специалистам или попробовать другой вариант кнопок. А еще, попробуйте кнопки от Яндекса поставить в другом месте страницы.

      • Аватар
        Елена Олейникова

        Спасибо, но все же совет обратиться к специалистам сразу отметаю, я всё должна научиться делать сама! Пусть ошибусь двадцать раз, пусть шишек набью, но всё равно разберусь и сделаю.
        Пошла «доку» читать. Мне, кстати, сын всегда это говорит, а я все надеюсь, что оно как-то само сделается 🙂

        • Paladin

          Сын умница! Дает хорошие советы маме! 🙂

          • Аватар
            Елена Олейникова

            Ага, этот «умница» поступает со мной как с щенком, которого в воду швыряют и смотрят — выплывет или утонет. Пришлось научиться «плавать», ведь блог вести это так интересно, а к специалистам не набегаешься, лучше уж время потратить, да самой научиться.

          • Paladin

            Ну, конечно, когда на камни кидают — это неприятно. Зато так быстрее можно всему научиться и со временем стать крепче духом.

  11. Аватар

    Спасибо за полезную статью. Много узнала нового… Немного расстроилась… Уже почти год сайту, а так мало чего знаю)) Хотя ведь постоянно училась…

    • Paladin

      Не стоит расстраиваться, Лора.Вся наша жизнь — учеба. 🙂

      • Аватар

        Я не расстраиваюсь! Постоянно учусь, но иногда в какой-то момент понимаю, что что-то опять сделала не так. буду разбираться, получила ваши шпаргалки и книгу, буду разбираться. В последнее время посещаемость поисковая растет, что радует, но хочется бОльшего)) Хотела поменять урлы на ЧПУ ( как-то пропустила этот момент в начале создания блога), но на сайте уже более 140 статей… ) Вот буду теперь искать приемлемый выход, чтобы не потерять их в индексе )) так что покой нам только снится!!!

        • Paladin

          Пожелаю Вам удачи в продвижении, Лора! Приятно, когда у человека есть желание идти вперед!

  12. Аватар

    Максим, меня такой вопрос должны ли поисковики индексировать страницы такого типа — vellisa.ru/page/20, это страницы сайта. Может лучше их закрыть от индексации?

    • Paladin

      Привет, Василий! Вопрос наверно не совсем корректный. Он должен звучать так — Нужно ли мне, чтобы поисковики индексировали эти страницы? Ответ — нет, не нужно. Лучше их закрыть от иднексации.

  13. Аватар

    Максим привет, я опять к тебе с вопросами. Так Яндекс меня и не полюбил. Я себе на главную уже и статичный текст повесила. А в Сеокафе мне вот что сказали : «на сайте что-то явно не так, ибо разница проиндексированных страниц разительна (yandex: 132, google: 3680). Возможно причина таится в 8165-ти ссылках с анкором «Ольга Орлова», ведущие на главную страницу сайта?!» И теперь я не знаю, что со всем этим делать. Кстати с наступающим Новым годом, желаю новых успехов в продвижении, здоровья и счастья.

    • Paladin

      Спасибо за поздравление, Ольга!
      Молодцы конечно спецы из Сеокафе… Причем здесь разница в страницах и проблема видимости блога в Яндексе… Разница эта говорит совсем о другом — на блоге имеются дублированные страницы. И не из-за твоих внутренних ссылок, Ольга. Просто нужно из индекса Гугла убрать дубли и все.
      По поводу Яндекса сказать могу следующее — раз страницы в индексе Яндекса есть, а трафик слабый, значит проблема в оптимизации и продвижении. Искать проблему нужно там.

  14. Аватар
    Ксения

    Максим, добрый день. Спасибо за доступную информацию. Не упущу и я возможности задать вопрос.
    http://awesomescreenshot.com/01826tqg66
    Картинка удручающая. Предполагаю, причины: дублирующие страницы и увеличение числа страниц отдающих ошибку 404. Подскажите, что делать с дублирующими страницами, скорее всего это страницы каталога товаров, которые формируются динамически.
    И как убрать из просканированных страницы с 404-й ошибкой (это опять же битые ссылки на товары, которых давно нет).
    Понимаю, вопросов много. Проводите ли вы платные консультации?
    Могу ошибаться в причинах, в яндексе магазин занимает хорошие позиции, по большому числу запросов в топ 1-10. Но гугл пока загадка.

    Заранее спасибо!

    • Paladin

      Добрый день, Ксения! Да, здесь без консультации не обойтись. Мне нужно будет посмотреть Ваш ресурс, сделать быстрый анализ индексирования и тогда найти ответы. Жду от Вас ответ на мою почту (lightmage@yandex.ru)

  15. Аватар

    Привет, Максим! Достаточно важный вопрос — нахождение в основном индексе Гугла, но вот как сформировать для себя список страниц находящихся в «сопле» индексе если их там больше тысячи = 2400 — 975 , т.е. надо вычленить из полного индекса основной индекс. Ну полный я еще могу ориентировочно взять из СитиМап, тогда хотя бы как получить в Exel список основного индекса?

    • Paladin

      Привет, Сергей! Чтобы посмотреть, какие урлы страниц находятся в индексе, достаточно зайти в google.ru и написать такой оператор — site:адрес страницы. Появится список с одним основным адресом. Если будут дубли, то будет еще в выдаче и приписка дополнительного индекса. По приведенной там ссылке переходишь на другую страницу выдачи и смотришь формулировки урла дублей.

      • Аватар

        не понял, ввожу site:medalirus.ru вижу 2400 добавляю /& остается 983, в итоге мне надо увидеть, что пропадает из перечня. Что значит «Если будут дубли, то будет еще в выдаче и приписка дополнительного индекса» нигде такого не нашел, может скрин пришлете 🙁

        • Paladin

          Сергей, я писал не вводить главную страницу сайта, а любую другую.

          • Paladin

            Ну что, Сергей, получилось?

          • Аватар

            Тут совсем другая ситуация, наверно я вопрос не корректно поставил. Дубли мне смотреть не надо. Дублей на сайте практически нет , т.к. почти все страницы я создаю сам вручную от написания УРЛа и до всех тегов, с элементами автоматизации, но все сам. Дубли есть маленько в разделе «новости», там страницы генерируется Битриксом я только формы заполняю — тут все в одной папке и на виду, с этими «соплями» я разберусь. Интересует возможность получить полный список ( около 1500 УРЛ !!!) страниц которые не попали в основной индекс Гугла, чтобы разобраться почему … или это что-то давно удаленное, или страницы-иллюстрации которые априори без текста, или мало там текста и надо добавить чтобы они попали в основной индекс, ЕСЛИ конечно это мне надо. Главное — увидеть, что целевые страниц которые нужны для трафика не находятся в «супле» индексе.

          • Paladin

            Ну и запросы у тебя, Сергей. 🙂 Попробуй поработать с программой NetPeak Spider (http://netpeak.ua/soft/netpeak-spider/). Думаю, она даст тебе некоторые ответы.

          • Аватар

            Максим спасибо за ссылку на программу, только сейчас установил её. Инструмент — супер, запустил и мне уже не до Гугло-индексации (пока) она у меня при первом запуске столько битых ссылок нашла и страниц без тегов, займусь пока ими. Жалко, что не знал раньше про неё.

          • Paladin

            Привет, Сергей! Все когда то приходит и получается. Молодец, что установил!

  16. Аватар

    Спасибо Максим! Запросы предельно скромные, видеть как Гугл ко относится к моим сайтам, верней к их страницам 🙂 🙂 ну и понимать почему ….

  17. Аватар

    А я вот здесь еще проверяю сайт, тоже дает кое-какую информацию о тебе, о конкурентах… http://www.cy-pr.com/

  18. Аватар

    Максим, добрый вечер! Давно не заглядывала к вам, и вот наконец могу поделиться хорошей новостью: неделю назад мой сайт родился! Радоваться бы, развиваться. Но… Очень переживаю по поводу индексации. В Яндексе 1 страница (главная), ну вероятно время не пришло. А вот Гугл ведет себя странно: проиндексировал главную, 1 старую статью (опубликованную до открытия) и 2 новые. Индексировать сайт полностью он не торопится. Ничего не понимаю, что за петрушка творится. Какой срок считается нормальным для полной индексации нового сайта?

    • Paladin

      Поздравляю Вас, Диана! Рождение сайта — это большое событие в жизни любого веб-мастера! Пожелаю Вашему блогу удачи, большого трафика и максимальной конверсии.
      По поводу вопроса — думаю, что пока не стоит думать о плохом. Мой блог Яндекс не индексировал три месяца, Гугл — два. У Вас же в Гугле сейчас есть 5 страниц, в Яндексе — главная. Думаю, все будет хорошо.

  19. Аватар

    Вдобавок обнаружила, что все, кроме перечисленного выше попало в «скрытые результаты» 🙁 Это плохо?

    • Paladin

      Нет, это не страшно.

      • Аватар

        Спасибо, буду ждать, это же ужас как долго! Назрел еще один вопрос насущный, только не нашла, к какой статье его бы задать 🙂 Надо ли обращать внимание на историю домена? Он лучше когда вообще новый или хорошо с историей, но нужна проверка на то, нет ли в бане и т.д. ? Нашла подходящий домен с историей с 2011 по 2013 год, но не понятно почему автор его бросил. Вдруг под фильтром? Причем он был довольно популярен — 5000 в сутки. Автор на мои письма не отвечает (((

        • Paladin

          Конечно надо, Диана! Я с этим столкнулся, когда не шла индексация этого блога. В итоге оказалось, что с таким же доменом (workformation.ru) был подозрительного типа портал. Именно из-за этого Яндекс меня долго игнорировал.
          Поэтому, проверять старый домен перед его приобретением нужно обязательно!

          • Аватар

            Вот я выяснила, что есть история, даже автора нашла. а о репутации сайта ничего узнать так и не смогла. Вроде обычный сайт, даже успешный, но почему-то брошеный… Как проверить, не был ли сайт в бане поскивых систем, если домен свобоный?

          • Paladin

            В истории есть возможность просмотра старых страничек — можно их оценить, что они содержали. Ну и в любом случае, если индексации нормальной нет, стоит писать письмо тому поисковику (где не идет индексация) с объяснением происхождения сайта.

  20. Аватар

    Максим, уже в который раз СПАСИБО большое 🙂 за помощь и добродушие. Разумные ответы на практически жизненно важные вопросы можно получить только на вашем блоге. Настоящая скорая помощь!!! Как вам новое название: Скорая помощь SEO-специалиста :)))

  21. Аватар

    А у меня проблема в панели вебмастеров Google, когда захожу, то ничего видеть не могу, только колесико крутится когда на главную жму и пустая страница. Только когда перехожу на Лаборатория, то могу немного видеть статистику для автора и все.
    Более детальная информация не доступна, где в поддержку писать, я не могу найти. Только в справку могу попасть, но итам все по кругу идет, толку нет.

  22. Аватар

    Никак не могла проверить индексацию по гуглу для своих сайтов megaznaika.com.ua и russian.megaznaika.com.ua. Благодаря вашей статье проблема теперь решена. Огромное спасибо за работу!!!

  23. Аватар

    Очень статья понравилась! Максим, как же вы все хорошо объясняете! По поводу рдс бара… он мне нравится, но пользоваться им не могу. Как только его включаю, меня сразу блокирует яндекс. ((( А так иногда просматриваю данные своего сайта в XSEO

    • Paladin

      Добрый день, Лара! А как это Вас блокирует Яндекс при использовании RDS бара?

      • Аватар

        Если я включу бар, то в поиске яшка блокирует и не дает искать информацию. И на панельке бара, той которая на сайте стоят вопросы, то есть нужно постоянно что-то вводить, но на новой странице нужен и новый ввод.

  24. Аватар

    Нет, не успела даже настроить, а в поиск уже не пускают. ((( Жалко (
    Нам очень жаль, но запросы, поступившие с вашего IP-адреса, похожи на автоматические. По этой причине мы вынуждены временно заблокировать доступ к поиску.

  25. Аватар

    Отключила и сразу поиск заработал.

  26. Аватар

    Проверяю регулярно сайт с помощью Pr-Cy.ru, он почему-то показывает, что Яндекс проиндексировал 0 страниц. Проверила через поисковую строку «site:http://plativseti.net/» выдает 37 страниц. С перепугу даже через аддурилку проверила все страницы, чтобы убедиться, что сайт не под фильтром. Пишет, что урлы проиндексированы. Не пойму в чем дело.

    • Paladin

      Для достоверной проверки всех проиндексированных страниц лучшим источником всегда будет поисковая система. Зашли, например в Яндекс, указали оператор и посмотрели число проиндексированных страниц. А вот в разных сервисах часто возникают различные глюки, которые или дают недостоверную информацию, или откровенно тупят, показывая полный бред.

  27. Аватар

    Чтобы проверить индексацию страницы сайта в Яндексе или Google, воспользуйтесь нашим SEO-инструментом в виде сайта и программы iChecker.biz для массовой проверки индексации URL-s в поисковых системах Яндекс и Google.

  28. Аватар
    Сергей

    Здравствуйте, Максим. Подскажите, при переносе контента с одного (старого) сайта на другой, новый, как объяснить гуглу, что это не копия. Контент будет немного отличаться, домен другой. С яндексом понятно — в роботс старого сайта прописываем хост новый сайт. Гугл игнорирует директиву хост. Как надо сделать?

  29. Аватар

    Если Вы оптимизатор, продвигаете сайт в поисковых системах Яндекс, Google методом покупки тематических SEO-ссылок через ссылочные и статейные биржи SetLinks, Sape, MainLink, LinkFeed, то Вам обязательно необходима проверка индексации страниц, на которых Вы размещаете платные ссылки. В этом Вам поможет сайт и программа iChecker.biz для массовой (пакетной) проверки индексации страниц (URL-s) в поисковых системах Яндекс, Google.

  30. Аватар

    Максим, спасибо за статью!
    Опять в тему как никогда и программка netpeak spider!!!
    Как всегда после хорошей статьи возникают вопросы:

    1. Проверил вышеуказанной программкой ссылки, на главной указывают, что нет тегов DESCRIPTION и KEYWORDS. А куда вставлять эти теги если это не статья, а главная страница?

    2. Что должно индексироваться?
    Как я понимаю только: главная страница, статьи и рубрики, правильно?
    А что делать с архивами, статическими страницами типа КОНТАКТЫ, О ПРОЕКТЕ, КАРТА САЙТА, также вижу в индексе названия с указаниями страниц, например: интерьер /2 страница. Прописать в robots.txt?
    А как именно прописывать для КОНТАКТОВ, КАРТЫ САЙТА, О ПРОЕКТЕ?

    Спасибо!

    • Paladin

      Добрый день, Виталий!
      1. Keywords и Description для главной страницы указываются в общих настройках seo-плагина. В моем случае, в All in One SEO Plugin Options. Кстати, keywords можете не указывать.
      2. Индексироваться будет то, что открыто для доступа роботам поисковых систем. Запрет на определенные страницы указывается в файле robots.txt

  31. Аватар

    Масксим, спасибо за ответ.

    Если открыть все для доступа поисковым роботам, вряд ли видимость сайта в поисковых системах будет 100%. Какие разделы должны быть открыты, при которых видимость сайта может быть 100%, наверное 2-3 отдела не более. Если не секрет, скажите какие разделы у Вас отрыты для индексирования? Ведь у Вас максимальный результат, Браво!!!!!!!!!!!!!!!!!!!

    Спасибо за Ваш опыт и профессиональное знание предмета!

    С уважением,

    Виталий

    • Paladin

      Спасибо за Ваши вопросы, Виталий!
      Про 100% индексацию нужно понимать один важный момент — если открыть доступ роботам ко всему сайту, то не факт, что весь ресурс попадет в базу данных поисковика. Ведь поисковые системы индексируют только те страницы, которые им интересны! А не все, для которых открыт доступ. Поэтому получить 100% — это нужно создать действительно полноценный контент на сайте, сделать код без ошибок и т.д.
      У меня открыты все посты, одиночные страницы, рубрики.

  32. Аватар

    Спасибо, Максим за помощь в понимании это нелёгкого дела.

    Под одиночными страницами Вы имеете в виду статические страницы?

    Много читал про файл robots.txt и видел его десятки разных вариантов, но нужен ли он вообще-то? Я встречал пару раз сайты вообще без этого файла и с 100% видимостью.
    Вот один из таких сайтов: formaonline.com

    Как Вы это можете объяснить? Спасибо!

    • Paladin

      Пожалуйста, Виталий! Да, я имел в виду статические страницы.
      По поводу robots.txt. Он существует для того, чтобы ограничить движение поисковых роботов по сайту. Есть такие документы, наличие которых в индексе не допустимо (с точки зрения поисковой системы, например, дубли и с точки зрения хозяина сайта — например, административные страницы). Если на сайте нет такого файла или он дает доступ ко всем страница сайта, то это получается по следующим вариантам:
      1. доступ сайта открыт для всех, его автору по фигу на сохранение каких-то данных (скорее всего, владелец просто не занимается сайтом);
      2. владелец не знает о пользе данного файла.

  33. Аватар

    Благодарю, Максим, за ответы и помощь в понимании всех тонкостей в данном деле!

    С уважением,

    Виталий

  34. Аватар

    Не могу понять, как использование 2х операторов можно так было растянуть, полезной инфы максимум на 1 абзац. Предложенная информация не дает никакого ответа на возможные проблемы индексации для крупных веб-ресурсов.

    • Paladin

      Перед тем как критиковать кого-то, разберитесь с тем, что видите. Разве тема этого поста — проблемы индексации?

      • Аватар

        Представим, что по тем рамкам у тебя в индексе не 200 страниц, а 200 000.
        Ну, и как будет происходить поиск страниц выпавших из индекса и не проиндексированных? Тема же: проверка индексации, да?
        Наверно, надо писать про срезы по кластерам и методы автоматизации этого процесса, как платными сервисами, так и без их использования?
        А, наверно, в Я.Вебмастере можно выгрузить все урлы страниц в поиске или загруженных роботом? А мб это можно сделать в Google Webmasters? Будем проверять в вебмастере Яши по 1 урлу?
        В общем, я поражаюсь, как можно без конкретики растянуть подобную инфу на столько экранов текста.

        • Paladin

          Юрий, напишите лучше, раз Вы возмущены тем, что я написал слишком просто. Вперед — критиковать каждый может!

          • Аватар

            Без проблем.
            Индексируемая вечная ссылка без редиректов, сеохайда или js с кросспостингом по соцсетям+рсс с закреплением на главной, на первой позиции на 1 неделю — за мой гайд. Разумеется, тематическая.

          • Paladin

            Мне Ваш гайд не нужен, я свои тексты для других пишу, а не для себя. Поэтому, пишите на своем личном сайте (если он у Вас есть).

  35. Аватар

    Отличная статья, много нового узнал

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *