Главная / Анализ сайта / Ваши страницы долго отвечают роботу Яндекса

Ваши страницы долго отвечают роботу Яндекса

Уведомление Яндекса по поводу ухудшения времени отклика страницыВсем привет! Мы уже за последние месяцы привыкли получать различные новости об измененных позициях, падении трафика на Яндексе. Но вот различных «писем счастья» как-то не приходило. Но увы, изменив до неузнаваемости свою органическую выдачу, русский поисковик стал присылать уведомления критического характера о неважной скорости сайта. Буквально вчера и я получил такую «писульку» на адрес кулинарного портала. Ну что же, давайте разбираться!

[contents h2 h3]

Письмо счастья от Яндекса

Вчера 6 апреля на аккаунт вебмастера Яндекса для кулинарного портала пришло такое уведомление:

Письмо счастья от Яндекса по поводу плохой скорости загрузки страниц

Как видим, Яндекс меня уведомил, что кулинарный портал имеет среднее время ответа на обращение робота более 3-х секунд. Причем, это не просто там какая-то новость «типа, будьте внимательны…». Уведомление напрямую связано с одноименной ошибкой, которая появилась в разделе «критичная»:

Критическая ошибка в Яндекс вебмастере

А это уже хреново, скажу я Вам. Будь-то это «возможная проблема» или «рекомендация», на нее можно было бы не обращать внимание. Ведь за такие «огрехи» позиции в поисковой выдаче не теряются.

Конечно, это не проблема из категории фатальных, но игнорировать ее не получиться. Поэтому я решил сразу разобраться, в чем дело.

Первые проверки скорости страниц

Взяв на вооружение специальный инструмент яндексовского вебмастера, я стал методично оценивать время отклика на разных страницах. Вот этот инструмент:

Инструмент для проверки скорости ответа робота на странице

Работа с ним предельно проста: вставляем адрес анализируемой страницы в поле «опрашиваемый url» — выбираем «основной робот Яндекса» — нажимаем кнопку проверки — получаем результат.

Результаты портала оказались не очень радужными. Разбежка времени ответа получилась от 110 мс до 300 мс. Причем одна и та же страница могла показать сначала 287 мс, затем 202 мс, а потом 254 мс. То есть разница была не только по самому объему контента, а еще и зависила и от работы хостера.

Ну, о нашем хостере мы еще поговорим, но сначала я решил заняться проверкой скоростей у наших конкурентов. Причем как обычно взял данные органической выдачи как у Яндекса, так и у Гугла. Тем более, их выдачи серьезно отличаются по-крайней мере по теме кулинарии (об этом подробно я давал анализ в статье о моих выводах ранжирования Яндекса).

Анализ поисковой выдачи Яндекса и Гугла

Как обычно в таком случае, я взял ряд кулинарных рецептурных запросов и оценил по ним топ-10 в поисковых системах Я и G. Так как мобильные выдачи оказались практически одинаковыми с десктопными, в этой статье я ограничусь именно серпами для пользователей PC и ноутбуков.

Для дальнейшей аналитики я собирал следующие данные по запросам с помощью вышеупомянутого инструмента:

  • адрес страницы сайта в топе;
  • время отклика роботом в мс;
  • объем текста страницы;
  • тип сервера.

Здесь я покажу 3 поисковых запроса, а потом сделаю свои выводы увиденного.

Запрос «холодец из свиной рульки»

Итак, начинаем с данных по топу Яндекса:

Выдача Яндекса по запросу "холодец из свиной рульки"

Учитывая, что по данным Гугла для одного из условий попадания в топ, хорошие страницы не должны превышать время в районе 300 мс (критерий лучшего сайта — 200 мс), от выдачи Яндекса волосы у меня встали дыбом, да еще и ровненько в ряд!

Ведь на 2-м, 5-м и 6-м местах по очень конкурентному запросу находятся сайты с временем отклика запредельных величин. Ау, Яндекс, кому и зачем ты письма присылаешь, если твоя выдача частично содержит аутсайдеров по скорости? Причем не внизу топа, а в верху и его середине?

Теперь давайте по этому запросу посмотрим топовую десятку в Гугле:

Поисковая выдача Гугла по запросу "холодей из свиной рульки"

Здесь тоже есть сайты с бешеными временами отклика. Но все они сидят внизу «турнирной таблицы». А все остальные не превышают заветных трех сотен.

Правда здесь я обнаружил совсем другой «косяк» Гугла. На второй позиции на время проверки (4 часа утра 7 апреля 2018 года — не спится же людям…) расположился сайт, доступ к которому был закрыт:

Доступ к сайту закрыт, но он в топе

Но самое «печальное» заключается в том, что этот же сайт еще и нулевую позицию занял:

Нулевая позиция в Гугле по запросу "холодец из свиной рульки"

В итоге большая часть «первого» экрана выдачи занимают ответы (ссылки на сайт), которые не дадут контент посетителю. Да, бывает и такое.

Теперь оценим выдачу по другой поисковой фразе.

Запрос «пасха из творога без яиц»

Это уже сезонный запрос, который выстреливает аккурат на пасхальной неделе. А она происходит прямо сейчас — с наступающими праздниками, уважаемые читатели!!!). И в этом случае он очень конкурентный. Посмотрим, что по нему предлагает Яндекс:

Органическая выдача Яндекса по запросу "пасха из творога без яиц"

Ситуация похожая с предыдущим запросом — в выдаче есть сайт с большим временем отклика (я бы сказал — огромным), и несколько с пограничным.

Посмотрим, что же нам предлагает Google:

Топ-10 Гугла по запросу "пасха из творога без яиц"

А тут уже практически все к идеальному идет — в выдаче нет сайтов, в отличие от Яндекса, с большим временем отзыва. Лепота!

И посмотрим еще один запросик, тоже имеющим большую конкуренцию в выдаче.

Запрос «котлеты из куриного фарша»

Итак, Яндекс нам предлагает такой варианта первого топ-10:

Выдача Яндекса по запросу "котлеты из куриного фарша"

И видим картину первого запроса — тут уже в топ-3 сразу два тяжеловесных по «критериям» Яндекса ресурса (замечу, далеко не кулинарных). И потом в самом конце еще один большезагруз находится.

А вот у Гугла другая картина:

Поисковый серп в Google по запросу "котлеты из куриного фарша"

Здесь наблюдаем еще один почти идеальный вариант, выдача содержит сайты со временем отклика не превышающие 315 мс. Нет бешеных «грузовиков» а ля Яндекс. Нет, кстати, всяких порталов «обо всем» (привет из предыдущего поста!). Зато в выдаче по каждому запросу есть ролики из Ютуба!

И такую аналогичную картину я наблюдал еще по 7-ми запросам! В Яндексе как-то страшненько, в Гугле почти идеально с местами с точки зрения времени отклика.

Ответ представителя хостера на проблему времени отклика

Разумеется, кроме анализа поисковой выдачи для получения информации по теме «а как там у конкурентов?», я озаботился написанием запроса своему хостеру (Евробайт). Сам хостинг у них отличный (пока использую виртуальный VIP), ребята реально работают, я ими очень доволен. Но вот ответ их меня разочаровал (картинка кликабельна!!!):

Ответ хостера на измененную скорость отклика

Я попытался получить ответ на непонятные скачки времени отклика роботом одних и тех же страниц. Ведь по сути такие разбеги идут из-за самого хостинга. А так как пока мой портал не находится на виртуальном сервере, такие разбежки возможны.

Но представитель хостинга решил дать просто отписку — обращайся к Яндексу!

Ответ специалиста и мои итоговые выводы

Глядя на все эти результаты моего анализа и на ответ хостинга, я решил обратиться к реальному специалисту, Владимиру. Он давний читатель моего seo-блога и мой один из учеников, прошедший мой топовый коучинг по развитию и продвижению инфосайта. Но самое главное — он настоящий админ, знающий все премудрости темы серверов (и не только).

Утром я смог с ним сегодня плотно пообщаться по почте. В итоге получил много полезной информации. Вот некоторые отрывки его ответов:

Ответы специалиста по серверам -1
Ответы специалиста по серверам -2

Ответы специалиста по серверам -3

Думаю, ответы Владимира дают достаточно ясную картину с откликами в частности и со скоростью сайта в целом.

От себя добавлю следующие важные выводы:

  1. Яндекс, копируя работу Гугла по ускорению ответов из выдачи, пока не на финишном пути по этому вопросу. Ему еще надо подправить свой алгоритм.
  2. Уведомление от Яндекса серьезное и забивать на него не нужно. Скорость загрузки страницы (время отклика туда же) — важный фактор ранжирования.
  3. Нормальным временем ответа сервера можно считать 300 мс, хорошим — 200 мс. А идеал лежит в районе 100 мс. Пока хватает 300 мс, но это пока до лета!
  4. Если сайт огромный, или в ближайшие перспективы он может стать таким, владелец ресурса должен перейти на выделенный сервер.
  5. Чтобы улучшить скорость загрузки страниц, мало найти хорошего хостера и адекватных не буйных соседей по серверу. Нужны и соответствующие работы по самому сайту (сжатие скриптов, стилей, сжатие картинок, замена «тяжелых» элементов дизайна на более «легкие», свежие версии кода php и многое другое).

Да, теперь реально видно, что быстрая загрузка сайта — это не его крутизна и преимущество, а необходимость выживания! Иначе попрут из топа. Плюс не забываем, что плохая скорость в минус влияет на поведенческие факторы. А именно из-за них уже 2 месяца многие инфосайты потеряли вагон органического трафика из Яндекса!

И да, последний совет — ВСЕГДА доверяйте профессионалам. Надо улучшить дизайн — идем к готовому или начинающему профи. Надо ускорить сайт — спец поможет. Нужны знания — бери только самые лучшие тренинги и коучинги от действительно знающих учителей!

Ведь настоящий профессионал — это гарантия успеха в любом деле! Я эту аксиому запомнил на всю жизнь и пока она меня не подводила!

С уважением, Ваш Максим Довженко

Автор: Максим Довженко

Максим Довженко
Seo-специалист, веб-аналитик, блоггер. Совладелец кулинарного портала и видеоканала "Твой Поваренок". Специалист по работе с информацией, руководитель с 15-ти летним стажем. = Счастливый отец дочки Валерии. = :)

Check Also

Выводы о ранжировании инфосайтов в Яндексе

Всем большой привет! Как я и говорил в прошлом дайджесте №37, сегодня для Вас подготовил …

21 комментарий

  1. Аватар

    я сразу хостинг меняю и все!

  2. Аватар

    Мне на кулинарный тоже прилетело с неделю назад, показало 2 страницы, на которых якобы более 3 сек.
    По факту их же проверялок в вебмастере, в среднем 0.3 сек, пару раз прыгало до 0.5-0.8.
    Написал хостерам, они мне как всегда кинули ссылку check-host.net/check-http для проверки из разных регионов, в общем от 0.05 сек до 1 секунды бывает, в среднем 0.3 секунды.
    Так что больше похоже на глюк.

    • Paladin

      Привет, Денис! Интересная картина сейчас наблюдается — та критическая проблема, связанная с плохим ответом сервера исчезла из списка ошибок в вебмастере. Но значок (восклицательный знак на фоне треугольника) остался. Похоже поисковик обозначил эту проблему (ту же информацию по скорости дополняют отчеты из Яндекс Метрики), значок не убрал, но саму ошибку нивелировал на время. Так скажем, показал в качестве аванса. Предполагаю, что после появления этой ошибки на почту Платона Яндекса пришло вагон возмущений недовольных вебмастеров и яндексоиды эту проблему сняли. Но она вернется, это очевидно.

  3. Владимир

    Запудрили этим откликом головы вебмастерам. Я не понимаю, зачем поисковики это делают. Если сайт тормозит, это отразится на поведенческих факторах и так, зачем отдельные проверки?

    Время отклика сервера очень условная величина и не всегда поддается управлению. Часто она от тебя не зависит, и от хостера не всегда зависит. На нее влияют каналы связи между посетителем и сервером, которыми ты вообще не управляешь.

    Мне, как специалисту в этом деле, трудно гарантировать какой-то результат, хотя запросы такие есть. Все хотят быстрые сайты. Но дело в том, что сегодня у тебя сервер быстро отвечает, а через месяц ситуация может измениться по независящим от тебя условиям. Выход только один — переезжать. Я сам уже своим сайтом переезжаю третий раз, так как оба предыдущих хостера в какой-то момент перестали удовлетворять по производительности, хотя тарифный план не менялся. Просто все становилось медленнее.

    Сейчас всюду слышно, что пора переходить на виртуальные и облачные технологии. Но в этих облаках ты вообще ничем не управляешь. Никто не будет разбираться и гарантировать хорошее время отклика сайта. Выход только один — переезжать на выделенный собственный сервер. Но это дорого, как по самому железу, так и по услуге администрирования своего сервера и во многих случаях не оправданно. Какая разница посетителю, сервер ответил за 200 МИЛЛИСЕКУНД или за 500. Но за этой разницей стоит большая работа и лишние расходы.

    С таким подходом какой-нибудь говносайт с командой рерайтеров и хорошим откликом может опережать в топе действительно авторский, качественный контент, но размещенный на медленном сервере, так как у автора нет возможности и даже цели покупать дорогое железо.

    • Paladin

      «С таким подходом какой-нибудь говносайт с командой рерайтеров и хорошим откликом может опережать в топе действительно авторский, качественный контент, но размещенный на медленном сервере, так как у автора нет возможности и даже цели покупать дорогое железо.» — сейчас по сути где-то в частности так и происходит.
      Кстати, пару лет назад у нас было в целом по сайту время отклика в районе 250, в начале этого года — 330, а сейчас 350. И это в среднем. Хостинг тоже давно не меняли.

      • Владимир

        Смысл в том, что это нормальные числа для комфортного просмотра сайта. Если зайти браузером и погулять по страницам, видно, что все хорошо и быстро грузится. Но поисковики толкают на бессмысленные по сути для человеческого глаза манипуляции и улучшения.

        Возможно, это делается для того, чтобы побуждать людей переносить свой контент на их сервера, как это уже есть с теми же Турбо страницами. Они физически располагаются на стороне Яндекса. У гугла такая же схема есть.

        Очевидно, что то, что расположено у самих поисковиков, быстрее всего будет отвечать роботам и мониторингу.

        • Paladin

          И мне кажется, что поисковики толкают на перенос акцента на их сервисы и сервера. Но это дает им в будущем монополию на предоставление контента. То есть смысл заключается в том, что если ты хочешь быть источником информации для посетителей в сети (использующих поиск), располагай ее на площадках Яндекса и Гугла и в определенном том формате (турбо, AMP). Уже сейчас в Дзене Яндекса валом делаются отдельные каналы на площадке поисковика, а ведь от этого уходили еще на заре интернета. Ведь тогда были ж (живые журналы), которые располагались на больших серверах одного сайта. А потом люди стали делать отдельные сайты, так как только автономный ресурс позволял дать мощный форматированный и удобный контент. Теперь все сворачивается назад?
          Понятное дело, вся затея основана на еще большей прибыли. Одно хорошо — единый формат подачи контента (турбо и amp). Но где тогда разнообразие и т.д.?

          • Владимир

            Да, к этому есть тенденции. Монополизация и централизация видна во всем. Пресловутые облака это то же самое. Сейчас идет развитие облачных технологий и переезд информационных систем туда (Amazon S3, Azure, Google Сloud).

            Закономерный итог развития капитализма — монополизм, потом деградация (общество коекакеров) и крах. Это просматривается во всех коммерческих сферах. И это уже было в истории. Все повторяется.

          • Paladin

            Хорошо сказано, Владимир, про общество коекакеров. 🙂 Я это наблюдаю в разных темах, в социалках. Народу сейчас нужно другое и часто не то качественное, что было раньше. Посмотрим, что будет дальше происходить.
            В любом случае всегда останутся в любое время люди, которым нужно именно качество и именно они самые важные покупатели (не важно, покупатели товаров, услуги или информации), потому что они хотят получить результат и готовы за это платить своими ресурсами (деньги, время, обмен). В итоге именно для них мы и делаем в первую очередь наш контент. Контент, который нужен.

          • Paladin

            И добавлю самое важное. Именно такие люди и определяют потребность в каких-то знаниях, товарах и услугах. А не наоборот, когда само производство придумывает всякую фигню, а потом начинает с помощью маркетинга навязывать людям не существующую потребность к этой фигне.

  4. Владимир

    Я по-другому на это смотрю и ориентируюсь не на тех, кому это надо, а на себя. Человек, с помощью своего труда, с помощью того, что он делает, может раскрыть мир, познать его, увидеть свое место в нем, познать самого себя. Познавать через то, что делаешь, я считаю, это самое главное. Даже если это будет не востребовано другими людьми (скорее всего временно).

    Обычно такой подход применяют к деятелям искусства, но я категорически с этим не согласен. Любой труд человека осмысленный и творческий. Сейчас это не так заметно, а раньше очень. Когда смотришь старые строения, дома, это видно, даже в обычной деревне в обычных домах. Мастера вкладывали и ум, и навык, и душу в то, что делали. Какие орнаменты на окнах, фасадах. Даже дверные петли, ручки могли быть произведениями искусства.

    Я был в деревне и видел предмет, которому 100 лет — обычное деревянное приспособление для сбора ягоды клюквы, похожее на гребень с небольшой емкостью для ягод. Но оно было очень красивое, аккуратное, с узорами. Обычный человек (скорее всего прадед моей супруги) очень постарался и вложил частичку своей души через эти узоры в инструмент, а мог бы быстро настругать что-то простое и функциональное. Я считаю, что так и надо трудиться, но в условиях капитализма системно это не возможно.

    • Paladin

      Согласен, что нормальный человек, который хочет трудится (который это делает сам, его никто и ничто не заставляет), всегда вкладывает свою душу в свое дело, работу. И при упорном труде он может раскрыть свои таланты и делать свое дело еще лучше и красивее. То же самое и с сайтами, на мой взгляд. Одно дело типовые статейники и мфашки, которые штампуются в сжатые сроки. Понятное дело, что контент там малокачественный (ему просто неоткуда там быть). Другое дело — это авторские блоги, тематические сайты или порталы, над которыми работает креативная команда. Все эти люди любят свои проекты, живут ими, стараются для посетителей, предлагают и новы, и более качественный контент. Но делать его сложно, да и дорого. Ведь нужно все обдумать, протестировать, узнать мнение посетителей и т.д. Проще загнать всех в рамки, создать «необходимость» единого формата и у нас получаются турбо-страницы. 🙂

  5. Аватар

    Привет, Максим! Прочел материал, заинтересовался и решил проверить одну свою тяжелую , большую статью про посудомойку…
    Ответ сервера — 925 мс…
    Что тут скажешь 🙂

  6. Аватар

    Максим, привет! Прочитал твою статью. Тоже самое и на моем блоге ответ сервера чуток расстраивает =(( Тоже написал письмо в поддержку хостеру у меня МакХост пришла письмо с их замерами в известных нам программах скорости загрузки и тоже указали что все у вас ОКЕЙ!! Типа, что вам еще надо???? Максим на какой хостинг ты перешел или еще нет?

    • Paladin

      Привет, Александр!
      А у меня было продолжение моей истории с хостером. После того, как я от них получил ответ, я обратился к спецу. И он мне явно указал информацию, что это глюк хостера. Потом он пропал и скорость улучшилась, а Яндекс убрал критическую ошибку. Но привкус неприятный остался.

  7. Аватар

    Максим вот только что свежий ответ поддержки хостинга =)))

    У Вас неплохие показатели
    https://gyazo.com/6625dcf9acb3aebfcc230a586b3c944d

    Для улучшения время ответа сервера могу посоветовать использовать кеширование на уровне скриптов.
    Если у Вас используется CMS, рекомендую рассмотреть популярные решения

    • Paladin

      Кэширование, я думаю, у тебя есть однозначно — сейчас без него никуда. 🙂
      Посмотрим, что будет дальше, пока Яндекс, на мой взгляд, просто приценивается.

  8. Аватар

    Вся переписка свелась к тому =)))) Что порекомендовали «WP Super Cache^ =)))) вот так!!!

  9. Аватар

    Низкий поклон тебе, добрый человек! Бьюсь над эти вопросом уже год.. наш хостинг тоже правду не говорит, а лучше бы стразу написали .. не хотите мол, ну и не хоститесь у нас или тариф другой выбирайте… А вот где она правда зарыта.. Спасибо!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *