Published on

Как Screaming Frog помогает мне наводить порядок на сайте

Программа Screaming Frog SEO Spider помогает мне сделать технический аудит сайта. С ее помощью вы сможете навести порядок: убрать весь “мусор”, определить проблемные страницы, в целом улучшить сайт в глазах поисковой системы. Работает она как на Mac OS, так и на Windows платформе.

Инструмент мощный, описание функций заняло бы несколько страниц. Но не буду перегружать вас информацией и в этом небольшом руководстве я расскажу, чем была полезна программа Screaming Frog применительно к моим контент-проектам.

Примечание. Стоимость лицензии на Screaming Frog высокая (£149.00 в год), но программу вы можете использовать бесплатно в ограниченном режиме (в частности, просканировать только 500 URL на сайте).

Содержание

Вычисляем страницы с поломанными ссылками

Любой сайт, на котором более 100 страниц, время от времени генерирует страницы 404 (такой страницы не существует). Пользователи, переходящие на страницу с ошибкой (внешнюю или внутреннюю), будут недовольны.

Я такие страницы вычисляю в ходе сканирования сайта, затем устанавливаю фильтр по коду ошибки. Выношу проблемные страницы в отдельный список, и

  • либо удаляю ссылки со страницы источника,
  • либо меняю ссылку на документ, подходящий по смыслу.

Кроме отсутствующих внутренних страниц, есть исходящие битые ссылки на внешние ресурсы. На сайте workspiration с этим вообще беда: ввиду специфики интервью, имеется много внешних ссылок. Соответственно, каждый месяц ссылки “отпадают”.

Помимо ошибок 404, обращаю внимание на редиректы 301, 302, от которых я по возможности избавляюсь, заменив ссылки на прямые. В то же время, исправление ВСЕХ редиректов может занять массу времени, что не всегда рационально.

Страницы с большой глубиной вложенности

Страницы с большой глубиной вложенности (crawl depth) также являются проблемой. И пользователю, и поисковому краулеру сложно попасть на эту страницу.

Поэтому можно и нужно уменьшить уровень вложенности. Один из способов – добавить страницу в подходящую категорию, это обычно уменьшает уровень вложенности на один или несколько пунктов.

В остальных случаях, малодоступные страницы без категорий и тегов представляют собой малую ценность.

Удаление страниц с малой ценностью

Есть контент, безнадежно устаревший, страницы-”зомби”. Они размывают вес сайта и уменьшают релевантность.

От самого бесполезного контента нужно избавляться, можно поместить страницы в архив, удалить из индекса или с сайта вообще. Но делать это осторожно.
Второй вариант – обновить, актуализировать страницы.

Как определить мусорные страницы?

В Screaming Frog необходимо подключить Google Analytics и Search Console, чтобы был доступ к количественным показателям страниц.

Далее нахожу страницы, у которых не было кликов и показов за последние 3 месяца.

Затем я их

  1. удаляю с сайта
  2. обновляю
  3. присваиваю noindex и nofollow.

Конечно, содержимое страниц нужно исследовать внимательно, каждый случай индивидуален. Не всякая страница без посещений бесполезна.

Низкая скорость рендеринга страниц

Еще одна техническая проблема, которая имеет место – скорость загрузки страниц. Если к сайту подключен Google Analytics и соответственно доступен через Screaming Frog, вычислить подобные страницы легко.

SF выявляет render blocking ресурсы, javascript / css / картиники. Исправление можно применить и глобально, если добавить на сайт, например, critical css. Или поменять фильтр сжатия изображений через модуль CMS.

Но есть и страницы, где все решается индивидуально, например, оптимизируются конкретные картинки или страницы со ссылками на ресурсы, которые тормозят время ответа.

Неправильные метатеги

Следует признать, что мета теги в 2021 году уже не так важны, как 10 лет назад. Но закрывать на них глаза не стоит.

Примеры ошибок метатегов могут появляться в Search Console, но их список не исчерпывающий.

Через Screaming Frog я ищу тайтлы, H1, descriptions, которые значительно отклоняются от нормы и правлю их.

Особо стоит обратить внимание на:

  • пустые мета теги
  • теги, в которых количество символов ниже или выше нормы
  • дубликаты h1 и title
  • повторяющиеся descriptions.

TL;DR

Мониторинг состояния сайта – это важно. И, на самом деле, не так сложно на практике, даже если вы не занимаетесь SEO и администрированием сервера. Описанные действия помогут вам поддерживать сайт и его наполнение в здоровом состоянии.