В первой части нашего руководства по Screaming Frog SEO Spider мы подробно разобрали базовые настройки программы, способы сканирования, анализ дублированного контента, работу с мета-тегами и заголовками, а также проверку ответов сервера. Эти ключевые аспекты позволяют SEO-специалистам оптимизировать сайты, находить ошибки и повышать их позиции в поисковой выдаче.

Однако функционал Screaming Frog значительно шире, и базовые настройки — это лишь малая часть возможностей программы. В этой статье мы продолжим углубляться в работу инструмента и рассмотрим продвинутые функции, которые помогут провести более детальный анализ веб-ресурса.

Если вы уже освоили основные функции Screaming Frog, то пришло время углубиться в профессиональные методы SEO-анализа, которые помогут оптимизировать сайт, ускорить его индексацию и повысить видимость в поисковых системах.

Содержание:

Сканирование с учетом рендеринга JavaScript

Переходим в Configuration → Spider → Rendering

Windows Size. Здесь мы можем выбрать устройство для которого мы хотим рендерить. При таком режиме сканирование сайта значительно увеличивается.

Теперь во вкладке Rendered Page можно посмотреть как выглядит страница, например для мобильных устройствах.

SEO-Friendly URL (ЧПУ)

После завершения сканирование сайта переходим к проверке URL и смотрим правое окошко.

Длина URL (Short/Long URLs). Google рекомендует использовать URL длиной до 115 символов. Если URL длиннее, его лучше оптимизировать.

URL → Over 115 Characters (длинные URL)

Использование кириллических символов. URL-адреса должны быть в латинице. Наличие кириллических символов может вызвать проблемы с кодировкой.

URL → Non ASCII Characters

Заглавные буквы в URL. Поисковые системы различают заглавные и строчные буквы. Использование заглавных букв может привести к дублированию страниц.

URL → Uppercase URLs

Динамические параметры. Если URL содержит «?», «&», «=», это может указывать на использование динамических параметров. Лучше заменить их на статические URL.

URL → Parameters

Данная проверка поможет выявить потенциальные проблемы и улучшить структуру сайта. Оптимальные URL должны:

Быть короткими (до 115 символов)
Использовать латиницу, цифры, дефисы (-)
Не содержать заглавных букв
Не включать динамические параметры (?id=123)
Не дублироваться (проверить canonical)

Если обнаружены ошибки, исправьте URL на уровне CMS или настройте 301-редиректы для проблемных страниц.

Проверка глубины вложенности

Глубина вложенности страниц (Crawl Depth) показывает, насколько далеко находится страница от главной. Чем глубже вложенность, тем сложнее пользователям и поисковым системам её обнаружить.

В Screaming Frog SEO Spider глубина вложенности измеряется количеством кликов от стартовой страницы (обычно главной страницы сайта)

После завершения сканирования:

Перейдите во вкладку → Site Structure

В окошке Crawl Depth можно детально проверить сколько страниц и какого уровня у нас на сайте. Здесь также можно изменить график на таблицу во вкладке View.

Оптимальная глубина вложенности:

Crawl Depth 1−2 — главная страница и основные разделы
Crawl Depth 3−4 — внутренние страницы (карточки товаров, статьи блога)
Crawl Depth 5+ — слишком глубокие страницы (может потребоваться оптимизация)

Чем выше вложенность, тем сложнее поисковым системам добраться до страниц. Желательно, чтобы важные страницы имели глубину вложенности не более 3−4 кликов.

Визуальный анализ структуры сайта

Для более удобного анализа можно использовать графическое представление структуры сайта:

Откройте Visualisations → Crawl Tree Graph

Это поможет выявить изолированные страницы и избыточную вложенность.

Поиск страниц без трафика

Одной из мощных возможностей Screaming Frog SEO Spider является интеграция с Google Analytics и Google Search Console. Это позволяет анализировать страницы, которые индексируются, но не приносят трафик.

Для начала нужно интегрировать Screaming Frog с API этих сервисов.

Подключение API Google Analytics

Перейдите в Configuration → API Access → Google Analytics

Нажмите Connect to New Account
Войдите в учетную запись Google и предоставьте доступ
Выберите нужный аккаунт GA, ресурс и представление (View)
Выберите временной диапазон (например, последние 3−6 месяцев)
Нажмите OK

Подключение API Google Search Console

Перейдите в Configuration → API Access → Google Search Console

Нажмите Connect to New Account и войдите в Google
Выберите нужный сайт
Выберите период анализа (например, 90 дней)
Нажмите OK
Введите URL вашего сайта, нажмите Start, дождитесь завершения анализа.

Фильтрация страниц без трафика

После завершения сканирования перейдите во вкладку Google Analytics & Google Search Console.

Переключитесь на вкладку GA4 Sessions — здесь отображаются страницы, которые не имеют трафика.

Переключитесь на вкладку Clicks и здесь покажут страницы, которые не имеют трафика в GSC.

Анализ страниц без трафика

После фильтрации можно проверить:

Открыты ли страницы для индексации? (вкладка Indexability)
Есть ли внутренние ссылки на эти страницы? (вкладка Inlinks)
Содержат ли страницы полезный контент? (вкладка Content)
Не являются ли они дублированными? (вкладка Duplicates)
Есть ли проблемы с мета-тегами Title и Description?

Оптимизация страниц без трафика

Если страницы без трафика являются важными, их можно оптимизировать:

Улучшить контент — добавить полезную информацию, уникальный текст, изображения
Добавить внутренние ссылки — связать эти страницы с другими популярными страницами
Обновить мета-теги — улучшить Title, Description, использовать релевантные ключевые слова
Перелинковка — проверить, есть ли на них ссылки с других страниц

Если страницы не важны, их можно:

Закрыть от индексации (noindex)
Объединить с другими страницами (редирект 301)

Скорость загрузки сайта

Перед тем как запустить проверку скорости, необходимо подключить API Google PageSpeed Insights (PSI):

Перейдите на страницу Google API Console
Создайте новый проект (Create Project)
Перейдите в «API & Services» → «Library»
Найдите «PageSpeed Insights API» и нажмите «Enable»
Перейдите в «API & Services» → «Credentials»
Создайте новый API-ключ (Create Credentials → API Key)
Скопируйте полученный API-ключ

Подключение API в Screaming Frog

После фильтрации можно проверить:

Открываем Screaming Frog
Переходим в Configuration → API Access → PageSpeed Insights
Вставляем API-ключ
Выбираем тип устройства для тестирования: Mobile (мобильные устройства), Desktop (настольные ПК)
Указываем метрики для анализа (Core Web Vitals, First Contentful Paint и т. д.)
Нажимаем Connect

Переходим в Configuration → API Access → PageSpeed Insights

Нажмите Start для запуска сканирования и после завершения перейдите во вкладку PageSpeed

Основные метрики скорости загрузки

После проверки вы увидите ключевые показатели Web Vitals, которые помогут определить, какие страницы загружаются слишком медленно.

LCP (Largest Contentful Paint) — время загрузки основного контента (≤ 2,5 сек)
FID (First Input Delay) — задержка перед первой интерактивностью (≤ 100 мс)
CLS (Cumulative Layout Shift) — стабильность макета страницы (≤ 0,1)
TTFB (Time To First Byte) — скорость ответа сервера (≤ 200 мс)

Фильтрация медленных страниц

Найдите страницы, у которых:

LCP > 4 сек — страницы загружаются слишком медленно

FID > 300 мс — медленный отклик на пользовательские действия

TTFB > 600 мс — долгий отклик сервера

Оптимизация скорости загрузки

Если сайт медленный, нужно устранить проблемы, влияющие на скорость загрузки:

Оптимизировать изображения — сжать файлы (JPEG/WEBP вместо PNG)
Использовать ленивую загрузку (Lazy Load) для изображений и видео
Минифицировать CSS и JavaScript — удалить ненужные пробелы и символы
Включить кэширование — использовать браузерное и серверное кэширование
Использовать CDN — уменьшить задержки при загрузке контента
Перенести сайт на быстрый хостинг — особенно важно для динамических сайтов

Анализ сниппетов

Внизу программы → SERP Snippet

Здесь можно проверить каждую страницу и посмотреть как она выглядела в выдаче Google.

Также здесь присутствую рекомендации по их исправлению.

Работа sitemap.xml

Файл sitemap.xml играет важную роль в SEO, помогая поисковым системам быстрее находить и индексировать страницы. Screaming Frog позволяет анализировать XML Sitemap, выявлять ошибки и проверять, насколько хорошо она соответствует структуре сайта.

Загрузка и проверка Sitemap.xml

Автоматическое обнаружение

Открываем Screaming Frog
Вводим URL сайта и нажимаем Start
Если у сайта указан путь к Sitemap в robots.txt, программа автоматически её загрузит
Переходим в Configuration → Spider и включаем:
Crawl Linked XML Sitemaps — сканирование XML-карты, если ссылка есть в robots.txt
Auto Discover XML Sitemap via robots.txt — автоматическое обнаружение Sitemap

Ручная загрузка Sitemap

Перейдите в Mode → List
Выберите Download XML Sitemap
Введите URL файла sitemap.xml (например, site.com/sitemap.xml)
Нажмите OK

После загрузки программа просканирует все страницы, указанные в sitemap.xml.

Проверка структуры

Переходим в Sitemaps → XML Sitemap и проверяем основные параметры:

Все важные страницы включены
Нет дубликатов URL
URL используют HTTPS
Нет страниц с кодами ошибок (4xx, 5xx)
Нет редиректов (3xx)
Используются только индексируемые страницы

Если такие проблемы есть, их необходимо исправить.

Оптимизация Sitemap.xml

Оставляем только важные страницы (убираем 404, редиректы, дубли)
Размер файла Sitemap — не более 50 000 URL или 50 МБ
Все ссылки должны быть в одном формате (HTTPS, без слэша или со слэшем)
Страницы с Canonical, Noindex и блокировкой в robots.txt — не должны попадать в Sitemap
Разделяем Sitemap на несколько файлов, если страниц слишком много (например, sitemap-articles.xml, sitemap-products.xml)

Генерация Sitemap в Screaming Frog

Если у вас нет файла Sitemap, его можно создать с помощью Screaming Frog.

Перейдите в Sitemaps → XML Sitemap

Выберите все страницы, которые нужно включить

Оставьте включенными:

Only Indexable Pages — только индексируемые страницы
Include Last Modified — дата последнего обновления
Include Images — если хотите добавить изображения в Sitemap

Нажмите Export и загрузите полученный sitemap.xml на сервер

Оптимизация и дальнейшие шаги

Screaming Frog SEO Spider — это незаменимый инструмент для технического SEO-анализа. Он помогает выявлять ошибки, анализировать структуру сайта, проверять скорость загрузки страниц и отслеживать важные SEO-метрики.

Использование Screaming Frog в комплексном SEO-анализе поможет не только выявлять технические ошибки, но и значительно улучшить ранжирование сайта в поисковых системах. Регулярный аудит с помощью этого инструмента — залог стабильного роста позиций и увеличения органического трафика.

Хотите, чтобы ваш сайт занимал топовые позиции в поисковых системах? В Qmedia мы знаем, как провести SEO-оптимизацию, которая повысит видимость вашего бизнеса и привлечет целевую аудиторию.
Наша команда поможет вам:

Разработать стратегию, которая выведет ваш сайт в топ-10 поисковой выдачи.

Создать уникальный контент, который привлечет и удержит внимание пользователей.

Оптимизировать техническую часть сайта.

Давайте вместе добьемся впечатляющих результатов! Свяжитесь с нами, и мы сделаем ваш бизнес заметным.

Поделиться статьёй: