Screaming Frog SEO Spider — программа для аудита сайта работающая по тем же принципам, как и робот поисковой системы Google. Программа предназначена специалистам в области SEO для качественного внутреннего SEO аудита структуры сайта.В отличие от похожей бесплатной утилиты Xenu Link Sleuth, этот «паук» отличается большей функциональностью в проведении seo аудита сайта. Frog SEO Spider работает аналогично поисковому роботу Google, умеет выполнять директивы прописанные в robots.txt, учитывает такие теги как : nofollow, noindex, follow и другие, умеет создать карту сайта, покажет наличие дублированного контента и многое другое.
Программа для аудита сайта Screaming Frog SEO Spider умеет:
- Показывает данные ресурса (url, тип контента, кодировку, статус, titlle, meta discription, meta keywords, длину слов, H1, H2, canonical, размер, уровень вложенности, кол-во внутренних и внешних ссылок, hash каждой страницы)
- Показывает все внешние ссылки на сайте (url, тип, ответ HTTP-заголовка, уровень вложенности страницы, кол-во внешних ссылок сайта) с возможностью их анализа по клику левой кнопкой мышки
- Показывает все перенаправления на сайте (url всех адресов на сайте, тип, статус, перенаправление url и HTTP код ответа) с возможностью их анализа
- Показывает все внутренние адреса ресурса (адрес, тип контента и кодировку текста, статус, hash, длину, canonical) с возможностью анализа каждого адреса и других действий
- Анализ заголовков (адрес, название, длину)
- Показывает ключевые слова каждой статьи (адрес, ключевые слова, длину)
- Meta Description статьи (адрес, описание, длину)
- Изображения сайта (адрес, тип, размер) и теги H1, H2
Дополнительно к этому, каждый адрес можно открыть во внешнем браузере, проверить его внешние ссылки, посмотреть файл robots.txt, экспортировать данные, проверить IP адрес и многое другое. Функциональность SEO Spider для качественного аудита сайтов сделана на очень высоком уровне. Возможности SEO Spider позволяют найти различного рода ошибки, неизбежно возникающие в процессе наполнения ресурса содержимом и оперативно исправлять их.
Из плюсов SEO Spider можно отметить :
- Работа с поддоменами
- Очень быстрая загрузка данных
- Возможность настройки фильтров по нужным параметрам сканирования
- Все полученные данные представлены в удобном для просмотра виде
- Экспорт данных на выбор по параметрам результатов сканирования
- Выявление дубликатов контента по одинаковому Hash
- Маленький размер — 570 kb
К недостаткам надо отнести повышенный обьем занимаемой памяти (для современного компьютера не помеха).
К чему отнести такую функцию, как возможность запрета на сканирование своего сайта конкурентами я не знаю. В своем файле robots.txt можно прописать такую директиву — Screaming Frog SEO Spider
Disallow: / и Ваш ресурс будет недоступен для программы.
Программа SEO Spider незаменима для сео аудита больших сайтов, проверка которых вручную занимает весьма значительное время. В бесплатной версии программы (500 url сканирований) некоторые функции имеют ограничения и доступны только после оплаты. Но и того функционала, что есть в бесплатной версии, вполне достаточно для seo аудита любого сайта. Очень полезная и нужная программа для любого вебмастера, из тех, что должна быть у каждого.