АКТУАЛЬНО:

Screaming Frog SEO Log File Analyser – панацея для админов и сеошников

Screaming Seo Log File Analyser

Screaming Frog SEO Log File Analyser – анализатор логов веб-сервера, позволяет загружать файлы журналов, определять ботов поисковых систем и просканированные URL-адреса, анализировать поведение поисковых ботов для получения неоценимого понимания SEO. Приложение поддерживает log-файлы Apache, NGINX, IIS, а также Amazon Elastic Load Balancing Log и W3C Extended Log. Понимает JSON. В этой статье я расскажу как на практике использовать возможности краулера SEO Log File Analyser.

Что такое логи сервера и чем они полезны?

Логи сервера (Server Logs) – это файл журнала (или несколько файлов), автоматически создаваемый и поддерживаемый веб-сервером, состоящий из списка выполненных им действий. Логи сервера содержат всю системную информацию о работе веб-сервера, в них протоколируются все действия user-агентов (http-запросы браузеров, поисковых ботов, краулеров, парсеров).

  • Log-файлы – наиболее достоверный источник, который точно показывает, что происходит, когда бот поисковой системы посещает ваш сайт.
  • Полученные данные логов позволяют проанализировать коды ответов сервера и обнаружить скрытые технические ошибки которые препятствуют успешному индексированию веб-страниц поисковым роботом (например, ошибки 500 или 404).
  • С помощью системных логов можно узнать частоту сканирования сайта роботами, к каким поисковым системам они принадлежат. К примеру, боты могут заходить на сайт слишком часто, вызывая нагрузку на сервер, либо вообще не заходить – тогда ваши страницы не попадут в индекс и не будет даже речи о каких-то позициях, ранкинге.
  • Регулярный просмотр логов дает Вебмастеру, Админу и SEO-специалисту понимание, как построить эффективную стратегию поисковой оптимизации веб-сайта: увеличить рост позиций в поисковой выдаче, объем органического трафика, количество конверсий и продаж.
Пример логов сервера в RAW формате

Технические сотрудники Google об этом хорошо знают, а поэтому сами восхищаются и рекомендуют использовать информацию, которую дают логи:

Особенности Screaming Frog SEO Log Analyser

  • Анализ URL – просматривайте и анализируйте, какие именно URL-адреса Googlebot и другие поисковые роботы могут сканировать, когда и как часто;
  • Анализ Crawl-Frequency – узнайте, какие поисковые роботы сканируют чаще всего, сколько URL-адресов сканируются каждый день и общее количество событий, связанных с ботами;
  • Поиск битых ссылок и ошибок – откройте для себя все коды ответов, неработающие ссылки и ошибки, с которыми роботы поисковых систем столкнулись при сканировании вашего сайта;
  • Анализ редиректов – найдите временные и постоянные редиректы, с которыми сталкиваются поисковые роботы;
  • Анализ краулингового бюджета – проанализируйте наиболее и наименее просматриваемые URL-адреса и каталоги сайта, чтобы выявить потери и повысить эффективность сканирования;
  • Анализ быстрых и медленных веб-страниц – просмотрите среднее количество загруженных байтов и время, затраченное на выявление больших страниц или проблем с производительностью;
  • Поиск непросканированных и потерянных веб-страниц – определите непросканированные, потерянные или неизвестные страницы, URL-адреса, на которые поисковой бот не заходит;
  • Выгрузка, анализ, сравнение данных – экспортируйте, импортируйте и сопоставляйте любые данные в Screaming Frog SEO Log Analyser.

Как видим, SEO Log Analyser помогает комплексно проинспектировать работу веб-сервера. Без логов вы никогда не узнаете в чем причина плохой индексации вашего сайта в поисковых системах. Если даже оптимизируете свой сайт, но проигнорируете информацию системных логов, то так и будете “топтаться” на месте. Поэтому, предлагаю перейти к установке программы.

Установка Screaming Frog SEO Log Analyser

Screaming Frog SEO Log Analyser

Программа существует в двух версия платной (99$ в год, детальнее) и бесплатной (до 1000 страниц, 1 проект, отсутствие техподдержки).

Для того чтобы установить – переходим на официальный сайт и скачиваем установочный пакет. Программа кроссплатформенная, поддерживает все основные операционные системы:

Работа с SEO Log File Analyser

Веб-интерфейс

После установки запускаете программу, веб-интерфейс SEO Log File Analyser интуитивно понятный и в нем несложно разобраться даже новичку, состоит из таких элементов:

  • Меню;
  • Кнопки быстрого управления проектом;
  • Вкладки;
  • Рабочая область;
  • Строка статуса.

Создание нового проекта

Для того чтобы начать работать – создайте новый проект. Нажмите на кнопку “New” на Панели инструментов, или воспользуйтесь горячими клавишами Ctrl+N:

Указываете обязательно имя проекта, временную UTC-зону, поисковых роботов, которые необходимо проанализировать (доступны все боты поисковых систем – Google, Bing, Yahoo, Yandex, Baidu и т.д.). Но, если снять чекбокс “Filter User Agents” – Log File Analyser проанализирует абсолютно всех ботов, которые заходили на ваш сайт (время обработки данных увеличится). Есть возможность также самостоятельно сконфигурировать User-Agent:

На вкладке “Include” можете указать URL-адреса, которые нужно проанализировать в обязательном порядке. Это может быть полезным, если у вас огромный сайт и вы хотите проанализировать конкретные URL-адреса разделов или категорий сайта (напр. /blog/ или /products/), сэкономив время и ресурсы:

Вкладка “Remove Parameters”  – здесь вы можете предоставить список параметров для удаления из URL-адресов и объединения при импорте log-файлов:

Импорт логов

После того как проект создан – импортируйте access.log файл вашего сервера. Быстро скачать логи за разные периоды можно с помощью панели управления хостингом или напрямую по FTP. Обычно файлы логов хранятся в папках /logs/ или /access_logs/.

Примечание: SEO Screaming Log File Analyser принимает только файлы access.log. Логи с ошибками (error.log) он не использует.

access.log — это текстовый файл, использующийся веб-серверами Apache, Nginx, Lighttpd, boa, прокси-сервером squid и другими для записи обращений к сайту. На каждой строчке файла записывается одно обращение к серверу.

Программа перед запуском сканирования также попросит вас ввести домен сайт – введите и нажмите “ОК”, начнется обработка логов.

В результате, на дашборде отобразятся вкладки с различной информацией в виде таблиц и графиков:

Вкладки

Разберем, каждую вкладку отдельно:

  • Overview – сводка данных импортированного файла журнала, основанная на выбранном периоде времени и user-агентах;
  • URL’s – здесь собраны данные для каждого обнаруженного уникального URL-адреса в зависимости от выбранного периода времени и user-агентов;
  • Response Codes – эта вкладка объединяет данные кода ответа сервера из файла журнала для каждого обнаруженного уникального URL-адреса в зависимости от выбранного периода времени и пользовательских агентов. Показывает последний код ответа, время последнего ответа и количество событий журнала для каждого URL. Также группирует события по сегментам кодов ответов: 1XX, 2XX, 3XX, 4XX и 5XX, поэтому вы можете быстро просмотреть обзор всех ответов за анализируемый период времени;
  • User Agents – данные по всем user-агентам, обнаруженным в логах сервера;
  • Referers – здесь показываются данные из поля заголовка Referer в HTTP-запросе. То есть, те веб-страницы, которые привели ботов;
  • Directories – можно просмотреть в какие разделы вашего сайта боты чаще всего заглядывают, а где и вовсе не бывают. На мой взгляд, очень важные метрики. К примеру, я нашел некоторые директории, которые были “загажены” не качественным контентом и всевозможным не валидным кодом. Я все это подчистил, устранил и через некоторое время боты начали заходить вновь. Так что, если бы не Log File Analyser я бы так и не обратил на это внимание;
  • IPs – здесь собраны все IP-адреса ботов, которые заходили на ваш сайт. Среди них могут быть и разные парсеры. Поэтому, вы можете экспортировать и проанализировать IP, а в случае необходимости заблокировать доступ тому или другому боту;
  • Events –  отображаются необработанные события из файла журнала со всеми доступными атрибутами.

Таким образом, с помощью SEO Log Analyzer вы найдете для себя уйму полезной информации. “Жаба” покажет: какие боты заходят на ваш сайт, что и в каком количестве они индексируют: веб-страницы, изображения или какой-то другой контент, который не нужно индексировать (системные, служебные директории, конфиденциальные файлы). Я например на одном из своих сайтов нашел бота Google News. В Screaming Frog SEO Log File Analyser можно также смотреть метод запросов, байты которые они получают, время захода и IP-адрес. Вы можете просматривать разную информацию за выбранные периоды. Можете экспортировать эти данные в xlsx, csv.

Полезные ссылки

Оценка:
( 1 оценка, среднее 5 из 5 )
Подписка на KRASHENININ.TECH

Получайте регулярные обновления на почту!


Виталий Крашенинин/ автор статьи
Основатель блога, публицист, IT-специалист. Предоставляю услуги по администрированию, техническому обслуживанию, поисковой оптимизации и продвижению веб-сайтов.
Не забудьте поделиться материалом в соцсетях:
KRASHENININ.TECH - блог о веб-технологиях, и не только
Подписаться
Уведомление о
guest
0 Комментарий
Встроенные отзывы
Просмотреть все комментарии
0
Есть мысли? Прокомментируй!x
()
x
Читайте ранее:
Sublime Text 3
Sublime Text 3: установка, настройка, плагины, горячие клавиши

Sublime Text 3 - проприетарный кроссплатформенный редактор веб-кода, написан на языках программирования C++ и Python разработчиком Джоном Спиннером. Первая альфа-версия...

Закрыть