Screaming Frog SEO Log File Analyser – анализатор логов веб-сервера, позволяет загружать файлы журналов, определять ботов поисковых систем и просканированные URL-адреса, анализировать поведение поисковых ботов для получения неоценимого понимания SEO. Приложение поддерживает log-файлы Apache, NGINX, IIS, а также Amazon Elastic Load Balancing Log и W3C Extended Log. Понимает JSON. В этой статье я расскажу как на практике использовать возможности краулера SEO Log File Analyser.
Что такое логи сервера и чем они полезны?
Логи сервера (Server Logs) – это файл журнала (или несколько файлов), автоматически создаваемый и поддерживаемый веб-сервером, состоящий из списка выполненных им действий. Логи сервера содержат всю системную информацию о работе веб-сервера, в них протоколируются все действия user-агентов (http-запросы браузеров, поисковых ботов, краулеров, парсеров).
- Log-файлы – наиболее достоверный источник, который точно показывает, что происходит, когда бот поисковой системы посещает ваш сайт.
- Полученные данные логов позволяют проанализировать коды ответов сервера и обнаружить скрытые технические ошибки которые препятствуют успешному индексированию веб-страниц поисковым роботом (например, ошибки 500 или 404).
- С помощью системных логов можно узнать частоту сканирования сайта роботами, к каким поисковым системам они принадлежат. К примеру, боты могут заходить на сайт слишком часто, вызывая нагрузку на сервер, либо вообще не заходить – тогда ваши страницы не попадут в индекс и не будет даже речи о каких-то позициях, ранкинге.
- Регулярный просмотр логов дает Вебмастеру, Админу и SEO-специалисту понимание, как построить эффективную стратегию поисковой оптимизации веб-сайта: увеличить рост позиций в поисковой выдаче, объем органического трафика, количество конверсий и продаж.
Технические сотрудники Google об этом хорошо знают, а поэтому сами восхищаются и рекомендуют использовать информацию, которую дают логи:
@glenngabe Log files are so underrated, so much good information in them.
— 🍌 John 🍌 (@JohnMu) April 5, 2016
Особенности Screaming Frog SEO Log Analyser
- Анализ URL – просматривайте и анализируйте, какие именно URL-адреса Googlebot и другие поисковые роботы могут сканировать, когда и как часто;
- Анализ Crawl-Frequency – узнайте, какие поисковые роботы сканируют чаще всего, сколько URL-адресов сканируются каждый день и общее количество событий, связанных с ботами;
- Поиск битых ссылок и ошибок – откройте для себя все коды ответов, неработающие ссылки и ошибки, с которыми роботы поисковых систем столкнулись при сканировании вашего сайта;
- Анализ редиректов – найдите временные и постоянные редиректы, с которыми сталкиваются поисковые роботы;
- Анализ краулингового бюджета – проанализируйте наиболее и наименее просматриваемые URL-адреса и каталоги сайта, чтобы выявить потери и повысить эффективность сканирования;
- Анализ быстрых и медленных веб-страниц – просмотрите среднее количество загруженных байтов и время, затраченное на выявление больших страниц или проблем с производительностью;
- Поиск непросканированных и потерянных веб-страниц – определите непросканированные, потерянные или неизвестные страницы, URL-адреса, на которые поисковой бот не заходит;
- Выгрузка, анализ, сравнение данных – экспортируйте, импортируйте и сопоставляйте любые данные в Screaming Frog SEO Log Analyser.
Как видим, SEO Log Analyser помогает комплексно проинспектировать работу веб-сервера. Без логов вы никогда не узнаете в чем причина плохой индексации вашего сайта в поисковых системах. Если даже оптимизируете свой сайт, но проигнорируете информацию системных логов, то так и будете “топтаться” на месте. Поэтому, предлагаю перейти к установке программы.
Установка Screaming Frog SEO Log Analyser
Программа существует в двух версия платной (99$ в год, детальнее) и бесплатной (до 1000 страниц, 1 проект, отсутствие техподдержки).
Для того чтобы установить – переходим на официальный сайт и скачиваем установочный пакет. Программа кроссплатформенная, поддерживает все основные операционные системы:
Работа с SEO Log File Analyser
Веб-интерфейс
После установки запускаете программу, веб-интерфейс SEO Log File Analyser интуитивно понятный и в нем несложно разобраться даже новичку, состоит из таких элементов:
- Меню;
- Кнопки быстрого управления проектом;
- Вкладки;
- Рабочая область;
- Строка статуса.
Создание нового проекта
Для того чтобы начать работать – создайте новый проект. Нажмите на кнопку “New” на Панели инструментов, или воспользуйтесь горячими клавишами Ctrl+N:
Указываете обязательно имя проекта, временную UTC-зону, поисковых роботов, которые необходимо проанализировать (доступны все боты поисковых систем – Google, Bing, Yahoo, Yandex, Baidu и т.д.). Но, если снять чекбокс “Filter User Agents” – Log File Analyser проанализирует абсолютно всех ботов, которые заходили на ваш сайт (время обработки данных увеличится). Есть возможность также самостоятельно сконфигурировать User-Agent:
На вкладке “Include” можете указать URL-адреса, которые нужно проанализировать в обязательном порядке. Это может быть полезным, если у вас огромный сайт и вы хотите проанализировать конкретные URL-адреса разделов или категорий сайта (напр. /blog/ или /products/), сэкономив время и ресурсы:
Вкладка “Remove Parameters” – здесь вы можете предоставить список параметров для удаления из URL-адресов и объединения при импорте log-файлов:
Импорт логов
После того как проект создан – импортируйте access.log файл вашего сервера. Быстро скачать логи за разные периоды можно с помощью панели управления хостингом или напрямую по FTP. Обычно файлы логов хранятся в папках /logs/ или /access_logs/.
Примечание: SEO Screaming Log File Analyser принимает только файлы access.log. Логи с ошибками (error.log) он не использует.
access.log — это текстовый файл, использующийся веб-серверами Apache, Nginx, Lighttpd, boa, прокси-сервером squid и другими для записи обращений к сайту. На каждой строчке файла записывается одно обращение к серверу.
Программа перед запуском сканирования также попросит вас ввести домен сайт – введите и нажмите “ОК”, начнется обработка логов.
В результате, на дашборде отобразятся вкладки с различной информацией в виде таблиц и графиков:
Вкладки
Разберем, каждую вкладку отдельно:
- Overview – сводка данных импортированного файла журнала, основанная на выбранном периоде времени и user-агентах;
- URL’s – здесь собраны данные для каждого обнаруженного уникального URL-адреса в зависимости от выбранного периода времени и user-агентов;
- Response Codes – эта вкладка объединяет данные кода ответа сервера из файла журнала для каждого обнаруженного уникального URL-адреса в зависимости от выбранного периода времени и пользовательских агентов. Показывает последний код ответа, время последнего ответа и количество событий журнала для каждого URL. Также группирует события по сегментам кодов ответов: 1XX, 2XX, 3XX, 4XX и 5XX, поэтому вы можете быстро просмотреть обзор всех ответов за анализируемый период времени;
- User Agents – данные по всем user-агентам, обнаруженным в логах сервера;
- Referers – здесь показываются данные из поля заголовка Referer в HTTP-запросе. То есть, те веб-страницы, которые привели ботов;
- Directories – можно просмотреть в какие разделы вашего сайта боты чаще всего заглядывают, а где и вовсе не бывают. На мой взгляд, очень важные метрики. К примеру, я нашел некоторые директории, которые были “загажены” не качественным контентом и всевозможным не валидным кодом. Я все это подчистил, устранил и через некоторое время боты начали заходить вновь. Так что, если бы не Log File Analyser я бы так и не обратил на это внимание;
- IPs – здесь собраны все IP-адреса ботов, которые заходили на ваш сайт. Среди них могут быть и разные парсеры. Поэтому, вы можете экспортировать и проанализировать IP, а в случае необходимости заблокировать доступ тому или другому боту;
- Events – отображаются необработанные события из файла журнала со всеми доступными атрибутами.
Таким образом, с помощью SEO Log Analyzer вы найдете для себя уйму полезной информации. “Жаба” покажет: какие боты заходят на ваш сайт, что и в каком количестве они индексируют: веб-страницы, изображения или какой-то другой контент, который не нужно индексировать (системные, служебные директории, конфиденциальные файлы). Я например на одном из своих сайтов нашел бота Google News. В Screaming Frog SEO Log File Analyser можно также смотреть метод запросов, байты которые они получают, время захода и IP-адрес. Вы можете просматривать разную информацию за выбранные периоды. Можете экспортировать эти данные в xlsx, csv.
