Как с помощью Screaming Frog спарсить раздел или категорию сайта

Как с помощью Screaming Frog спарсить раздел или категорию сайта

К сожалению, по данному запросу в интернете я не нашел ничего полезного и мне самому пришлось искать ответ на данный вопрос. Через 10 минут копания в настройках Screaming Frog я все-таки нашел решение своей задачи – мне нужно было спарсить не все URL сайта, а только из определенной категории. Читайте ниже как я сделал это.

Я хотел вытащить все Title страниц  из определенной категории сайта. К счастью, у программы Screaming Frog  очень широкие возможности и глубокие настройки.

  1. Открываем программу, идем в меню Configuration -> Include: 

  2. В пояснявшимся окне вбиваем в текстовое поле путь к нужной директории, в конце после слеша нужно поставить точку и звездочку, пример:

    Также вы можете указать .*название.* – но в таком случае будут искаться все страницы с данным названием в URL. Подробнее в официальной документации: https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#include

  3. Нажимаем “ОК”. Таким образом программа спарсит все страницы только этой категории. Вбиваем свой домен в поле для поиска и жмем Start:
  4. Вот что получилось на выходе:

Ву-аля, программа спарсила только содержимое определенной категории, что мне и нужно было! Теперь спокойно можно все это экспортировать в MS Excel и работать – например, загрузить в сборщик позиций и мониторить динамику позиций по данным запросам.

Вот так, одним простым движением удалось решить эту задачу.

Удачи, ребята!

Оценка:
( 3 оценки, среднее 3.67 из 5 )
Подписка на KRASHENININ.TECH

Получайте регулярные обновления на почту!


Виталий Крашенинин/ автор статьи
Основатель блога, публицист, IT-специалист. Предоставляю услуги по администрированию, техническому обслуживанию и поисковому продвижению веб-сайтов.
Понравилась статья? Поделись в соцсетях:
KRASHENININ.TECH - блог о веб-технологиях, и не только
Подписаться
Уведомление о
guest
4 Комментарий
Встроенные отзывы
Просмотреть все комментарии
Имран
Имран
6 месяцев назад

Помогите парсить картинки с помощью screaming frog seo страницы товара к примеру https://shop.mts.ru/product/smartfon-apple-iphone-11-pro-max-64gb-temno-zelenyj

excel формате

Имран
Имран
5 месяцев назад

Я пытаюсь это сделать через “Configuration/Custom/Extaction” что бы не скопировать лишнее.

http://prntscr.com/r3ocxc

http://prntscr.com/r3oec8

http://prntscr.com/r3odtl

4
0
Буду рад вашим мыслям, пожалуйста, прокомментируйте.x
()
x