Как с помощью Screaming Frog спарсить раздел или категорию сайта

Как с помощью Screaming Frog спарсить раздел или категорию сайта

К сожалению, по данному запросу в интернете я не нашел ничего полезного и мне самому пришлось искать ответ на данный вопрос. Через 10 минут копания в настройках Screaming Frog я все-таки нашел решение своей задачи – мне нужно было спарсить не все URL сайта, а только из определенной категории. Читайте ниже как я сделал это.

Я хотел вытащить все Title страниц  из определенной категории сайта. К счастью, у программы Screaming Frog  очень широкие возможности и глубокие настройки.

  1. Открываем программу, идем в меню Configuration -> Include: 

  2. В пояснявшимся окне вбиваем в текстовое поле путь к нужной директории, в конце после слеша нужно поставить точку и звездочку, пример:

    Также вы можете указать .*название.* – но в таком случае будут искаться все страницы с данным названием в URL. Подробнее в официальной документации: https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#include

  3. Нажимаем “ОК”. Таким образом программа спарсит все страницы только этой категории. Вбиваем свой домен в поле для поиска и жмем Start:
  4. Вот что получилось на выходе:

Ву-аля, программа спарсила только содержимое определенной категории, что мне и нужно было! Теперь спокойно можно все это экспортировать в MS Excel и работать – например, загрузить в сборщик позиций и мониторить динамику позиций по данным запросам.

Вот так, одним простым движением удалось решить эту задачу.

Удачи, ребята!

Оценка:
( 2 оценки, среднее 4.5 из 5 )
Подписка на KRASHENININ.TECH

Получайте ежедневные обновления на почту!


Виталий Крашенинин aka KRV/ автор статьи
Основатель блога, публицист, IT-специалист
Понравилась статья? Поделись с друзьями:
KRASHENININ.TECH - блог о веб-технологиях, и не только
4
Оставить комментарий
avatar
500
2 Цепочка комментария
2 Ответы по цепочке
0 Последователи
 
Популярнейший комментарий
Цепочка актуального комментария
2 Авторы комментариев
Виталий КрашенининИмран Авторы недавних комментариев
  Подписаться  
новее старее большинство голосов
Уведомление о
Имран
Гость
Имран

Помогите парсить картинки с помощью screaming frog seo страницы товара к примеру https://shop.mts.ru/product/smartfon-apple-iphone-11-pro-max-64gb-temno-zelenyj

excel формате

Имран
Гость
Имран

Я пытаюсь это сделать через “Configuration/Custom/Extaction” что бы не скопировать лишнее.

http://prntscr.com/r3ocxc

http://prntscr.com/r3oec8

http://prntscr.com/r3odtl