Как с помощью Screaming Frog спарсить раздел или категорию сайта

К сожалению, по данному запросу в интернете я не нашел ничего полезного и мне самому пришлось искать ответ на данный вопрос. Через 10 минут копания в настройках Screaming Frog я все-таки нашел решение своей задачи — мне нужно было спарсить не все URL сайта, а только из определенной категории. Читайте ниже как я сделал это.

Я хотел вытащить все Title страниц  из определенной категории сайта. К счастью, у программы Screaming Frog  очень широкие возможности и глубокие настройки.

  1. Открываем программу, идем в меню Configuration -> Include:
  2. В пояснявшимся окне вбиваем в текстовое поле путь к нужной директории, вконце после слеша нужно поставить точку и звездочку, пример:Также вы можете указать .*название.* — но в таком случае будут искаться все страницы с данным названием в URL. Подробнее в официальной документации: https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#include
  3. Нажимаем «ОК». Таким образом программа спарсит все страницы только этой категории. Вбиваем свой домен в поле для поиска и жмем Start:
  4. Вот что получилось на выходе:

Ву-аля, программа спарсила только содержимое определенной категории, что мне и нужно было! Теперь спокойно можно все это экспортировать в Ексель и работать — например, загрузить в сборщик позиций и мониторить динамику позиций по данным запросам.

Вот так, одним простым движением удалось решить эту задачу. Удачи, ребята!

Оценка:
( 1 оценка, среднее 5 из 5 )
Виталий Крашенинин / автор статьи
Основатель блога, публицист, IT-специалист
Понравилась статья? Поделиться с друзьями:
Opt In Image
Хочешь первым получать свежую информацию от меня?
Тогда подписывайся ↓
Krasheninin IT Блог - все о веб-технологиях, и не только
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:

13 + тринадцать =

>