АКТУАЛЬНО:

Как с помощью Screaming Frog спарсить раздел или категорию сайта

Как с помощью Screaming Frog спарсить раздел или категорию сайта

К сожалению, по данному запросу в интернете я не нашел ничего полезного и мне самому пришлось искать ответ на данный вопрос. Через 10 минут копания в настройках Screaming Frog я все-таки нашел решение своей задачи – мне нужно было спарсить не все URL сайта, а только определенную категорию. Читайте ниже как я сделал это.

Я хотел вытащить все Title из веб-страниц определенной категории сайта. К счастью, у программы Screaming Frog очень широкие возможности и глубокие настройки.

1. Открываем программу, идем в меню Configuration -> Include:

2. В пояснявшимся окне вбиваем в текстовое поле путь к нужной директории, в конце после слэша нужно поставить точку и звездочку, пример:

Также вы можете указать .*название.* – но в таком случае будут искаться все страницы с данным названием в URL. Подробнее в официальной документации.

3. Нажимаем “ОК”. Таким образом программа спарсит все страницы только этой категории. Вбиваем свой домен в поле для поиска и жмем Start:

4. Вот что получилось на выходе:

Ву-аля, программа спарсила только содержимое определенной категории, что мне и нужно было! Теперь спокойно можно все это экспортировать в Excel и работать c данными – например, загрузить в сборщик позиций и мониторить динамику по данным запросам.

Вот так, одним простым движением удалось решить эту задачу.

Удачи, ребята!

Оценка:
( 5 оценок, среднее 4.2 из 5 )
Подписка на KRASHENININ.TECH

Получайте регулярные обновления на почту!


Виталий Крашенинин/ автор статьи
Основатель блога, публицист, IT-специалист. Предоставляю услуги по администрированию, техническому обслуживанию, поисковой оптимизации и продвижению веб-сайтов.
Не забудьте поделиться материалом в соцсетях:
KRASHENININ.TECH - блог о веб-технологиях, и не только
Подписаться
Уведомление о
guest
4 Комментарий
Встроенные отзывы
Просмотреть все комментарии
Имран
Имран
8 месяцев назад

Помогите парсить картинки с помощью screaming frog seo страницы товара к примеру https://shop.mts.ru/product/smartfon-apple-iphone-11-pro-max-64gb-temno-zelenyj

excel формате

Имран
Имран
8 месяцев назад

Я пытаюсь это сделать через “Configuration/Custom/Extaction” что бы не скопировать лишнее.

http://prntscr.com/r3ocxc

http://prntscr.com/r3oec8

http://prntscr.com/r3odtl

4
0
Есть мысли? Прокомментируй!x
()
x
Читайте ранее:
Лучшие Telegram-боты

Всем привет! Добрался до Telegram и решил серьезно оптимизировать свои старые каналы. Когда-то создал и забыл о них, а "телега"...

Закрыть