НОВОСТИ

Robots.txt для WordPress: рабочий пример

Если кто-то думает, что без robots.txt можно обойтись – сильно ошибается. Чтобы там не говорили о “виртуальном роботсе” или не актуальности для ПС Google, файл Robots был и остается важнейшим системным файлом, с помощью которого можно контролировать индексацию веб-страниц поисковыми ботами. В этой заметке я расскажу как создать правильный Robots для CMS WordPress.

Что такое Robots.txt и зачем он нужен?

Robots.txt – это стандарт исключений для поисковых ботов, принят консорциумом W3C 30 января 1994 года. Создается в виде txt-файла и помещается в корневую директорию домена. Содержит специальные директивы – правила для поисковых ботов. Каждая директива указывается с новой строки. Правила нужны для того, чтобы исключить из поиска определенные файлы и папки сайта. При отствуствующем robots.txt – поисковик будет парсить и вытягивать на поверхность все, что проиндексирует. Это иогут быть и конфеденциальные данные. Поэтому, Robots.txt помогает улучшить безопасность сайта и сохранить чистоту индекса, не дав попасть в поиск чему-то лишнему.

WordPress и виртуальный Robots.txt

После создания сайта, CMS WordPress автоматически создает виртуальный robots.txt с базовыми директивами. Выглядит он так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://mywebsite.com/sitemap.xml

Как видно, он не закрывает от поиска системные, конфиденциальные и служебные разделы. Пока сайт маленький – вы не сильно замечаете проблемы, связанные с этим. Но когда набирается достаточное количество трафика, вы сразу же увидите статистику, сколько посетителей попадают на не желательные страницы вашего сайта и поймете, что “виртуальный роботс” не спасает и нужно создавать нормальный robots.txt.

Пример работающего Robots.txt для WordPress

Файл создается c расширением .txt, в стандартной кодировке UTF-8 (без BOM!) и помещается в корневую директорию сайта:

User-agent: *                             # правила для всех роботов
Disallow: /cgi-bin                        # скрипты на сервере
Disallow: /?                              # все параметры URL со знаком ?
Disallow: /wp-                            # все сис. папки и файлы WP
Disallow: *?s=                            # параметры URL со спецсимволом
Disallow: *&s=                            # см. выше
Disallow: /search/                        # поиск
Disallow: /author/                        # архив автора
Disallow: */trackback                     # уведомления в комментариях 
Disallow: */feed                          # все фиды
Disallow: */rss                           # rss фид
Disallow: */embed                         # все встраивания
Disallow: /xmlrpc.php                     # файл WordPress API
Disallow: *utm*=                          # ссылки с utm-метками
Disallow: *openstat=                      # ссылки с метками openstat
Allow: */uploads                          # открываем папку с картинками
Allow: /*/*.js                            # открываем js-скрипты
Allow: /*/*.css                           # открываем css-файлы
Allow: /wp-*.png                          # изображения в плагинах
Allow: /wp-*.jpg                          # картинки в плагинах
Allow: /wp-*.jpeg                         # изображения в плагинах
Allow: /wp-*.gif                          # картинки в плагинах
Allow: /wp-*.svg                          # изображения в плагинах
Allow: /wp-*.pdf                          # файлы в плагинах
Allow: /wp-admin/admin-ajax.php           # используется плагинами
Sitemap: http://example.com/sitemap.xml   # путь к карте сайта

Как проверить Robots.txt на ошибки

В Панелях Вебмастера Яндекс и Google есть специальные инструменты для тестирования файла robots:

Создавая robots.txt будьте внимательными и придерживайтесь официальных рекомендаций.

Оценка:
( 3 оценки, среднее 2.33 из 5 )
Подписка на KRASHENININ.TECH

Получайте регулярные обновления на почту!


Виталий Крашенинин/ автор статьи
Основатель блога, публицист, IT-специалист. Предоставляю услуги по администрированию, техническому обслуживанию, поисковой оптимизации и продвижению веб-сайтов.
Не забудьте поделиться материалом в соцсетях:
KRASHENININ.TECH - блог о веб-технологиях, и не только
Подписаться
Уведомление о
guest
0 Комментарий
Встроенные отзывы
Просмотреть все комментарии
0
Есть мысли? Прокомментируй!x
()
x
Читайте ранее:
360 Total Security – лучший антивирус в 2019 году

360 Total Security реально лучший антивирус. Относится к той категории, когда "поставил и забыл". Использую его стабильно уже 3 года....

Закрыть