О чем будет сегодняшний блог? О HTTP-заголовках. Таком, на первый взгляд, не существенном, но, как оказывается, достаточно важном. Сидя в своем укромном компьютерном уголке и прихлебывая вкусный кофе, я решил проверить несколько клиентских сайтов. И начал с проверки кодов ответа сервера, HTTP-заголовков. Признаюсь, честно, ужаснулся. Дальше расскажу почему, а также как скрыть лишние http-заголовки и что они означают.
Многие сеошники и, к сожалению, администраторы веб-серверов, забывают о HTTP-заголовках или игнорируют их. А по факту: некоторые HTTP-заголовки не только бессмысленны, но и предоставляют конфиденциальную информацию любому желающему. Например, я смог узнать версию веб-сервера сайта-конкурента, версию PHP, какой софт у него на сервере, и даже название шаблона сайта. Количество этих заголовков иногда зашкаливает и влияет на общую скорость загрузки сайта. Так зачем вся эта лишняя информация?
Но я не призываю удалять ВСЕ HTTP-заголовки. Нет, они нужны – в первую очередь для контроля, чтобы понимать как сайт передает кеш и как браузер обрабатывает данные. И во-вторую очередь для безопасности. В этой статье речь пойдет именно об оптимизации HTTP-заголовков.
Проверить их можно разными способами. Самый простой – открыть онлайн-сервис BERTAL.RU и вбить домен сайта. Получим ответ сервера:
Это HTTP-заголовки моего сайта (HTTP расшифровывается как “Hypertext Transfer Protocol” – протокол передачи гипертекста). Как видим, ничего лишнего. Код ответа 200 ОК, а в заголовках только актуальная информация, нужная браузеру, чтобы корректно обработать и отобразить страницу.
Давайте теперь посмотрим ответ другого сайта:
И еще один пример:
На скриншотах очевидная “каша” из различной информации. Какие-то линки, редиректы (их даже несколько :). Видимо, сеошник вообще “забил” на HTTP-заголовки. Остальные “перлы” можно просмотреть тут.
У владельцев подобных сайтов часто возникают вопросы – а почему странички не в индексе, почему такие низкие позиции? Все очень просто. Проигнорирована техническая оптимизация сайта. Веб-разработчики, администраторы, сеошники должны обеспечить поисковику, в первую очередь, корректный и правильный доступ к сайту! Это влияет на частоту и качество индексирования. Если в HTTP-заголовках домена много непонятных “буков” и редиректов, то при индексировании, поисковый бот может испытать трудности, что скажется на попадание веб-страниц в индекс. Сам процесс краулинга очень важен и если вы его проигнорируете – успешного продвижения вам не видеть как своих ушей. Рекомендую ознакомиться с технической документацией Google.
Давайте теперь подробнее разберемcя: какие HTTP-заголовки бывают и что они означают.
Список HTTP-заголовков
Я специально полез на Habr и собрал всю информацию по заголовкам:
| Заголовок | Значение | Статус |
|---|---|---|
| date | Текущие дата и время | Требуется по протоколу |
| content-type | Язык разметки, тип контента | Обычно требуется браузером |
| server | Сигнатура веб-сервера | Необязателен |
| content-length | Размер контента в байтах | Полезен |
| last-modified | Последнее изменение страницы | Полезен |
| cache-control | Управляет кешированием сайта. Указывает правила кеширования. Эффективность проверить можно тут. | Полезен |
| content-encoding | Кодировка страницы | Требуется для сжатого контента |
| expires | Дата предполагаемого срока истечения актуальности контента. Если в ответе с сервера установлен заголовок Cache-Control с директивами “max-age” или “s-maxage” , заголовок Expires игнорируется. | Необязателен |
| x-powered-by | Версия PHP сайта | Необязателен |
| pragma | Является заголовком HTTP/1.0 и отвечает за кеширование. Тем не менее, не может служить надежной заменой заголовку “Cache-Control: no-cache”, хотя и ведет себя аналогичным образом когда поле заголовка Cache-Control опущено в запросе. На некоторых CMS включен по-умолчанию и взаимодействует с Cache Control. Впринципе, выполняет какую-то работу. | Полезен для HTTP 1.0 |
| x-frame-options | Защита от кликджекинга | Полезен |
| access-control-allow-origin | Проверка, может ли ресурс быть доступен для контента на текущем домене. | Полезен |
| x-content-type-options | Блокировка перехвата содержимого MIME | Полезен |
| link | Указывает на логически связный с сущностью ресурс | Полезен |
| age | Количество секунд с момента последней модификации ресурса | Полезен |
| x-cache | Непонятный заголовок, который добавляют CDN-сервисы | Необязателен |
| x-xss-protection | Защита от XSS-атак | Полезен |
| strict-transport-security | HSTS заголовок, который уведомляет ботам, что доступ к сайту должен быть только по https. Форсирует безопасность сайта. | Полезен |
| via | Общее поле HTTP заголовкаVia служит для отображения списка версий протокола HTTP, названий и версий прокси-серверов, через которые прошло сообщение. | Необязателен |
| p3p | Нужен для IE8 чтобы принимать cookies третьих лиц. Устаревший. | Необязателен |
| expect-ct | Нужный для декларирования клиенту, что используется механизм Certificate Transparency – то есть сервер получил сертификат через публично журналируемый CA, и запись о выдаче данного сертификата есть и доступна. | Полезен |
| content-language | Язык контента | Спорно |
| x-aspnet-version | Версия сервера ASP.NET | Необязателен |
| access-control-allow-credentials | Проверка безопасности. Нужен для работы некоторых jquery-плагинов. | Полезен |
| x-robots-tag | Заголовок X-Robots-Tag используется как элемент HTTP-ответа для определенного URL. В заголовках X-Robots-Tag поддерживаются те же директивы, что и в метатегах robots. | Не имеет значения для браузеров, используется поисковыми ботами Google |
| x-ua-compatible | Призывает Internet Explorer работать в определённом режиме документа. Остальные браузеры должны игнорировать данную прагма директиву. | Необязателен |
| access-control-allow-methods | Контроль безопасности | Полезен |
| access-control-allow-headers | Контроль безопасности | Полезен |
Жирным обозначены заголовки, которые можно без риска удалить из ответа сервера.
Как убрать HTTP-заголовки?
Чтобы ничего не нарушить, я провел клиентским сайтам только базовую очистку. Убрал – Server, x-powered-by и P3P. Первый предоставляет информацию о веб-сервере (сигнатура). Второй – показывает версию PHP, на котором работает сайт. Третий – вообще устаревший заголовок, который был создан специально для Internet Explorer и в IE11 больше не поддерживается.
Ниже поделюсь инструкцией, как убрать эти заголовки самостоятельно.
Убираем http-заголовок Server
Если у вас веб-сервер стандартно на Apache, нужно найти системный файл httpd.conf и добавить в него или изменить 2 строки:
ServerTokens ProdServerSignature OffЕсли веб-сервер NGINX, то вносим эти 2 директивы в файл nginx.conf.
Убираем версию Php
<IfModule mod_headers.c> Header unset X-Powered-By Header unset Server </IfModule>
expose_php на OffУбираем устаревший P3P
HTTP-заголовки на самом деле можно удалить и посредством PHP с помощью функции header_remove. Добавляем в самый верх шаблона сайта (header.php или index.php) следующий код:
<?php
header_remove("P3P");
?>
Проверяем http-заголовки
