Новости интернет

Заголовки Last-Modified и If-Modified-Since

В процессе индексации любого сайта поисковый робот постоянно  регламентирует количество запрашиваемых в течение одного обхода документов в соответствии с выделенной квотой, которая зависит от самых разных параметров сайта. И важно при этом учитывать рационально расходование квоты на индексацию, поскольку в сети по-прежнему много сайтов, где размер квоты в несколько раз меньше общего (суммарного) количества документов, которые доступны для индексации. Так, например, если речь идет об интернет-магазине «Екип Спорт», где ежедневно обновляется ассортимент, где можно приобрести спортивные товары и одежда самых различных направлений активного отдыха — вся подробная информация на сайте http://ekip-sport.com.ua/, как раз и перерабатываются постоянно сниппеты, в связи с чем правильно расходуется квота. Надо стремится к тому, чтобы робот скачивал не только еще не проиндексированные новые документы, но также и те документы, которые реально изменились со времени предыдущей индексации, чтобы квоту не расходовать «впустую», не тратя ее на переиндексацию оставшегося без изменений контента. И для того, чтобы правильно (грамотно) управлять индексацией, важно понимать, какие процессы  происходят и можно ли на них воздействовать.

В последнее время SEO-специалисты, причем позиционирующие себя как крепкие профессионалы в своей отрасли, демонстрируют не совсем адекватное понимание того, как надо правильно управлять индексированием новых и старых страниц сайта. При этом они ведут речь только лишь об отдаче заголовка Last-Modified и упускают из внимания обработку запросов с заголовком If-Modified-Since.

Для того, чтобы не допускать ошибок, надо понимать, что представляет из себя Last-Modified и его роль при индексации страниц сайта.

Заголовок Last-Modified определяет время последних изменений документа. Эта информация, безусловно, в определенной мере полезна, в том случае, если заголовок Last-Modified не отдавать, то, например, в Яндексе в сниппете не будет отражаться дата документа, соответственно, он будет отсутствовать в результате поиска, которые сортируются по дате. Но при этом надо понимать, что собственно управлять индексацией посредством этого заголовка невозможно. Поисковый робот для документов, которые он еще не индексировал, сперва без всяких условий  задает запрос GET. А вот уже при повторном обращении к этому же документу, он задает запрос по заголовку If-Modified-Since, где и указывает дату прежней индексации документа.


Предыдущий постСамые вредные смартфоны Следующий постНовости за неделю


Наши клиенты