Robots.txt для сайта wordpress
Опубликовано: 22.10.2017
robots.txt для сайта wordpress. Ранее мы говорили об ускорении и улучшении процесса индексации статей. Причем рассматривали этот вопрос так, как будто поисковый робот ничего не знает и не умеет, а мы ему должны подсказать. Наверное вы еще не догадывается, что делает робот когда попадает на ваш сайт? А робот-паук, получив сигнал о том, что есть сайт, который надо посетить, тут же ставит его в очередь на индексацию. Именно поэтому индексация происходит не мгновенно по нашему требованию, а через какое-то время. И как только очередь доходит до вашего сайта этот робот-паук тут как тут. Он не стучится и не спрашивает разрешения, так как ему по умолчанию всё разрешено. А сразу вламывается на сайт, как полноправный хозяин и начинает шарить по всем закоулкам, по всем папкам и файлам, выискивая тексты и всевозможные ссылки.
Естественно делает он это в пределах какого-то ограниченного промежутка времени. Именно поэтому, если вы создали сайт на несколько тысяч страниц и выложили его целиком, то робот просто не успеет обойти все страницы за один заход. И в индекс попадут только те, которые он успел просмотреть. А ходит робот по всему сайту и тратит на это свое время. И не факт что в первую очередь он будет просматривать именно ваши странички, которые вы так ждете в результатах поиска.
Сделав полную копию всего, что ему удалось найти, он покидает ваш сайт, до следующего посещения. Как вы понимаете после такого обшаривания в базу индекса поисковика попало всё, что надо и всё, что не надо. То что надо вы знаете - это ваши статьи и страницы. А вот чего индексировать не надо? Оказывается это вся служебная информация и в первую очередь все файлы нашей любимой WordPress. Копии статей и страниц в архивах создают впечатление, что у вас очень много статей с одинаковыми текстами. Картинки оформленные в отдельные статьи (они в таком виде без текста и описания выглядят абсолютно некорректно).