Robots.txt для WordPress и все об этом!

Автор: | Дата: 24.11.2016

Robots txt для WordPress что это? Какой файл? Где он находится? Какие функции выполняет? Все это мы будем разбирать в этой статье!

Для тех, кто только встал на начальный этап ведения и развития своего интернет ресурса, много различных файлов, терминов и определений остаются не понятными. Что же давай те разберемся что это за зверь и с чем его едят!

Сделав свой блог, в начале я и не задумывался о том, что такой файл есть, где он находится и для чего он нужен. Набравшись опыта, так сказать стажа ведения блога, изучив много информации , наконец привел этот файлик в надлежащий и правильный вид. И теперь имею право делиться своим опытом со своими читателями.

Начнем с азов и рассмотрим что такое файл Robots txt для WordPress:

Попросту — это стандарт, в котором есть исключения для роботов поисковых систем, который был принят в далеком 1994 году и до сих пор используется поисковыми машинами, так как замены нет и вряд ли когда то появиться. Говоря еще проще с помощью этого маленького документика можно указать поисковикам что можно просматривать на вашем ресурсе и что нельзя.

Если такого файла у вас нет, значит поисковые машины приходя на ваш сайт будут индексировать все что им попадется на пути, в плоть до файлов самого движка(а файлов и папок в движке много) и не факт что они дойдут до новых статей, которые вы так упорно писали. Это нам не нужно, а поисковым системам тем более. Так что давайте приручим и Yandex и Google к правильному просмотру нашего сайта!

Robots rxt для WordPress — расположение, создание и настройка.

Первым делом загляните в самый главный раздел своего сайта. Если вы работайте на движке WordPress, то этот раздел(еще по другому его называют корень сайта) папка httpdocs расположенная на хостинге. Если там есть такой файл, то вам нужно просто его перепроверить, правильный ли он или нет, а если нет то создать.

Что же приступим. На рабочем столе создаем текстовый документ (Правая кнопка мыши — создать — текстовый документ) и переименовываем его в robots.txt.

Дело сделано и должно получиться примерно так:

  • Открываем его и добавляем специальный код, который в будущем будет оповещать поисковые системы о том какие файлы нужно индексировать.
  • Скачиваем его и копируем в свой robots.txt (скачать Robots.txt)
  • Незабываем поменять в строчке HOST и SITEMAP домен на свой. Если ваш домен начинается с https:// или http://www.ваш домен.ru так и вписываем в robots.txt!

Не беспокойтесь этот robots.txt составлен абсолютно правильно, сами разработчики wordpress рекомендуют именно такой файл. После того как файл создан, закидываем его в корень своего сайта. Теперь и вы знаете как создать robots txt для wordpress. Так как алгоритмы поисковиков стремительно развиваются, robots.txt для wordpress может меняться.