Закрыть сайт WordPress от индексации в robots.txt
закрыть сайт WordPress от индексации

Как закрыть сайт WordPress от индексации поисковиков, урок 76

Вступление

Рад вас приветствовать и рад продолжить сотню уроков WordPress. Поисковые боты сканируют в Интернет всё подряд. Однако владельцы и администраторы сайтов могут контролировать этот процесс. Ограничить доступ к своему сайту можно через специальный файл robots.txt. Файл создаётся в рабочем порядке и не входит в коробочную версию CMS. Как закрыть сайт WordPress от индексации в robots.txt в этой статье.

закрыть сайт WordPress от индексации в robots.txt

Зачем закрывать сайт от поисковых ботов

Нужно чётко понимать, что закрытие сайта от поисковых роботов, означает запрет на сканирование всего сайта роботами при их обходе.

Есть несколько наиболее распространённых причин по которым нужно закрывать сайт от поисковых ботов.

Во-первых, разумно закрывать сайт на время его создания, то есть сразу после установки CMS WordPress. Во время подготовки сайта создаётся много мусорных файлов, которые не нужно обрабатывать ботам и тем более не нужно, чтобы они попадали в индекс.

Во-вторых, сайт закрывают от сканирования при смене домена;

В-третьих, у вас сайт ограниченного доступа и вам не нужно его попадание в поиск.

Почему роботы исполняют директивы файла robots.txt

С 1 июля 2019 года вступил в действие стандарт Интернет называемый «стандарт исключений для ботов (Robots Exclusion Protocol)». Касается этот стандарт (ранее протокол) именно файла robots.txt и его исполнения.

Поисковики Яндекс и Google этот стандарт поддерживают, а значит их алгоритмы учитывают обработку страниц сайта с учётом директив файла robots.txt.

Кстати, Яндекс и Google по-разному исполняют директивы файла robots.txt:

  • Яндекс не сканирует закрытые в файле страницы сайта (или весь сайт). И исключает эти страницы (или весь сайт) из индекса.
  • Google не сканирует закрытые в файле страницы сайта (или весь сайт), НО не исключает их из индекса. Для исключения материалов сайта из индекса Google используются директивы noindex.

Приоритет файла robots.txt

Формально нет приоритета файла robots.txt перед мета-тегом noindex. Однако есть последовательность исполнения, которую нужно учитывать.

Если вы закроете раздел сайта в файле robots.txt, то поисковые боты не смогут его проскандировать, чтобы прочитать директивы noindex.

Кроме этого, для ПС Google директива noindex не только закрывает страницу (раздел, каталог) сайта от обработки, но и убирает её из индекса.

Как закрыть сайт WordPress от индексации поисковиков в файле robots.txt

Чтобы закрыть сайт от сканирования, а значит от индексации, необходимо:

В текстовом редакторе в кодировке UTF-8 создать файл с названием robots.txt;

Поместит в этот файл две строки:

User-agent: *
Disallow: /

Сохранить файл и по FTP залить его в корневую папку вашего сайта.

При составлении файла robots нужно помнить:

  • Его объем не должен превышать 32кб (правило Яндекс);
  • Боты учитывают регистр правил, но не учитывают регистр самих директив (Disallow=disallow);
  • Кириллица в файле robots.txt запрещена.

Закрыть сайт WordPress от индексации без файла robots.txt

Если у вас нет доступа к каталогу сайта, в административной панели сайта WordPress есть специальный инструмент, который называется «Видимость для поисковых систем». Находится он на вкладке Настройки>>>Чтение. Читать: Базовые настройки wordpress

Закрыть сайт WordPress от индексации

Это инструмент добавит в head вашего сайта такой мета тег:

<meta name='robots' content='noindex,nofollow' />

Это совершенно не гарантирует, что все поисковики не будут обрабатывать ваш сайт. Поэтому для всего сайта используйте этот инструмент системы совместно с файлом robots.txt. Повторюсь, если у вас есть доступ к корню сайта.

Заключение

Теперь вы знаете, как закрыть сайт WordPress от индексации в robots.txt. Всего две строки помогут начать индексацию сайта после его создания и оформления.

©wpkupi.ru

Еще статьи

Похожие посты:

Оставьте комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.