ОптимизацияПолезно

Как закрыть весь сайт от индексации поисковиками

Как закрыть весь сайт от индексации поисковикамиИндексация сайта поисковыми система - это процесс занесения их в поисковую базу. После чего они начинают ранжироваться с другими документами. Обычно у вебмастеров возникает противоположный вопрос с ускорением индексации. В этой статье мы рассмотрим обратный вопрос: как запретить индексацию сайта.

Зачем запрещать индексацию сайта?

Такая задача возникает редко. Чаще всего требуется закрывать сайт частично. Основными причинами могут быть: смена структуры, дизайна, технические работы.

Способы запретить индексацию сайта

Глобально есть два способа запретить индексацию сайта. Рассмотрим каждый в отдельности.


1. Через мета тег robots

В разделе заголовочных тегов <head> есть специальный мета тег robots. В нем можно запретить или разрешить индексацию. Также можно запретить роботу переходить по ссылкам.

На всех страницах сайта нужно прописать следующее:

<head> <meta name="robots" content="noindex,nofollow"> Или более кратко: <meta name="robots" content="none"> </head>


2. Через файл robots.txt

Файл robots.txt находится в корне сайта:

http://www.site.ru/robots.txt

Предназначение этого файла - управление индексацией. В нём можно задавать правила, которые будут запрещать к индексации какие-то каталоги или же какие-то группы страниц.

Причём можно задавать правила для отдельной поисковой системы (Яндекс, Гугл, Мэйл). Чтобы запретить индексацию всего сайта в Яндексе нужно написать в файле robots.txt:

User-agent: Yandex Disallow: /

Если нужно запретить во всех поисковых системах, то нужно написать звездочку:

User-agent: * Disallow: /

 

 

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
SEO & WEB

Наш сайт использует файлы cookies, чтобы улучшить работу и повысить эффективность сайта. Продолжая работу с сайтом, вы соглашаетесь с использованием нами cookies и политикой конфиденциальности.

Принять