Не для кого не секрет, что поисковые системы перестали воспринимать robots.txt как средство для запрета индексации страниц и разделов. Отныне robots.txt может помочь лишь в запрете на индексацию содержимого страницы, но сами разделы и страницы будут попадать в индекс поисковых систем. Для того, чтобы исключить из выдачи лишние страниц и избавиться от дублей сайта, следует использовать тег meta name=”robots”.
Сам тег выглядит следующим образом — <meta name="robots" value="значение"> и должен находится между тегами <head> и </head>. Кроме того, meta name=”robots” позволяет использовать более тонкую настройку по индексации страниц, нежели robots.txt
Возможные значения meta name=”robots”
Как уже было сказано выше, значения тега могут варьироваться в зависимости от ваших требований, при этом каждое значение обладает своими особенностями, которые оно передает для поисковых систем.
index
Указывает поисковым системам на то, что содержимое данной страницы необходимо включать в индекс. Данный параметр можно не использовать на всех страницах, так как его отсутствие подразумевает полную индексацию.
noindex
Говорит поисковым системам о том, что данную страницу не следует включать в индекс.
noimageindex
Запрещает ботам ПС индексировать изображения, расположенные на данной странице. Конечно, если изображение доступно по альтернативным ссылкам, оно все-таки будет проиндексированно и если вы хотите полностью убрать изображение из выдачи, вам придется проставить данный параметр на всех страницах, которые отображают изображение.
none
Сокращенное значение параметра noindex,nofollow, которое указывает на полный запрет к индексации страницы, а также на переход по всем ссылкам, которые на данной странице присутствуют.
follow
Говорит ботам поисковых систем о том, что по всем ссылкам на данной странице стоит проследовать, вне зависимости от параметров index или noindex.
nofollow
Полная противоположность предыдущего параметра. Необходим для запрета перехода по ссылкам на странице.
noarchive
Запрещает использовать в выдаче ПС ссылку на сохраненную копию страницы.
nocache
Запрет на использование сохраненной копии для поисковой системы BING, не актуально для большинства русскоязычных сайтов.
nosnippet
Ограничивает отображение сниппета на страницах выдачи.
noodp
Запрещает использовать в качестве сниппета описание сайта находящегося в каталоге DMOZ.
noydir
Запрещает использовать в качестве сниппета описание сайта, принятого в каталог Yahoo для данного поиска. Яндекс и Google не поддерживают данный параметр. Не актуально для большинства русскоязычных сайтов.
noyaca
Параметр, запрещающий Яндексу использовать в качестве сниппета описание сайта, принятого в Яндекс.Каталог. Я писал отдельную статью о том, как составить правильный сниппет под Яндекс.
Поддержка значений различными поисковыми системами
Не все поисковые системы могут понимать те или иные значения, которые вы будете указывать на странице. Благодаря данной таблице вы можете наглядно понять, какие именно параметры понимает конкретная ПС.
Вы также можете использовать определенные значения для конкретного поискового бота, заменяя значение robots на имя бота от каждой ПС.
- Google — GOOGLEBOT
- Yandex — YANDEX
- Yahoo! — SLURP
- Bing — MSNBOT
Использование meta name=”robots”
Если теория использования данных значений для meta name=”robots” понятна, то на практике могут возникнуть вопросы о его правильном использовании.
Как я уже говорил, <meta name="robots" value="значение"> должен находиться в шапке сайта, между открывающимся и закрывающимся тегом <head>.
Кроме того, поисковые системы обрабатывают данные мета теги таким образом, что если на странице будет конфликт между параметрами, то поисковый бот будет смотреть именно на положительно значение. Например, если вы укажите на странице сразу 2 тега <meta name="robots" value="all"> и <meta name="robots" value="noindex,nofollow">, то страница все равно попадет в индекс поисковой системы.
Автоматизация работы meta name=”robots”
Как вы уже поняли, meta name=”robots” должен находиться на всех страницах, которым вы хотите проставить определенные параметры для индексации. Но прописывать вручную значения для каждой страницы не всегда возможно, так как практически все CMS используют шаблонизаторы, которые отдают одинаковые значения как для нужных, так и для бесполезных страниц.
Для того, чтобы закрывать лишние страницы и дубли сайта при помощи <meta name="robots" value="noindex,nofollow"> я использую следующую наработку, которой с радостью готов с вами поделиться.
Закрываем страницы навигации и пагинации
<?php global $page, $paged;
if (is_category() and ($paged >= 2 || $page >= 2)) {echo ‘<meta name=»robots» content=»noindex,follow» />’;}
?>
Данный код необходимо поместить в шапке сайта, между тегами <head>и </head>, сам код позволяет отслеживать все страницы, в URL которых будет замечено значение page равное или большее 2. Благодаря подобной конструкции, я оставляю открытым к индексации определенный раздел сайта, но запрещаю индексацию его дополнительных страниц. Аналогично и с главной страницей сайта.
Запрещаем к индексации дублированные страницы
<?php
$___tmp_url = explode(‘?replytocom=’,strip_tags($_SERVER['REQUEST_URI']));
if (sizeof($___tmp_url) == 2) {echo ‘<meta name=»robots» content=»noindex,nofollow» />’;}
?>
Благодаря данному коду, я могу закрывать от индексации все страницы, в URL которых будет встречаться параметр ?replytocom=, вы можете заменить эту переменную на ту, которая создает дублированные страницы на вашем сайте.
Запрет на индексацию конкретной страницы
<?php if( is_404() ) { ?>
<meta name=»robots» content=»noindex,nofollow» />
<?php } ?>
Использование данного кода позволяет закрывать от индексации все 404 ошибки, которые могут встретиться на сайте. Вы можете использовать собственные значения, чтобы ограничивать страницы от индексации.
Запись Инструкция использования тега meta name=”robots” впервые появилась Netbloga — В гармонии с SEO.
