Управление индексацией сайта

Каждый веб-мастер, желающий продвинуть свой сайт в топ поисковых систем, должен уметь управлять поведением поисковых роботов. Это полезное умение очень важно, т.к. далеко не все страницы сайта следует отдавать поисковику.
К примеру, у вас есть форум на сайте, где постоянно обсуждаются полезные темы. Именно они должны в первую очередь улететь в индекс. А документы, содержащие служебные страницы, информацию о пользовательских аккаунтов или списки участников не будут нести пользы для потенциального посетителя, а значит, не должны быть проиндексированы поисковиками.
Другой пример – на некоторых ресурсах, для статей существует ссылка на версию для печати. Это та же самая статья, но не содержащая элементов графики, ссылок и рекламы. Пользователь, попавший на эту страницу из поисковика, не сможет перейти на другие страницы сайта. Следовательно, их также стоит исключить из индекса.
В сайтостроении управление поисковым роботом происходит посредством прописывания специальных инструкций в фале «robots.txt» или в мета-теге, «META NAME=”ROBOTS”».

Мета-тег ROBOTS

В мета-тегах содержится служебная информация, невидимая пользователю. Мета-тег <meta name=”robots” content=””> управляет индексацией страницы, путем прописывания команд в атрибуте content=”…”. Можно запрещать и разрешать поисковым роботам проходить по ссылкам на конкретной странице или вообще запретить ее индексацию.
Конкретные советы по использованию мета-тега ROBOTS читайте на сайтах поисковых систем.

Файл robots.txt

Этот файл располагается в корневой папке сайта и хранит в себе инструкции по индексированию сайта поисковыми системами. Поисковая машина обращается к этому файлу каждый раз, перед тем, как начать работать с сайтом.
Файл robots.txt не содержит инструкций для разрешения индексации. Поэтому в случае его отсутствия, поисковику будут доступны все страницы, без исключений.
Вот пример содержимого файла robots.txt:

User-agent: StackRambler
Disallow: /cgi-bin/

Здесь говориться, что для поисковика Rambler запрещено индексировать директорию cgi-bin. Данная инструкция прописана только для Рамблера, это означает, что другие поисковики будут индексировать папку cgi-bin, вместе с остальными директориями.
Исключение из поиска ненужных документов может повлиять на ранжирование вашего сайта в поисковой выдаче. В последние годы, что бы помочь веб-мастерам, поисковики начали выпускать специальные руководства, средства разметки сайтов и форумы, содержащие полезные советы. Настоятельно рекомендуем вам ознакомиться с этой информацией:
FAQ по вопросам индексирования сайта в «Яндекс»: http://help.yandex.ru/webmaster/?id=1111307
«Как сделать так, чтобы Rambler находил мои документы?»: http://www.articlesworld.ru/articles/reclama/1_15/print/pr_rambler.php
«Google: справочный центр для веб-мастера»: http://support.google.com/webmasters/?hl=ru
По материалам сайта http://xbb.uz.