Управление индексацией сайта
К примеру, у вас есть форум на сайте, где постоянно обсуждаются полезные темы. Именно они должны в первую очередь улететь в индекс. А документы, содержащие служебные страницы, информацию о пользовательских аккаунтов или списки участников не будут нести пользы для потенциального посетителя, а значит, не должны быть проиндексированы поисковиками.
Другой пример – на некоторых ресурсах, для статей существует ссылка на версию для печати. Это та же самая статья, но не содержащая элементов графики, ссылок и рекламы. Пользователь, попавший на эту страницу из поисковика, не сможет перейти на другие страницы сайта. Следовательно, их также стоит исключить из индекса.
В сайтостроении управление поисковым роботом происходит посредством прописывания специальных инструкций в фале «robots.txt» или в мета-теге, «META NAME=”ROBOTS”».
Мета-тег ROBOTS
В мета-тегах содержится служебная информация, невидимая пользователю. Мета-тег <meta name=”robots” content=””> управляет индексацией страницы, путем прописывания команд в атрибуте content=”…”. Можно запрещать и разрешать поисковым роботам проходить по ссылкам на конкретной странице или вообще запретить ее индексацию.Конкретные советы по использованию мета-тега ROBOTS читайте на сайтах поисковых систем.
Файл robots.txt
Этот файл располагается в корневой папке сайта и хранит в себе инструкции по индексированию сайта поисковыми системами. Поисковая машина обращается к этому файлу каждый раз, перед тем, как начать работать с сайтом.Файл robots.txt не содержит инструкций для разрешения индексации. Поэтому в случае его отсутствия, поисковику будут доступны все страницы, без исключений.
Вот пример содержимого файла robots.txt:
User-agent: StackRamblerЗдесь говориться, что для поисковика Rambler запрещено индексировать директорию cgi-bin. Данная инструкция прописана только для Рамблера, это означает, что другие поисковики будут индексировать папку cgi-bin, вместе с остальными директориями.
Disallow: /cgi-bin/
Исключение из поиска ненужных документов может повлиять на ранжирование вашего сайта в поисковой выдаче. В последние годы, что бы помочь веб-мастерам, поисковики начали выпускать специальные руководства, средства разметки сайтов и форумы, содержащие полезные советы. Настоятельно рекомендуем вам ознакомиться с этой информацией:
FAQ по вопросам индексирования сайта в «Яндекс»: http://help.yandex.ru/webmaster/?id=1111307
«Как сделать так, чтобы Rambler находил мои документы?»: http://www.articlesworld.ru/articles/reclama/1_15/print/pr_rambler.php
«Google: справочный центр для веб-мастера»: http://support.google.com/webmasters/?hl=ru
По материалам сайта http://xbb.uz.
Комментарии: 0:
Отправить комментарий
Подпишитесь на каналы Комментарии к сообщению [Atom]
<< Главная страница