Правила индексирования, не описываемые в конфигурационном файле
h2>5.3.2. Файл robots.txt
При индексировании документов по протоколу HTTP Яndex.Server 3.1 поддерживает стандарт исключений для роботов. В соответствии с этим стандартом, правила, управляющие поведением поискового робота, должны располагаться в файле /robots.txt, лежащем в корне Web-сервера.
Детальное описание спецификации файла можно прочитать,например, по адресу: http://www.citforum.ru/internet/search/rbtspec.shtml.
В простейшем виде (разрешено все, кроме директории скриптов) файл robots.txt выглядит следующим образом: User-Agent: * Disallow: /cgi-bin/
Если нужно, чтобы Яndex.Server 3.1 при индексировании вашего сайта не учитывал общие правила для поисковых роботов, модифицируйте robots.txt, добавив специальное правило для User-Agent, заданного при конфигурировании HTTP-запросов. Например, в следующем примере директория скриптов закрывается от всех роботов, кроме робота MyYandexServer, которому открыто все User-Agent: * Disallow: /cgi-bin/ User-Agent: MyYandexServer Disallow:
При написании robots.txt обратите внимание на следующие часто встречающиеся ошибки.
Строка с полем User-Agent является обязательной и должна предшествовать строкам с полем Disallow. Так, приведенный ниже файл robots.txt не запрещает ничего: Disallow: /cgi-bin Disallow: /forum
Пустые строки в файле robots.txt являются значимыми, они разделяют записи, относящиеся к разным роботам. Например, в следующем фрагменте файла robots.txt строка "Disallow: /forum" игнорируется, поскольку перед ней нет строки с полем User-Agent. User-Agent: * Disallow: /cgi-bin Disallow: /forum
Строка с полем Disallow может запретить индексирование документов только с одним префиксом. Для запрета нескольких префиксов нужно написать несколько строк. Например, нижеприведенный файл запрещает индексирование документов, начинающихся с "/cgi-bin /forum", которых, скорее всего, не существует (а не документов с префиксами "/cgi-bin" и "/forum"). User-Agent: * Disallow: /cgi-bin /forum
В строках с полем Disallow записываются неабсолютные, а относительные префиксы. То есть файл: User-Agent: * Disalow: www.myhost.ru/cgi-bin запрещает, например, индексирование документа http://www.myhost.ru/www.myhost.ru/cgi-bin/counter.cgi, но НЕ запрещает индексирование документа http://www.myhost.ru/cgi-bin/counter.cgi
В строках с полем Disallow указываются именно префиксы, а не что-нибудь еще. Так, файл: User-Agent: * Disallow: * запрещает индексирование документов, начинающихся с символа * (которых в природе не существует), и сильно отличается от файла: User-Agent: * Disallow: / который запрещает индексирование всего сайта.
Copyright © 1997 ? 2004 «Яндекс»
| Назад | Содержание | Вперед |
| Директивы конфигурационного файла | Уровень выше | Конфигурация HTTP-запросов |
|
|
| Copyright © 1997?2004 «Яндекс» | Обратная связь |
