Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем “robots.txt” (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
Формат файла robots.txt - особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких [...]
Обсудить
Читайте также
КОНТЕКСТ.ru - это новостной сайт нового формата, посвященный контекстной рекламе и рекламе в интернете. Управление сайтом осуществляется самими участниками
Комментарии