Robots.txt находится в корневой части вашего сайта. Служит данный файл подсказкой для поисковых роботов к разрешению или запрету индексации отдельных частей вашего ресурса. Набор команд в robots.txt не такой большой и вполне понятный. Как правило, используется следующие варианты написания предпочтений для поисковых ботов:

User-agent: «здесь пишется имя поискового робота для которого ниже будут распространяться заданные правила», в случае если одно и то же правило необходимо указать для всех роботов, то ставится знак «*».

Disallow: «в данном пункте перечисляются адреса страниц (URL частично или полностью), которые поисковым ботом посещаться не должны», присутствие данного пункта – обязательно, если поле оставить пустым, то робот будет понимать такую команду как разрешение на посещение всех страниц сайта.

Как правило, файл robots.txt посещают и пользуются его «рекомендациями» только известные поисковые системы, для остальных ботов данный файл не является каким бы то ни было правилом для индексации, либо вообще не берётся в расчёт поиска.

В связи с тем, что к robots.txt может получить доступ практически любой человек, не стоит указывать в этом файле запрещённые к индексированию «секретные данные» представляющие для вас интерес и ценность, так как мошенники в первую очередь обращают внимание на такого рода «подсказки».

Кстати, в интернете недавно нашёл одно интересное видео - прицел ELCAN - фотогалерея оптических прицелов!

• Недостатки сайтов uCoz перед другими CMS
• Откуда берётся доход у компании uCoz
• Плюсы установки готовых шаблонов uCoz
• С чего начинается создание сайта
• Основные признаки того, что сайт на uCoz и как их устранить
• Баннер рекламы uCoz и надо ли платить за его отключение
• Правильный выбор шаблона для uCoz
• Статистика сайтов и компании uCoz
• Какой шаблон выбрать для сайта uCoz. Совет дизайнера.
• Создать коммерческий сайт на uCoz

При копирование материалов с сайта необходимо указать активную ссылку источника - Скрипты для uCoz 2013 и Для чего нужен robots.txt?


Расскажи друзьям интересные новости:



- Установить на свой сайт блок социальных закладок