Информация robots.txt

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]

Страница 1 из 1
1

Евгений

Дата: Среда, 27.02.2013, 21:44 | Сообщение # 1

Лейтенант

Группа: Администраторы

Сообщений: 41

Статус: Offline

Большинство хороший поисковиков при входе на ваш сайт видят файл robots.txt – Я думаю все кто имеет свой сайт и надеется на его хорошую оптимизация должны сделять хороший для поисковиков или под себя фай robots.txt

Файл Robots – Текстовый файл или же информация где имеется информация для поисковиков или как говорят роботов. Сама информация в файле robots запрещает заход робота на ту сылку которую вы написали. Или направление домена. Вы делаете скажем задачу для бота поисковиков:

Рекомендуете ему соблюдать временной интервал между процесом с файлами или документами. (ссылками)

Стандартный роботс для любого сайта

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /main/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat

Названия ботов Поисковых Систем для robots.txt:
Yandex – user-agent: Yandex;
Google – user-agent: Googlebot;
Rambler – user-agent: StackRambler;
Yahoo! – user-agent: Yahoo! Slurp;
MSN – User-agent: MSNbot;
Все боты – User-agent: *