Составляем robots.txt правильно!

Пример правильного составления robots.txt

Здравствуйте, сейчас я вам расскажу о robots.txt – что это такое и с чем его едят.

Когда роботы индексируют ваш сайт первым делом они заглядывают в файл robots.txt, там можно запретить индексикацию вашего сайта, или запретить роботам индексировать только некоторые страницы сайте, можно указать файл sitemap(карту сайта) и так далее.

Запомните:

• Файл robots.txt должен находиться в корне сайта, то есть его адрес должен быть такой: http://ваш_сайт.com/robots.txt

Примеры:

Если вы хотите разрешить ваш сайт к индексикации:

User-agent: *

Disallow:

Если вы хотите запретить ваш сайт к индексикации:

User-agent: *

Disallow: /

Если вы хотите запретить отдельную категорию к индексикации:

Disallow: /category/

Если хотите запретить страницу, или пару страниц, каждая страница с новой строки:

Disallow: /stranita1.html

Disallow: /stranita2.html

Указываем карту сайта (sitemap) в файле robots.txt:

Sitemap: http://ваш_сайт.ru/sitemap.xml

Sitemap: http://ваш_сайт.ru/sitemap-forum.xml

(ссылки заменяете на ваши)

В основном это всё, в общем, робот смотрит в файл robots.txt , но не всегда роботы слушаются этого файла, так как robots.txt только рекомендует роботам что индексировать а что нет.

Пример правильного составления файла robots.txt смотрите на изображении в начале поста!

Популярное