Файл Robots txt - настройка, директивы и популярные ошибки

[@VladimirAbovyan]

Материал изложен понятно, последовательно и на доступном языке! Спасибо огромное, буду рекомендовать!!!

[@JulieBefana]

Спасибо большое за ваши труды, недавно наткнулась на ваш блог, провела несколько бессонных ночей за чтением :D Очень импонирует ваш подход к сео в целом.

[@RomanVerdysh]

Спасибо. Не забудьте подписаться ;)

[@imamdangerous7197]

Спасибо большое, у тебя очень хорошо получается преподносить информацию. Есть пару глупых вопросов: 1) Как найти все дубли страниц и как легче, правильнее их закрыть? Например есть в интернет магазине две странички с товарами, где пересекаются товары, это дубли? Можно ли программисту сказать убрать все дубли и он сам разберется или ему нужно показывать какие страницы являются дублями?)

[@RomanVerdysh]

1) Любой краулер и смотреть дубли тайтлов, дескрипшенов, h1 и т.д. Просканить каким-нить краулером типа Сайтрепорта контент, что увидеть неполные дубли. Сканить выдачу по ЯНдексу и Гуглу опять же любым краулером. Самое сложное - неполные дубли, но найдешь пару моментов - сможешь зацепиться за логику и вычистить остатки сразу по всему сайту. 1а) Закрывать в robots.txt + тег robots. Но изначально попытаться устранить проблему в корне, а не ее симптомы. 2) И да и нет, если пересечение большое - это неполный дубль. 3) Не, программисты сразу будут просить инструкцию :)

[@amonullozodaosaf78]

Круто) думаю было бы лучше вставить в описание файл robots.txt как он должен выглядеть) спасибо

[@RomanVerdysh]

Есть грешок - забывчивость. Статья давно есть в блоге, но ссылку не поставил на нее в описание (уже сделал). Вот здесь есть текстовая информация + примеры robots.txt для популярных CMS - romanus.ru/robots-txt-kak-sostavit-i-nastroit/

[@amonullozodaosaf78]

спасибо)

[@DIABLO_4_Tester_Sacramento]

Яндекс тоже на него плевать хотел, лучше в коде прописывать

[@vadimtrade9625]

Имеет-ли значение порядок директив? У мня Sitemap в первой строчке стоит.

[@RomanVerdysh]

Порядок не имеет значения. Sitemap должен стоять в юзер-агенте

[@ВикторСмоляк-д2в]

Добрый день. Подскажите, нужно ли запрещать индексацию страницы /NotFound.html (красиво оформленная страница ошибки?) и папку инклуд (со вставками php), заранее спасибо за ответ.

[@ВикторСмоляк-д2в]

И еще один вопрос. С зеркалами понятно. А вот файлы http:/site.com/index.html и http:/site.com, как с ними быть?

[@RomanVerdysh]

Я не закрываю 404 ошибку. Насчет папки "Инклуд" - не понял. Вы хотите папку закрыть? Если речь идет о Wordpress - то там по-умолчанию в роботсе прописан запрет на индексацию служебных папок. По /index.html - склейте с главной странице и всё.

[@ВикторСмоляк-д2в]

Нет у меня сайт сделан вручную на html и php. Есть папка в которой находятся файлы php, подгружаемые в сайтбар, в шапку, в подвал. Там тизеры, реклама, Слайдшоу (шапка). Еще есть папки cgi-bin и gallery, это все тоже стоит закрыть?

[@ВикторСмоляк-д2в]

Не знаю если можно делать ссылки, то вот мой сайт kraysolnca.com

[@RomanVerdysh]

Галерею закрываете, если вам не нужна индексация изображений в ней. Cgi-bin - не нужно. не разу не видел, чтобы файлы в индекс попадали из нее. Насчет php файлов - можете закрыть. Но закрывать что-то без цели - плохая идея. Смотрите индекс - если попадает мусор какой-либо, его закрываете. Это более качественный вариант, т.к. были случаи, когда кто-то брал публичный "очень крутой, самый качественный" robots.txt для конкретной CMS - а потом оказывалось, что у него в индекс что-то не попадает.

[@МарияСтупишина-ъ6ы]

Подскажите почему в host не нужно указывать http, а только домен?

[@RomanVerdysh]

Здравствуйте. Такой синтаксис. Если у вас подключен SSL сертификат, то в Host вы уже будете писать не домен, а site.ru

[@NikolayGavrilov-i3r]

директива host уже не актуальна

[@ДмитрийНагайцев-ы3й]

Бегет входит в список убогих хостов? =)

[@vadimtrade9625]

Что значит # global в моем Robots?

[@RomanVerdysh]

Это комментарий. Пишется просто для удобства