Как работать с robots.txt? Просто о сложном

Еще больше полезной информации на seopult.ru и seopult.tv
Как и зачем необходимо создавать файл robots.txt? Любой сайт включает не только контент для пользователей, но и множество системных файлов. И когда робот поисковика начинает его сканировать, для него нет разницы - системный это файл или какой-то другой. Он проиндексирует все подряд. Чтобы этого не случилось, необходимо отредактировать файл robots.txt.
В видео мы расскажем о работе с основными директивами:
- «User-agent:»;
- «Disallow:»;
- «Allow:»;
- «Host:»;
- «Sitemap:».
___________________
Другие мастер-классы в плейлисте - • Просто о сложном
Не хватает знаний? ПОДПИШИСЬ НА КАНАЛ или зарегистрируйся на бесплатный семинар в cybermarketing.ru
Сайт нашего канала seopult.tv
~-~~-~~~-~~-~
Обязательно посмотрите: "Как правильно настроить и использовать UTM метки?"
• Как правильно настроит...
~-~~-~~~-~~-~

[@Dvoini]

толку без кода это смотреть, дизлайк

[@СправочниквсехсайтовзнакомствР]

Одна болталогия без каких либо примеров. не советую время тратить

[@proonlinereputationmanagem7641]

Позитивный дядька! Спасибо. )

[@AndreyKos]

почему нельзя привести пример текста?

[@ИринаМамаева-з8у]

вот почему нельзя так просто обо всем рассказать? круто, спасибо!

[@nikolaydd6219]

Было бы не плохо показывать на примере

[@noiseless6800]

Вот здесь полезно, спасибо

[@madmax2872]

стихи отпад сам писал ?

[@andreykarolik7455]

Как быть, если сайт уже полностью в индексе, а движка, который бы генерировал этот файл автоматически, нет? Или можно тогда не думать о нем? И как быть, если структура сайта не меняется, а лишь добавляются статьи в конкретных разделах, к примеру, новости и обзоры. Но на сайте, повторюсь, нет движка, который бы генерировал этот файл автоматически. Спасибо.

[@PromoPult]

создайте robots.txt вручную, залейте его на хостинг по ftp. Также вручную можете его менять и добавлять нужные директивы

[@andreykarolik7455]

@@PromoPult я параллельно смотрел несколько ваших видео, поэтому вопрос ошибочно написал не под тем видео. Речь про файл sitemap.xml Спасибо

[@PromoPult]

по sitemap посмотрите разнообразные генераторы сторонние, в том числе онлайн. Но если все в индексе и новые страницы нормально заходят в индекс, то, возможно, и нет смысла заморачиваться

[@andreykarolik7455]

@@PromoPult штучные новые в том же яндекс вебмастере можно через индексирование - переобход страниц. А вот в Гугл Console аналогии не нашел.

[@VassiliySmith]

Прикольный чувак

[@VetDeMarco]

Как работать с robots.txt в мультивендорном интернет-магазине???

[@PromoPult]

А разве есть различия? )) Вы в любом случае закрываете от индексации страницы сортировок, фильтров, поиска и прочее. Страницы же "продавцов" закрывать от индексации не стоит, как и контент, который они генерируют.

[@ОляОльгина-в7п]

кое что для себя нашла, спасибо

[@ИгорьКравченко-т6ъ]

спасибо за Вашу работу! подскажите пожалуйста, у меня много дублей страниц и я хотел бы их скрыть от выдачи в пс, как мне лучше поступить? как эти страницы необходимо добавлять в robots.txt ?

[@PromoPult]

Дубли лучше всего попытаться запретить в самой CMS, потому как при каждой новой странице они будут появляться.

[@АзатСадыков-з1м]

Спасибо за информацию!)

[@DonGSO140794]

В host указывать с https? Адрес сайта, иди без https стоит?

[@DonGSO140794]

Так как изначально яндекс воспринимает сайт с htttp и https тоже как разные сайты.

[@PromoPult]

Директива Host должна содержать: Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: myhost.ru).

[@club50video]

Отлично 👍

[@УсадьбаЗаозёрье-л2щ]

спасибо!!!

[@ALexanderDolgan]

Спасибо

[@TheRibachok]

Спасибо!

[@AntonioBenderas]

ссылки на другие видео в конце ролика не кликабельные

[@PromoPult]

Там есть маленький нюанс, группа монтажа "вставила" превью видео, которых еще нет на канале. Скоро поправим.

[@kazimcho]

Спасибо, очень просто и понятно рассказано.)