Robots.txt. Для чего он нужен и как им пользоваться?

[@Seoakademiya1]

Примите участие в бесплатном мастер-классе по SEO seoakadem.com/3adT0Ie

[@liliyaserebrova4704]

Видео как всегда годное и главное практичное! Без лишних слов, всё чётко, понятно и по делу!

[@julia_moor]

Тяжело мне далась эта тема в свое время, где же вы раньше были))) всё четко и по делу. Спасибо!

[@АннаМажаева-б9б]

Спасибо ,вы очень грамотно и без лишней информации объяснили , даже я всё поняла с первого раза

[@ВалентинаБєлова-и9р]

Супер! Пользовалась стандартным robots.txt от wordpress а теперь все можно делать самостоятельно после такого доступного объяснения!

[@Seoakademiya1]

Стандартные не всегда означают, что плохие. Но перепроверять точно нужно.

[@mcbroccolinnen]

Спасибо!! Очень подробно🙏🏼 Мне не хватило информации для чайников: вашей рекомендации какие страницы лучше закрыть, а какие оставить.

[@leoniddzhabiev]

Самое годное видео о ротот.тхт. Спасибо огромное !

[@dmitry_v2286]

Самое четко видео , коротко и ясно

[@YanZbarik]

Спасибо, Павел! Поставил лайк №248. Жду следующего видео.

[@сергеймельников-ц7в]

Класс, давно думал как это сделать , завтра же попробую

[@сергейсергеев-г1о]

интересно, я даже и не знал что это, а как пользоваться тем более .спасибо за науку

[@ИринаСелезнева-п1и]

крутая вещь,ранее никогда и не слышала о таком!Нужно обязательно попробовать!

[@annafomich778]

самое главное не закрыть вообще всё))), а так то спасибо я даже не знала что есть такая возможность

[@СергейДанилов-й9с]

Если страницы уже проиндексировались, а вы все-равно хотите их закрыть, нельзя их добавлять в роботс.тхт - будут висеть в индексе, а в сниппете будет писать о том, что доступ ограничен файлом роботс))

[@dreamersssdreams2129]

и что делать делать тогда? если есть страниц, которые хочется убрать и их много из индексации? постранично делать невозможно, но вы говорите в robots.txt их уже добавлять нельзя?

[@СергейДанилов-й9с]

@@dreamersssdreams2129 именно так, если хотите убрать страницы из индекса, на требуемых страницах необходимо ставить тег meta robots c переменными noindex, nofollow

[@ОляРоманова-ц4д]

Отличное видео,Robots txt.определенно необходим,и вы сумели полностью это доказать

[@ВладимирНечаев-щ8х]

Всё крут, спасибо!

[@ВалентинаБухтоярова-ш4л]

Супер подсказка .Спасибо

[@kanal-dlya-muzchin]

Спасибо! Sitamap порадовал ))

[@МаринаКраснопольская-х6у]

Спасибо! Буду пробовать!

[@АлександрПермяков-з6б]

Павел, спасибо за полезную информацию

[@andreykarolik7455]

Подскажите, пожалуйста, так нужно ставить в самом начале Allow: / если потом идут несколько запретов на какие-то отдельные директории. Или же достаточно указать запреты и все, что означает индексацию всего остального. Вы лишь упомянули в видео про Allow:/ в случае одностраничного сайта. Хотя и там не очень понятен смысл, если нет запретов. Спасибо.

[@user-rasd8x]

Ну это и так все понятно. А есть еще глубже? То есть что какие то там файлы CSS должны быть открыты и т.д.?

[@nanocodeofficial3344]

Спасибо за информацию! Еще подскажите как теперь правильно удалить из индекса проиндексированные страницы пагинации? nanocode.com.ua/face/page/2/ - пишу в robots.txt User-agent: * Disallow: */page/ - но по факту в GSearch Console такие страницы числятся как "в индексе" и в поиске их видно тоже. Спасибо!

[@Эдуард-п2у]

Вопрос. в User-agent Googlebot и YandexBot - "Bot" большими и маленькими буквами для разных поисковиков. Это так и должно или опечатка? Или имено так названы боты этих поисковых систем? Есть разница если Googlebot или GoogleBot. 1 из вариантов не будет работать?

[@Seoakademiya1]

Регистр имеет значение в директивах, не так важен при обращении к боту, по крайней мере нам об этом не сообщают официально, вот список всех ботов Google, тут они указаны так как их указывает Google support.google.com/webmasters/answer/1061943

[@kotboss4150]

чтобы заработало мета-роботс надо открывать доступ к эти страницам в роботс.тхт?

[@Nikisha_H]

Классно! Спасибо!

[@ЗаводЖБИКОМПЛЕКТАЦИЯ]

Подскажите пожалуйста, что значит команда в файле роботс.тхт вида Disallow: *page

[@ИринаКараванова-п6э]

И для Яндекса и для Googlebot и для User-agent я в robots.txt написала данную строчку - Disallow: */attachment/*, в google search console они терзают меня уже почти год требованием дать доступ к данным файлам, пишут - Проблемы категории "Покрытие" на сайте **pearl-story.ru/** ( сейчас уже 676 ошибок), советуют устранить ошибки, то есть я должна убрать данную директиву - Disallow: */attachment/* (запрещаем страницы вложений). Может оставить так - Disallow: */attachment/ ( убрать*) Я активно использую медиафайлы, на сайте достаточно галерей... Что же делать?

[@VolodymyrSteshenko]

Robots txt рулит!.. ;)

[@ВикторК-э4к]

Спасибо за видео Уточните пожалуйста в каком формате сохранять файл: Robots.txt

[@УНИВЕРСАЛБИШКЕК]

Здравствуйте, вы не могли л б помочь мне, недавно создал файл робот тхт, добавил директивы Allow: /*js/.js и после этого не работает на сайте слайд шоу, и другие картинки не открывается, я хочу просто отменить это действие, но ни знаю как. Помогите плииз

[@dariag840]

можно ли продвигать сайт на шаблоне ?

[@braggartkyiv5534]

немного не в тему, но все же... Павел, почему вы говорите про важность того, чего сами не используете на своих проектах...? к примеру, в одном из своих видео вы говорили что на сайте должен быть фильтр товаров, но этого почему то нет на вашем сайте glasses...тоже самое - стационарный телефон

[@2013kanal]

Пи$%еть не мешки ворочать. . . . . Ну конечно это стёб, но он же курсы по продвижению продаёт и говорит все как должно быть а на сайте и того хватает что сейчас есть.

[@Seoakademiya1]

Спасибо за вопрос. Структура, которую мы сделали и заточенные страницы под низкочастотные запросы дают нам возможность не пользоваться фильтром. Тем более для нашей тематики это не всегда нужно. У нас много сайтов и у нас есть возможность тестировать. К примеру, тут фильтр есть o4ki.ua и он не увеличил поведенческие факторы)) Все зависит от тематики и типа сайта. Стационарный телефон нужен опять таки в зависимости от тематики. К примеру, юристам он нужен 100%, а в нашей молодежной тематике достаточно просто 3 телефона.

[@Seoakademiya1]

@@2013kanal Вы правы) Своим комментарием этот как раз подтверждаете. Может, поможете нам с мешками? А то мы устали их уже носить.

[@Tatyana2404]

Расскажите пожалуйста, как проверить файл robots.txt. Раньше это можно было сделать в Гугл Серч Консоле. Теперь такой возможности нет, т.к. в новой версии этот инструмент убрали. Так как проверить?

[@julia_moor]

Можно в Яндекс Вебмастере

[@Seoakademiya1]

Именно об этом и есть видео) Посмотрите нет ли лишних страниц в поиске у вас. Если нету - значит все ок настроено.

[@Tatyana2404]

@@Seoakademiya1 Видно я не совсем корректно задала вопрос. Вот например у меня в Гугл Серче несколько страниц с ошибками и написано Доступ к отправленному URL заблокирован в файле robots.txt. Раньше там же существовал инструмент проверки robots.txt, где можно было выяснить, что именно блокирует и затем исправить ошибку. Сейчас такие инструменты проверки файла есть? Про проверку через поисковую строку поисковика я услышала из ролика.

[@Tatyana2404]

@@julia_moor Но там просто покажет есть ошибки в составлении самого файла или нет. Не более того.

[@julia_moor]

@@Tatyana2404 я может не так вас понимаю, но в целом там в инструментах есть раздел "анализ robot.txt", где можно самой глазками просмотреть, что закрыто в Disallow, и при умении уже править, но не забыть обновить карту сайта

[@Алекс_128]

указанным Вами способом файл не открывается, но в корневой папке есть. сайт на WPress. это нормально или он находится не там где надо ? или другая\ проблема?

[@2013kanal]

20 лайков уже есть. Видос по сути и полезный)

[@ozirko4548]

5+....Паша-Мооозг

[@User-cf3rw]

06:56 кажется опечатка, не Sitamap а Sitemap😐

[@doktor602]

Не знал, было интересно.

[@yuriytsynkevich430]

Доброго времени. Нет ссылки в верхнем правом углу.

[@Seoakademiya1]

Здравствуйте! В подсказке сверху есть ссылочка на видео о sitemap :)

[@ЗахарСавчин-ж5п]

спасибо

[@OleksandrPohribnyi]

Ошибка в написании Sitamap: а должно быть Sitemap:

[@kanal-dlya-muzchin]

я тоже увидел ))

[@AllmasterNEW]

Жаль, что вы не выкладываете свои вебинары в свободный доступ. А так смотрю и применяю у себя на сайте. Пользуясь информацией, размещенной на нашем ресурсе, вы можете быть уверены, что мы поможем вам с выбором сервисного центра по ремонту. Ознакомиться с каталогом вы можете у нас на сайте allmaster.com.ua/companys

[@bogdankondrus1094]

главное зеркало тоже лучше указать

[@УНИВЕРСАЛБИШКЕК]

Я хочу просто отменить это действие, чтобы картинки и слайд шоу заново работали,

[@ИринаСеменова-в4ъ]

Спасибо за инфу, еще вариант воспользоваться модулем здесь neoseo.com.ua/generator-robotstxt-dlya-opencart-3-0 Тем более у них сейчас скидки!

[@yabeznika156]

Я все равно не понимаю зачем прятать информацию от поисковой системы?

[@julia_moor]

В него нужно закрывать "бесполезные страницы" с точки зрения поисковых роботов, иначе они могут негативно сказаться на индексации. Ну например точки входов платных каналов, тк они формируют дубли, или результаты работы функционалов. Для сайта и пользователя это ок, а вот для ПР некачественный контент.

[@grigoriykovalenko]

5+