Добавляем и редактируем файл robots.txt

[@xselebrosx]

Очень хорошо и подробно объяснил, спасибо !

[@loftblog]

Спасибо)

[@milastrelets]

Какой ты молодец! Я - чайник, по твоему видео все делаю легко и просто. Очень понятно и приятно слушать, Спасибо за уроки ! От меня лайк и подписка на канал

[@viacheslavgava3430]

Очень классные уроки, но очень долго ждать!

[@observer9948]

Спасибо большое за такие знания!

[@artemrv555]

Очень круто, достойно и понятно описано. Автор - красавчик и лайк. Как только понадобится продвижение по SEO - я не раздумывая обращусь именно к Вам.

[@РишатРафиков-х8г]

Артём, спасибо за добрые слова!

[@tsssssssss1]

То, зачем вы перешли начинается с 14:53

[@LobanovSpace]

Лайк

[@oxin2005]

Молодец ! Очень качественный контент !

[@loftblog]

Спасибо)

[@juliaolenina1634]

Очень доступно! Спасибо)

[@РишатРафиков-х8г]

Юлия, спасибо!

[@LobanovSpace]

Отлично все разложил, спасибо

[@ЕленаПавлова-з1й]

Спасибо. Жду продолжения.

[@natalyaazarenkova8145]

Может всё таки UTF-8 лучше подойдет вместо ANCI?

[@vladfilatov2008]

Самый крутой хостинг для сайтов который я встречал за последние время, конечно же well-webnet! Переход на него - решил все мои проблемы со скоростью загрузки. Цены очень низкие, безлимитный трафик, поддомены и еще много другого. Отличный саппорт, который, неоднократно мне помогал в настройке хостинга, а потом и администрировании VPS сервера, причём абсолютно бесплатно, без какого либо подвоха. Из огромных преимуществ перед конкурентами это конечно регулярные акции. Например, сейчас удваивают срок оплаты. Пользуясь хостингом для сайта well-webnet/hosting/, был очень доволен, держал на хостинге примерно 7-8 сайтов, и всё это выдерживало около по 1900-3400 одновременных подключений, и грузилось практически мгновенно позже, в связи с необходимостью большего функционала, сменил шаред хостинг на VPS сервер, опять же у них. VPS серверами тоже очень доволен, огромные мощности. Сейчас держу на сервере 4 сайта: онлайн-кинотеатр, личный файл-сервер, интернет-магазин и небольшую соц. сеть (пока в разработке). Сайты успешно выдерживают по 70 000 - 90 000 одновременных подключений, и всё это учитывая то, что в это время запущено по 4-5 процессов конвертации видео (держу онлайн-кинотеатр, если помните). В общем, это самый лучший хостинг-провайдер который я когда-либо встречал: цены не гнёт, тех поддержка приветливая и отзывчивая, всё работает очень быстро и без сбоев.

[@remont_televizorov]

С левой стороны на вашем хостинге, у вас сайты в корневой директории, или только в папке паблик ??? Где лучше расположить, или значения не имеет ??? Спасибо за ответ.

[@yarikmrzv7471]

Такой вопрос.. А если в Robots.txt прописать Disallow: /robots.txt ?

[@likelook5486]

нельзя, сервер взорвется, а это уже уголовное дело, УК РФ Статья 167. Умышленные уничтожение или повреждение имущества

[@igro_man]

А этот нормальный вариант? Гугл что совсем слабо индексирует. User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /component/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/

[@evgeniyk.4618]

а все остальное что не попало в disallow по умолчанию не скрыто? у меня одностраничник и не соображу что скрывать или вообще ничего не скрывать? есть 3 файла php(Обратная связь) css html ну позже будут скрипты я склоняюсь просто написать User-agent: * и все?) это нормально в моем случае??

[@212121286]

Здравствуйте. Вы решили проблему?

[@Hacking-NASSA-with-HTML]

Здравствуйте ! Народ, скажите пожалуйста, а вот для лэндинг-странички, которая расположена НА ПОДДОМЕНЕ - то для неё - robots.txt и sitemap.xml имеют какие то особенности ? И если да - то какие? Потому что основной домен я использую чисто как носитель поддоменов, и надо чтобы роботы гугла и яндекса - "видели" только эти поддомены, которые мне нужны, а не все поддомены подряд. И где физически эти файлы должны помещаться, - в корне основного домена? Или в корне каждого нужного мне поддомена? Заранее благодарю!

[@gaukharkussainova8164]

Добрый день, большое спасибо за ваши уроки! все очень понятно и доступно. Единственное у меня вопрос, у меня на каждый медиа файл отдельная страница выходит, как можно это исправить? пользуюсь wordpress

[@moya_kuhnya_]

Доброго времени. Можете подсказать? Сайту уже 2 месяца, гугл индексирует, а яндекс нет. Нет в поиске ни одной страницы. Карту сайта не делал сам, установил плагин. Вся карта выглядит так. Что нужно убрать или дописать? В чем ошибка? # global User-agent: * User-agent: Yandex Disallow: /xmlrpc.php

[@РишатРафиков-х8г]

Добрый день. Если еще актуально задайте пожалуйста конкретный вопрос в личные сообщения vk.com/lezhebokov_com. Спасибо. Не всегда успеваю посмотреть комментарии к роликам.

[@masterzvezdni299]

не показанно наглядно для яндекса как прописать у меня гугл видит а яндекс нет (( где скачать такой файлик робота и поместить у себя Индексирование всего сайта запрещено в файле robots.txt.

[@DariaB-t2u]

про opencart скорость загрузки, читайте тут: neoseo.com.ua/google-page-speed-opencart . найдете много нужной инфы) в вашем видео безумно много интересного, много чего беру на заметку) спасибо за работу)

[@S.kremen]

Доброго времени суток. Подскажите, такое дело, Яндекс счел картинки, например: /images/пример/картинки.jpg недостаточно качественными, нужно ли их закрывать в роботсе? таких картинок много

[@РишатРафиков-х8г]

Сергей, пишите в ЛС vk.com/lezhebokov_com. Посмотрим.

[@S.kremen]

Ришат Рафиков скалите, а я могу получить ответ здесь? Или однозначного ответа нет?

[@РишатРафиков-х8г]

Сергей Кременецкий я не понимаю почему нужно закрывать картинки, поэтому хотел побольше узнать откуда такой растёт вопрос. Нет так нет.

[@ВикторСмоляк-д2в]

Добрый день. Подскажите, нужно ли запрещать индексацию страницы /NotFound.html (красиво оформленная страница ошибки?) и папку инклуд (со вставками php), заранее спасибо за ответ.

[@РишатРафиков-х8г]

Виктор, пишите в ЛС vk.com/lezhebokov_com. Посмотрим.

[@FrigerFrigeroff]

Куда это прописывать?

[@psfak]

Тупой вопрос. Как стать сеошником? А точнее,с чего начать человеку, который хочет этим заняться?

[@evgeniyk.4618]

2 года прошло сам себе ответишь? и для меня заодно))

[@ЕленаМамедова-й7ч]

А если не нужно ничего запрещать роботам есть ли смысл вообще делать этот файл? (сайт без cms)

[@Юридическиеуслуги2016]

Здравствуйте, подскажите пожалуйста,как исправить ошибку : Disallow: /? User-agent: * Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search Disallow: /author/ Disallow: *?attachment_id= Disallow: */embed Disallow: */page/ Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-*.svg Allow: /wp-*.pdf #Disallow: /wp/ Sitemap: svoy-yrist.kiev.ua/sitemap.xml Sitemap: svoy-yrist.kiev.ua/post-sitemap.xml Sitemap: svoy-yrist.kiev.ua/page-sitemap.xml Sitemap: svoy-yrist.kiev.ua/elementor_library-sitemap.xml Sitemap: svoy-yrist.kiev.ua/category-sitemap.xml

[@Alex12311088]

рассказано все от и до

[@АнтонГиговский]

как наоборот запретить /s/СС/ в данном случае (каталог/КРОВАТИ), но разрешить /s/ (каталог) ?

[@БравыйШвейк-Копповойне]

щас глянем - я супер чайник ))))

[@alektronik3639]

Неожидал, до этого такие ролики хорошие были. Хотя возможно я в тех моментах не разбираюсь. Не исключаю вероятность, что в 2016 г. было по другому. 1. Clean-param воспринимает только яндекс 2. /s/$ - доллар это окончание строки. Вероятнее всего конкретный пример не заблокирует ничего, а не папку. По одной простой причине, что обычно ссылки заканчиваются без слеша на конце. Конкретно это может пригодится только для исключения дубля на папку \s без слеша., но и тогда лучше сразу исключить инднксацию любых ссылок заканчивающихся на \ слеш. 3. ни слова про некритичные ошибки составления параметра sitemap. Этот параметр во-первых не привязывается к useragent, он для всех как host. Во-вторых параметров sitemap может быть много, само собой с разными значениями, а не с одним и темже как на авито. Но за труды спасибо! 👍

[@MrDJON4]

Как подключать файл робот.тхт?

[@MrDJON4]

или он просто загружается к файлам сайта?

[@РишатРафиков-х8г]

его нужно создать в обычном блокноте или отредактировать уже готовый. Да, в корень сайта там же где лежат остальные файлы или сразу после папки public_html

[@РишатРафиков-х8г]

загрузить можно через хостинг или через FTP-клиент

[@МихаилВикторович-р2я]

Вот

[@klaxwork1208]

Мда... Слушать такую скукоту даже не охота. Такое впечатление, что диктора заставляют это записывать. Сидит, такой, и зачитывает с таким видом, что "Как же вы все меня достали"...

[@bauyrzhand.r2059]

малорик,тока громче говари

[@ЛевЛевенец]

Хах, реклама авито и beget