Настройка Robots.txt для Opencart 2x #57

[@ProDeloTV]

Заказ магазина под ключ - zakaz.prodelo.biz Различные услуги - prodelo.biz/uslugi-opencart/prodelo-biz/ Партнёрская программа от ProDelo - prodelo.biz/partnerskaya-programma Шаблоны для Opencart - prodelo.biz/shabloni-opencart/ Модули для Opencart - prodelo.biz/moduli-opencart/ Хотите выразить благодарность? Регистрируйтесь по моим партнёрским ссылкам ниже! Хостинг-провайдеры которых я рекомендую: AdminVPS - my.adminvps.ru/aff.php?aff=901 (для крупных ИМ) Beget - beget.com/?id=933918 (для старта, небольшие ИМ)

[@УльянаШарипова-л8с]

Спасибо, большое. Только почему-то не решилась проблема с индексацией товаров типа: /index.php?route=product/product&product_id=11325 Как ни пытался закрыть в роботсе всё равно индексируются. SeoPro работает

[@robertprokhorov]

Здравствуйте! Здесь уже говорили о фидах, а также, что нужно убирать из robots.txt. Но по сути это ведь тот же sitemap.xml, только динамический, генерируемый при обращении роботами или также, если самому зайти по соответствующему адресу, если я правильно понимаю. В связи с этим вот такие вопросы возникают: 1. Теоретически, ведь можно под каждым user-agent, адресованному определенному роботу вписать назначенный ему фид? 2. Можно включить эти фиды, как и в случае, если есть и статические карты, в индексный файл и указать путь в роботс на него? 3. Например, есть популярный сайт по размещению объявлений, то там под каждым user-agent размещена ссылка на сайтмап при чем на индексный и один и тот же файл. И вот, что смущает, а если один и тот же, то как это отражается на реакцию разных поисковых систем? Ведь известно, что изображения яндекс игнорирует, поэтому для него свой сайтмап, а гугл наоборот. И если совсем убрать сайтмап из роботс, то какая реакция будет других ПС? Что вы думаете по этому поводу? 4. Я подумываю поступить так. Поскольку у меня есть и другие фиды, сделать 2 индексных файла (хотя говорил выше, что есть пример только с одним индексным файлом), отдельно для яндекс и отдельно для остальных, в т.ч. гугл, в которых включить фиды, непосредственно относящиеся к конкретным ПС, а также другие, ну возможно, если будут статические сайтмапы xml, условно вручную созданные. Под каждым user-agent прописать свой индексный файл и каждому вебмастеру ПС отдать свои xml, как индексный, так и непосредственные, если есть. Можно конечно просто вписать ссылки вебмастерам, но в роботсе тогда ничего не указывать. Как правильнее поступить, подскажите пожалуйста? Спасибо.

[@Garik_Garik]

Чем роботс отличается для опекарт 2 и опенкарт 3 ?

[@neverforever1357]

Добрый день. А есть ли разница для динамического мультисайта (мультигород)? Говорят, что для мультисайта надо настраивать динамический? Если да, то как это сделать?

[@ProDeloTV]

Не вкурсе честно говоря, с мультимагазинами не работал.

[@CT_TT_FH]

Помогите пожалуйста! Пытаюсь добавить в "Дизайн-макеты-модуль" фильтры, добавлю но когда нажимаю редактировать мне пишет "У Вас нет прав для доступа к этой странице. Если она Вам нужна, обратитесь к администратору. В том случае если Вы входите в группу Администраторов отредактируйте права группы." Хочу сразу оговорить что: admin -> система - пользователи - группы пользователей редактировать группы админов: проставить галочки на ВСЕ разделы Я сделал, но это не помогло Прошу помочь

[@ProDeloTV]

А ваша учётная запись к какой группе пользователей относится вы проверяли?

[@Явечный-з9в]

Скажите а для опен версии 3 сильно меняется робот файл? или можно оставить так как ваш?

[@VadimOskin]

У меня google в инструменте для проверки robots txt ругается на строку Clean-param: tracking, почему? Пишет "синтаксис не распознается"

[@ProDeloTV]

Не обращайте внимание, этот параметр используется только Яндексом.

[@sashaseverov1461]

Доброе время суток подскажите установил файл (robots.txt) и на сайте появилась надпись. Запрашиваемая страница не найдена! До этого зашел в настройки и поставил SeoPro после этого стала выскакивать эта надпись только не на всех страничка на некоторых Версия: ocStore 2.3.0.2.3 заранее спасибо!

[@ProDeloTV]

Переименовать файл htaccess.txt нужно в .htaccess

[@sashaseverov1461]

файл htaccess.txt был переименован с самого начала.

[@ProDeloTV]

Тогда обращайтесь к вашему хостингу скорее всего дело в настройках файла htaccess

[@sashaseverov1461]

Спасибо!

[@violetta-duval]

Здравствуйте! Подскажите, пожалуйста, не знаю уже куда обратится. У меня большая разница между проиндексированными страницами и отправленными в сайтмеп. в чем может быть причина и как ее исправить? спасибо!

[@ProDeloTV]

Посмотрите файл robots.txt случайно не закрыли ли Вы там нужные страницы магазина от индексации?

[@violetta-duval]

Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking=

[@violetta-duval]

у меня такой есть что-то лишнее?

[@ProDeloTV]

Насколько вижу нет.

[@agvento1]

Не совсем понимаю зачем вы закрываете страницы пагинации. В OC Store это решено тегами next и prev и каноническими ссылками. А так получается вы не даете роботам просканировать все страницы категории и какие-то товары могут очень долго индексироваться.

[@ProDeloTV]

Не совсем понимаю зачем вы смотрите мои видео если всё знаете?

[@ОбычныйЧеловек-с7х]

Так в итоге Evgeny Agnischenko прав?

[@АлинаМелашенко-к1и]

@@ProDeloTV Вы можете конструктивно ответить на вопрос ?

[@alexvazovski6775]

Подскажите, поставил ваш файл - но гугл говорит Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

[@ProDeloTV]

Это просто предупреждения а не ошибки, ничего страшного в этом нет. Не обращайте на них внимания.

[@vadim_k]

Спасибо! Я подписался и просмотрел несколько видео. Отличная работа! Вопрос по этой теме: Google ругается на строчку Clean-param: tracking хотя параметр указан для Яндекса. Просто игнорировать это, я так понимаю?

[@ProDeloTV]

Да верно

[@khinya0310]

Здравствуйте. Подскажите пожалуйста а ссылку на Sitemap оставлять эту?(site.com/sitemap.xml) или с модуля Google Sitemap

[@ProDeloTV]

С модуля Google Sitemap, если у Вас 2 фида карты сайта для Гугл и Яндекс то лучше из роботс вообще удалить ссылку на карту, так как в роботс можно задать только 1-у ссылку. В этом случае добавляйте ссылку на карту сайта через вебмастера.

[@khinya0310]

спасибо большое!

[@maksimk4079]

Пагинацию разве не так нужно закрывать: "Disallow: /*?page=" ?

[@ProDeloTV]

Не понял в чём разница? В кавычке " в конце?

[@maksimk4079]

Нет, в звездочке в начале. Или это не имеет значения?

[@maksimk4079]

Disallow: /?page=* или Disallow: /*?page= ???

[@ProDeloTV]

На самом деле тут неоднозначный вопрос, поскольку Хелп Яндекса говорит что звёздочка должна быть в конце goo.gl/PmVNuu, но я отталкивался от написанных директив в стандартном файле robots.txt, где* указываются везде в начале, поэтому могу предположить что это не имеет значения.

[@maksimk4079]

Скорее всего, ведь ошибку в веб консоли не показывает...

[@agvento1]

Также вот эти параметры актуальны, если не включены SEO URL: Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /*route=product/compare

[@shendor66]

Спасибо!

[@ProDeloTV]

Пожалуйста!

[@orkhanmukhtarli8914]

Respect!

[@ВолодимирЮрчак-л4й]

Максим вот хороший и бесплатный модуль управление тхт из админки ссылка-opencartforum.com/files/file/5141-edit-robotstxt/

[@ProDeloTV]

Спасибо