Скрейпинг сайтов с помощью Scrapy. Часть 2 | Crawl Spider

[@istories_workshop]

❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост - уголовным делом. Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами - в это темное время выжить мы сможем только вместе.

[@markhavidzer7249]

Очень приятный тембр речи и отличная дикция. Вас хочется слушать, информация воспринимается хорошо, подана внятно и главное подробно. Благодарю Вас, девушка.

[@oldlipton3443]

Лойс и три дивана из трех🛋️🛋️🛋️!

[@Typical_Type]

у словарей есть встроенный метод update который может добавить в словарь несколько значении из другого словаря или генератора. те для категории можно не писать каждое значение отдельно , а сделать генератор и расширить словарь либо просто распаковать генератор в результат

[@daniilneumann7219]

Зашëл, честно говоря, из-за очень милой девушки на превью. Но, помимо еë красоты, в ролике оказалось ещë много интересного. Спасибо большое :)

[@AlexandrSpirit]

Мне кажется, xpath использовать удобнее

[@alexeytsar]

отличные видео. Хотелось бы больше прикладных примеров как это все скрестить с селениумом, поскольку когда сайт загружается при помощи JS, то Get запросы уже не работают

[@istories_workshop]

Будут еще видео по теме! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@breddowen1801]

Думаю, для этого пригодится scrapy-splash. Видео: kzbin.info/www/bejne/o4WyiYmIltRmm6M

[@Евгений-д5з7ф]

женюсь)

[@aciddic79]

В ОЧЕРЕДЬ!!!!! :)))))))))

[@СаидЛутфуллин]

подскажите пожалуйста, этот скрапи проект как-то можно использовать не для личных целей, а для нужд заказчика. Если заказчику нужен парсер, и мы ему сделаем парсер на скрепи, он ведь запускается из scrapy shell. как-то можно наладить запуск из консоли, или встроить в телеграм бота. иными словами какой-то интерфес придать ?

[@istories_workshop]

При желании, конечно, да. У нас есть цикл видео "Пишем робота для анализа госконтрактов". Принцип в общем-то тот же, только там результаты присылаются в таблице на почту kzbin.info/aero/PLpEUzbkLOtFCJiPu8crhhZNjj7wNOsr9M

[@user-ic6ye2sj1p]

Здравствуйте, это то что мне нужно, но вот сайт с которого мне нужно брать информацию - не хочет её выдавать из-за того, что нужно сначала залогиниться и пройти каптчу, без этого вся информация сайта недоступна. Есть какое-то решение? Что делать?

[@istories_workshop]

Здравствуйте. Можно, нужно гуглить сервисы anti capcha, они есть, их много, нужно выбирать и текстировать. Вот этот, например, помогал работать с сайтом ЦИК anti-captcha.com/mainpage

[@istories_workshop]

Научись создавать сайты и приложения на Python в SkillFactory ➡️ clc.to/FiLyKQ Скидка 50% по промокоду ВАЖНЫЕ ИСТОРИИ и 14-недельный курс «Soft Skills для digital-менеджеров» в подарок при покупке до 30.11.2021 ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА