Скрейпинг сайтов с помощью библиотек Beautifulsoup и Requests на Python

[@istories_workshop]

❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост - уголовным делом. Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами - в это темное время выжить мы сможем только вместе.

[@yarmik3d]

Так называемы "программист\ка" решила учить, сама не особо понимая, что делает.

[@ВладиславГладкий-ъ7н]

@@yarmik3d ахахах, любитель рУЗКОГО мира будет нам тут кукареть как правильно родину любить, иди грим смой, клоун😂

[@yarmik3d]

@@ВладиславГладкий-ъ7н А ты любитель какого мира пишущего на русском языке?

[@ВладиславГладкий-ъ7н]

@@yarmik3d я сторонник цивилизованного мира, основанного на демократии, свободе слова и верховенства права. И какая тебе разница на каком языке я пишу. Ты же наверняка не знаешь ни одного другого языка кроме русского

[@yarmik3d]

@@ВладиславГладкий-ъ7н Все это ты мог выразить одним словом - ПРЕДАТЕЛЬ

[@МихаилРойтман-ъ5у]

Добрый день. Мне 60 лет, изучаю аналитику данных. Ваш урок - это СУПЕР. Все понятно, логично, доходчиво! Спасибо! Удачи Вам!

[@Storks40]

Мне 66.Тоже подсел на эту тему) По этому видео сделал календарь культурных событий в нашей области. Очень хорошее объяснение.

[@art_alf-b9b]

Вы крутые!

[@clear1948]

У меня всегда было предвзятое отношение к русскоязычным урокам. Всегда смотрю туториалы на английском, так как они проще все обьясняют. Но здесь, Алеся вы просто супер. Как же вы круто обьясняете, быстро и понятно без лишних слов. Вы мастерский учитель. Спасибо вам большое ❤

[@istories_workshop]

Спасибо большое за просмотр и такую оценку! Очень рады)) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@weik_gamecut_ru]

Смотрел уроков 5 по парсингу и тяжело было уловить суть в какой последовательности и логике все делать, чтобы без подсказок самому делать потом. А здесь объяснение шикарное, у меня прям картинка прорисовалась в голове сразу, особенно хорошо, что сначала пишутся строки под один фильм, а уже когда понял это, показано как объединить строки чтобы получить все фильмы, а потом как и с каждой страницы. Так удобнее, спасибо!

[@istories_workshop]

Йее! Очень рады, что вам подошел наш подход (простите за тавтологию) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@LifterAndy]

Начни лучше не с парсинга, а с решения олимпиадных задач и синтаксиса языка.

[@PapaBOSS]

Какая же ты молодец! Всё очень доходчиво и спокойно объяснила . Спасибо!

[@ЕвгенСахаров]

Алеся, какая же Вы молодец! Я собираюсь изучать пайтон, уже проплатил годовой онлайн курс. Мне 48 лет. Пробовал писать код по видео других авторов. Не получалось. Но по Вашему видео я дошол до конца. Все же прошол скрипт по всем страницам, спарсил все 250 фильмов и собрал все данные в файл. Вы дали возможность поверить в себя. Огромное Вам,Алеся,спасибо.

[@istories_workshop]

Очень приятно, спасибо и вам! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@glimmer5103]

@@istories_workshop Что это значит "ДАННОЕ СООБЩЕНИЕ"... ?

[@istories_workshop]

ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА Что нас внесли в реестр СМИ-"иноагентов". Мы с этим не согласны и оспариваем через суд. Но т.к. мы живем в России и работаем в России, то вынуждены (пытаться) выполнять требования этого "закон об иноагентах". По нему мы должны вообще на все наши сообщения (тексты, видео, комментарии, репосты, ретвиты, и т.п.) ставить эту пометку. В противном случае наше юрлицо и главный редактор получат штраф. После нескольких штрафов главреду грозит уголовное преследование.

[@ИванЕвдокимов-л6ь]

как успехи?)

[@ЕвгенСахаров]

@@ИванЕвдокимов-л6ь Дается не легко, не скрою. Но безумно интеоесно. Взял академ, на работу вызвали. Остановился на ООП. Через 2 недели домой. Вахта заканчивается. Думаю летом будет защита. Думаю какой проект взять. Уже написал самостоятельно несколько программ. Так что, Иван, всё хорошо!

[@Моментыизфильма-н3р]

Как бывший преподаватель, работавший в SkillFactory, GeekBrains MailRu и других компаниях, подтверждаю - очень качественный контент, очень понравился ваш урок, со всеми разъяснениями. Понятно, что для того, чтобы точно всё понимать, без изучения азов вебверстки и самого языка python не обойтись. Однако, если вы уже знакомы со всеми этими технологиями, данный материал будет для вас максимально понятен и полезен. Всё даётся по пунктам, достаточно развёрнуто. Да, где-то приходится откатываться назад, чтобы пользователь понимал, откуда что берётся. Однако это не просаживает урок, всё очень динамично и не даёт уснуть. Спасибо!

[@istories_workshop]

Спасибо!

[@non5309]

первый дисклеймер это похоже новый знак качества )

[@ДмитрийВаськин-й6л]

Классно объясняет, не зная языка питона, немного разбираясь в пхп, после просмотра урока получилось решить свою задачу)) Однозначно лайк и подписка, теперь пересмотрю все уроки 😂

[@Mr6epkym]

Это лучшие уроки по парсингу которые я когда-либо встречал!

[@msv108]

Огромное спасибо! С обработкой none нигде не могла найти решение. А вы так просто все объяснили! Лайк и подписка!

[@ЮрийМашинистов-и6о]

Иноагент - это знак качества в наше время.

[@vvitasikm3341]

Супер ! Спасибо тебе милая девушка😊

[@cosmonaut380]

Этот канал - сокровище, которое лежало у меня под ногами, о котором я узнал благодаря Кацу. Полезность этого видео зашкаливает, спасибо огромное! Подписался

[@andreyandreyovich5454]

я загалом працюю в дотичній до іт галузі, але була потреба викростати скрейпінг, зазвичай теж дивлюся англійською, але ваші найкращі. дякую, все зрозуміло і по ділу

[@ЛеонидСвиридов-г9ш]

Благодарю, урок просто шикарен!

[@ВикторФомичёв-х8л]

Спасибо вам большое за толковые и интересные видеоуроки

[@fghhna]

Шикарная подача информации. Крайне полезное видео.

[@ВиталийКоновалов-г1ц]

Спасибо! Информация доходчивая и легко усваиваемая во всех видео на канале!

[@istories_workshop]

Спасибо, что смотрите :) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@НиколайПрокопьев-т4м]

кое как вырулил себе список ссылок с другого сайта, так как начинающий. Но все же у вас более доходчивое объяснение парсинга

[@eldardev]

Супер! Спасибо за пример! Идеально взяли пример и объяснили кристально

[@larsthorleik2484]

Всё понятно, только сайт Кинопоиск блокирует парсинг-запросы. В первый раз запрос срабатывает и данные получаются, потом выскакивает ошибка. Приходится мучиться. Может нужен прокси, а может в Юпитере нет таких проблем как в Пайчарме, в котором я работаю.

[@noname1999x]

Большое вам спасибо за самые крутые уроки во вселенной! ❤️❤️❤️

[@istories_workshop]

Рады, что нравится, спасибо, что смотрите! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@an-rh8bp]

Держитесь, ребята, благодарю!

[@maestr0G]

Вы просто супер , объясняет очень хорошо. Спасибо вам большое за контент ❤❤❤

[@АндрейСамохин-о2ь]

Супер урок! Спасибо!:)

[@almaz1839]

Лучше пояснение! Спасибо, ты богиня!)

[@ЯрославЛеонов-з8д]

УМНИЦА, очень круто объясняешь , спасибо тебе

[@yauhenilamakin8495]

Спасибо большое. Все просто и понятно. И главное, что работает

[@nadiiaschmitz2306]

Очень классное видео, прямо кристальная ясность наступает, спасибо огромное! 🌹🌹🌹

[@kirillsidorov6641]

Просто отлично, лайк хоть можно поставить?

[@rikenbaker1]

Похоже что сайт стал динамическим и простыми запросами уже данные из него не получить.

[@ThisIsGreenRoom]

Зачётно всё понятно и доступно 💢 спасибо

[@chekito]

Просто поклон до земли за эти уроки! Только у вас понял технику. Но возник вопрос. При парсинге вылетает исключение 'requests.exceptions.ConnectTimeout:' Как его лечить? Что конкретно прописать в except?

[@pervosled]

Очень полезно, спасибо!

[@МортиМортимер-э1р]

очень доступно, понятно, круто

[@morinks]

Это лучшее обучение что я видел

[@YAUHENNAUROTSKI]

Здрастауйте ,а есть ли курсы при вашей поддержки по скрейпингу и анализу данных?

[@Denmark1150]

Что-то у менявроде сначала все работало почти правильно, а потом перестало работать. Вроде с кодом все впорядке, но первый раз вывело не весь список, а потом и вовсе перестало выводить. Может ли быть такое, что кинопоиск мой айпишник из-за такой активности заблочил на какое-то время? В частности когда я по отдельности пытаюсь запустить запросы на один из пунктов(ссылка, название, страна и т.д.) выходит ошибка AttributeError 'NoneType' object has no attribute 'find'. Не мог же я наковырять во всех этих пунктах. Раньше они исправно работали UPD: заработало само через некоторое время, но почему-то выдало только 150. Но тоже не плохо😀 Спасибо за видео, вы крутые

[@МишаКулешов-ф2ф]

Руслан, у меня такая же история, в тч выдает другой скрипт страницы через некоторое время...А на последнем цикле выдает строго одну страницу, а в след раз просто пустой список О_о Магия какая-то, иначе не могу объяснить...

[@timuryuldoshev1609]

@@МишаКулешов-ф2ф это не магия, это защита от парсинга =) пробуйте внедрять в код "обманки".

[@КатяШатохина-ь1в]

Подскажите, плиз, что не так после soup = bs(r.text, 'lxml') всё выходит в одну длинную строку. И потом при поиске soup.find('div', class_='styles_root__ti07r') ничего не находит

[@sokatef]

Контент динамически загружается, т.е. просто так нельзя получить, так как js код в процессе исполняется. Используйте selenium, чтоб получить html вид страницы и уже по видео обработку делайте.

[@non5309]

следующий урок будет интересным, видимо там будет про user_agent и подобное

[@Arnur-wt3vd]

А почему при парсинге вместо данных я получаю none?(

[@drgg9368]

Расскажите пожалуйста data science и скрейпинг это одно и тоже. Просто хотел купить книгу для изучения, а книга про скрейпинг 2016 года, я боюсь покупать т.к инфа может быть устарела . И я нашёл книгу про data science 2023 хорошую судя по отзывам и т.д. Вопрос такой мне нужна книга про то что говорится в видео . Подскажите пожалуйста какую взять накидайте вариантов буду очень благодарен. И ещё все таки data science и парсинг и скарпинг сайтов это одно и тоже?

[@VitaliiTriboi]

У меня не работает. Возможно потому что страница стала динамической. Я не получаю элементов с таким же классом как в браузере. можете пояснить?? Думаю многим будет интересно.

[@name91fhghghg8]

с возвращением из застенков

[@ВячеславТурубаров]

Спасибо!

[@ИгорьКузнецов-т8р]

Спасибо за курсы! А можно ссылку на репозитории с кодом для предыдущего проекта(бот) и по текущему проекту тоже?

[@istories_workshop]

Здравствуйте! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА Ссылка на код робота ждала вас под последним видео курса, вот она: github.com/iStoriesMedia/robot По текущему будет чуть позже - тоже под видео появится ссылка.

[@ИгорьКузнецов-т8р]

@@istories_workshop спасибо!

[@МаринаВласова-и7у]

очень доступно подан материал, но не понятны слова запустим. это print в pyCharm? какая программа стоит у вас для кода?

[@garrig1925]

Привет. При вводе soup = BeautifulSoup(r.text, "lxml") выводит ошибку FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? / Кое как запустил скрипт pycharm, выбрал как указали классы (но классы отличаются от ваших - время много прошло сайт поменялся), на выходе очень большой объем информации не получается уменьшить. Подскажите в чем ошибка

[@yaroslavkuznetsov5016]

нужно установить lxml так же как и BeautifulSoup - Pycharm - File - Settings - Python interpreter + ищешь и инсталируешь lxml

[@МишаКулешов-ф2ф]

Также выводится огромный нечитаемый массив данных, а при установке lxml пишет requirement already satisfied(

[@daxorid]

А это на какой версии пайтона? Просто я пробую парсить на 3.11 и у меня часть кода работает, а часть нет. Например: не работает .text, .get и др. Попробую установить более старую версию, например 3.10

[@Hacking-NASSA-with-HTML]

Здравствуйте, я очень извиняюсь за возможно тупой вопрос, а может парсер - работать в режиме event listener🤔? Чтобы "поселить" парсер на форум, и чтобы парсер сообщал о наиболее активных темах, типа "на ветке велосипеды за последний час появилось 9 сообщений". Как такое сделать 🤔?

[@Hacking-NASSA-with-HTML]

Бэкэнд сайта сделан на node js. Как вот такое сделать 🤔? Чтобы парсер "слушал" двести веток форума одновременно. Объясните пожалуйста хотя бы в общих чертах, дальше я уже сам догуглю, ато я даже не знаю что пока гуглить 😁🤷

[@forexmio]

иноагенту лайк!!!! три раза!!!

[@АлисаВасильева-б1х]

здравствуйте! я +- разобралась в парсинге на реквестс, можете, пожалуйста, подсказать, как мне начать поиск по введенным данным пользователя (input) и вытащить первые 10 ссылок, которые находятся в браузере по этому запросу?

[@istories_workshop]

Здравствуйте! Здесь (kzbin.info/www/bejne/paK2XpWIatJkmKs) рассказываем, как искать поле ввода и нажимать enter, чтобы поиск выполнился. И в этом же уроке есть пример того, как можно собрать первые 10 строк выдачи. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@picassos3017]

Пробую повторить 2.01.2023. Названия классов сменились. Это как?

[@Onixx616]

Очень позновательный видос

[@АртемАлексеев-ж2ь]

Топ!!

[@andrewhkh23]

Ребята, а почему не в pycharm или vs code? там же приходится каждую строчку через print выводить, или же с другими манипуляциями. Новички, в таком случае, не будут понимать основ кодировки. Юпитер это конечно прикольно. Но теряется смысл понимания алгоритмики кода. На win 10 этот юпитер, если честно очень криво работает. Точнее не срабатывает запуск окна ссылками. Приходится через отдельное приложение его запускать. Баг как никак. Недоработка на мультисистемность. А так не плохие у вас видео. Но все же разработка, должна вестись по правилам программирования.

[@ИгнатМирзализадэ]

Каждый что то подчерпнет в этом видео. Я вот узнал, что я оказывается дата-журналист. Пойду ХХ шерстить на вакансии )

[@istories_workshop]

День прошел не зря)) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@Dmitrijs.Skorohodovs]

Выдаёт ошибку - raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Что делать?

[@B1eka]

Библиотеки надо сначало скачать и импотритовать

[@Dmitrijs.Skorohodovs]

Почему выдаёт ошибку raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Даже если lmlx установлен?...

[@alexdixon2844]

"видим что теперь наш код упорядочен..." - только почему он в реальности выводится в одну строчку?)

[@gruzin01]

Спасибо большое за ваши уроки. Вы знаете, что на сегодняшний день ваш урок потерял актуальность так как сайт скорее всего переписали и теперь в объект soup попадает нечитаемая ерунда. Хорошо было бы если бы вы сняли видео как бы продолжение и рассказали как теперь парсить этот сайт.

[@lifenow6078]

да, тоже столкнулся с этой проблемой( смогли решить?

[@moksggwp4195]

Можете прикрепить готовый ipynb, py файл из этого видео? Буду очень рад если скинете!❤

[@floki_spb]

УМНИЦА!!!!!!

[@vasiliyovchinnikov1731]

Спасибо огромное!

[@АлексейС-ч3г]

Так вот для кого продвигают Python! Иноагентки и иноагенты всех стран, саморазоблачайтесь!

[@MadinaAbaeva-b4w]

Здравствуйте, у меня есть 30 тыс ссылок и мне нужно из каждой ссылки собрать - артикул, описание и картинку. Заметила, что сайт не любит большое количество запросов. Есть ли способ обойти эту защиту используя прокси или что-то другое. Хотела купить прокси, но это дорого.

[@РомаДинисов-э5б]

Добрый день, мне просто стало интересно вы по паспорту Алеся? Или все таки это опечатка, на сколько мне известно данное имя пишется Олеся!

[@istories_workshop]

Нет, она Алеся) Вряд ли бы мы не научились правильно писать имя коллеги)) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@АлександрТележанин]

Очень живо и понятно всё! Спасибо за урок!

[@rakhmanovtr]

шикарно для новичка

[@sikirey4151]

код может работать но при следующем включении выдает ошибку: 'NoneType' object has no attribute 'find' понимаю что ошибка связана с тем что какая-то деталь find() - None, но прикол в том что он код работал

[@timuryuldoshev1609]

точно такая же проблема...второй атрибут .find и атрибут .get не признаёт. Может bs4 изменился?

[@ВладЯрмолюк-р3л]

Тоже столкнулся с такой проблемой. Код работает и при следующем запуске уже не работает поиск, так как исходник пустой. Как я понял, сайт блокает ваш запрос. Ведь сменив сайт и проделав всё тоже самое - таких проблем нет. Это при условии, что вы не ошиблись в самом коде

[@ДенисЭдуардович-э8щ]

так и не понял где до цикла определена "переменная" film использующася в цикле.... после переименования соуп в филм, пропадает подкрашивание синтаксиса find

[@istories_workshop]

Здравствуйте. Попробуйте написать в наш чат t.me/istories_helloworld, не видя ваш код невозможно понять, в чем может быть проблема. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@patriziab6782]

Здравствуйте, на предпоследнем шагу len(data) возвращает 0. Код вроде точь-в-точь, не пойму в чём проблема. Код вроде точь-в-точь, не пойму в чём проблема. Не могли бы вы подсказать, что может быть тому причиной, или опубликовать исходник? Спасибо, видео очень понравилось!

[@istories_workshop]

Здравствуйте! Видимо, все же не один в один... Попробуйте показать ваш код в нашем чате, постараемся помочь: t.me/istories_helloworld ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@academy-mu6uh]

У меня вопрос, а как быть со страницами на которых кодьнельзя просмотреть (resources page), нажимая а открывается тупа пустая страница?

[@osvab000]

На 9 минуте, после команды: soup.find('div', class_='desktop-rating-selection-film-item').find('a', class_='selection-film-item-meta_link') - выскакивает ошибка! У вас работает а у меня нет и не могу понять почему? Может это из-за Коллаба?

[@istories_workshop]

Чтобы ответить на вопрос, нужно видеть текст ошибки. Там должно быть написано, почему код не может пройти дальше и в какой строке проблема. Если не получается найти самому, погуглите текст ошибки - на StackOverflow скорее всего уже будет ответ

[@codywallker1208]

Я вот Scraph делаю в VS и все правильно делаю но у меня выходит ошибка None object type Error и я не понимаю почему но я все правильно делаю

[@codywallker1208]

Только не скажите надо гуглить я ютублю а не гуглю ) и от вас хочу узнать проблему

[@istories_workshop]

так если ошибка выходит, значит все-таки что-то неправильно делаете)) Но по комментарию в ютубе сложно понять, что пошло не так, надо видеть код ошибки и ваш код. У нас в описаниях к видео есть ссылка на чатик, куда можно задавать такие вопрос, если вы не хотите задавать их гуглу (мы, как видите, в комментариях отвечаем медленновато)

[@gcodegsk9632]

Искренне не понимаю, как с таким качеством контента у вас такое небольшое количество подписчиков, уверен, это временно конечно, но возможно, стоит сменить название канала на что-то более логически подходящее к формату ;)

[@feelingshady]

Сначала все работало, а потом find перестал что-либо искать, словно кинопоиск поставил какую-то защиту типа капчи.

[@sofiam2237]

Как решить эту проблему?

[@ВладЯрмолюк-р3л]

Допишите юзер агент после юрл. На первые пару запросов хватит. Но это значение нужно бдует менять постоянно. Советую найти другой сайт для практики

[@CatMebelevich]

Хорошо бы еще про установку BeautifulSoup

[@АекссКек]

В начале видео было … pip install bs4

[@ПавелЛешок-ь7л]

Скачал пайтон, запустил, открылась системная трока (чёрное окно). Как сделать такой же удобный интерфейс, как у вас?

[@Arnur-wt3vd]

у автора Jupyter Notebook

[@alexdixon2844]

Скажите пожалуйста, почему вместо кода пишет результат None?

[@Your.m.o.t.h.e.r]

При добавлении этой строчки soup = BeautifulSoup(r.text, "lxml") Выдает ошибку File "C:\Users\thxmd\PycharmProjects\html_pars\venv\Lib\site-packages\bs4\__init__.py", line 248, in __init__ raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Что я делаю не так ?

[@kos6036]

попробуй "lxml" в одинарные кавычки 'lxml'

[@Павел-у9г1р]

Если актуально то обнови lxml (pip install --upgrade lxml), перезагрузи kernel и импортируй все библиотеки заново. У меня сработало.

[@valdemarvaldemar4734]

Добрый день! Огромная благодарность за видео и знания, которыми Вы делитесь! Прошу помощи! Сложил код, но работает странно: выбирает данные только из первых двух (из 5) страниц сайта. Остальные 3, 4 и 5 просто под номером принтит (согласно коду), но без результатов парсинга данных в файл. Цикл страниц задан верно (1-6). Но, увы и ах...

[@istories_workshop]

Здравствуйте. Попробуйте написать в наш чат t.me/istories_helloworld, не видя ваш код невозможно понять, в чем может быть проблема. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@valdemarvaldemar4734]

@@istories_workshop Спасибо за обратную связь, к этому моменту я понял в чем проблема. После второй страницы на сайте появляется "капча". А значит Вашим урокам есть куда развиваться. Ждем предложений :)

[@alex_grothendieck9701]

@@istories_workshop у меня появляется капча ещё на первой странице, совсем не даёт ничего спарсить :( Причем пробовал и устройства менять, и сети подключения. Это можно как-то починить? Ну или возможно вы могли бы подсказать какой-то другой сайт вместо КиноПоиска со схожим устройством разделов, чтобы можно было на этом сайте потренироваться?

[@day_tradingnew]

Если для той страницы что я хочу спарсить требуется авторизация? Как быть в этом случае?

[@B3CK0FF]

смотреть урок про парсинг с авторизацией) там вроде работа с куками и их сохранение...

[@JohnDoe-hp5kw]

У меня почему-то периодически выдает ошибку 'NoneType' object has no attribute 'find' С чем это может быть связано? Первый раз пишу print и все ОК, а на второй или 3 раз вылезает такая ошибка

[@istories_workshop]

Здравствуйте. Попробуйте написать в наш чат t.me/istories_helloworld, не видя ваш код невозможно понять, в чем может быть проблема. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@teacherit5840]

Сейчас у меня не работает видимо сайт стал динамическим?

[@teacherit5840]

Возможно.ВОзможно заголовки просит

[@Stereophoto]

пробуйте другие ресурсы, я на этом примере сделал скрейпинг каталога виниловых пластинок с одного ресурса

[@МишаКулешов-ф2ф]

Здравствуйте, кто-то может подсказать пожалуйста? Вот какая проблема. Делал все пошагово - работало. Ровно до тех пор, пока на попытался парсить все пять страниц. После этого мне вначале выдало исключительно 4ю страницу. А затем цикл просто стал выдавать пустой лист. Перешел к первым шагам, решил еще раз попробовать на одной странице и теперь request.get(url) с той же самой ссылкой выдает абсолютно другой скрипт страницы, как это происходит и что с этим делать?..

[@sg6630]

Подскажите как вытягивать из одинаковых тэгов инфу 12,500.00 12,721.97 мне выдает первый тэг и все, остальные как?

[@sg6630]

решил сам. Кому интересно. Мы ищем find_all все элементы, потом из списка выбираем то что нужно

[@restsheets2962]

Спасибо за видео! А можно также брать информацию из сайта, где постоянно сервер перезагружается. Сайт универа ужасный, если просто вырвать ссылку, то нужно заходить по логину и паролю и всё заново

[@istories_workshop]

Здравствуйте! Сложно сказать, не видя сайт и код. Возможно, придется логиниться каждый раз. Заходите в наш чат t.me/istories_helloworld, постараемся подсказать более детально. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@constantine_rolls]

❤

[@alexeymendrin]

Подскажите, когда будет следующее видео?

[@istories_workshop]

Здравствуйте, планируем на понедельник. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@alexeymendrin]

@@istories_workshop Спасибо! Очень интересные и познавательные видео. Буду ждать :)

[@ThisIsGreenRoom]

@@istories_workshop 🤦‍♂ каждый комментарий должен быть сопровождён этой чушью про "шпионов"? в кремле вообще кукухой поехали, курсы кройки и шитья скоро будут иноагентами...

[@karimjapparov5324]

thank you

[@TiHbUA]

Что делать если возвращает ошибку "'NoneType' object is not callable" , после вызова findall?

[@istories_workshop]

То же самое, что и при любой другой ошибке: гуглить ее и читать, как подобные ошибки решали другие. Потому что явно у кого-то было то же самое ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА Т..к мы не видим ваш код, то, возможно, вам подойдет этот ответ. stackoverflow.com/questions/41614706/nonetype-object-is-not-callable-when-i-learn-web-scraping Если нет - нужно поискать еще)

[@TheMrDivinsky]

Good soup 👌

[@Евгений-д5з7ф]

спасибо

[@Reach_of_the_Astronomican]

а, блин, это же тоже иностранный агент, а то я захожу в мастерскую как в другой мир обычно

[@istories_workshop]

Теперь это одна коновселенная)) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@dicloniusN35]

а как то же самое с мобильным приложением сделать?)

[@tengenuzui3907]

У меня высвечивается None что делать

[@alexeiiminailov560]

soup=BeautifulSoup(r.text, "lxml") выскакивает ошибка NameError Traceback (most recent call last) Cell In[12], line 1 ----> 1 soup=BeautifulSoup(r.text, "lxml") NameError: name 'BeautifulSoup' is not defined

[@НикитаМихайлович-ч5п]

Может у вас библиотека не импортирована?

[@emrullahergun7318]

Здравствуйте, я хочу извлечь данные с иностранного сайта. За плату. можете вы помочь мне?Пожалуйста, мне нужно срочно((