Скрейпинг сайтов с помощью библиотек Beautifulsoup и Requests на Python

[@istories_workshop]

❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост - уголовным делом. Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами - в это темное время выжить мы сможем только вместе.

[@yarmik3d]

Так называемы "программист\ка" решила учить, сама не особо понимая, что делает.

[@ВладиславГладкий-ъ7н]

@@yarmik3d ахахах, любитель рУЗКОГО мира будет нам тут кукареть как правильно родину любить, иди грим смой, клоун😂

[@yarmik3d]

@@ВладиславГладкий-ъ7н А ты любитель какого мира пишущего на русском языке?

[@ВладиславГладкий-ъ7н]

@@yarmik3d я сторонник цивилизованного мира, основанного на демократии, свободе слова и верховенства права. И какая тебе разница на каком языке я пишу. Ты же наверняка не знаешь ни одного другого языка кроме русского

[@yarmik3d]

@@ВладиславГладкий-ъ7н Все это ты мог выразить одним словом - ПРЕДАТЕЛЬ

[@МихаилРойтман-ъ5у]

Добрый день. Мне 60 лет, изучаю аналитику данных. Ваш урок - это СУПЕР. Все понятно, логично, доходчиво! Спасибо! Удачи Вам!

[@Storks40]

Мне 66.Тоже подсел на эту тему) По этому видео сделал календарь культурных событий в нашей области. Очень хорошее объяснение.

[@art_alf-b9b]

Вы крутые!

[@weik_gamecut_ru]

Смотрел уроков 5 по парсингу и тяжело было уловить суть в какой последовательности и логике все делать, чтобы без подсказок самому делать потом. А здесь объяснение шикарное, у меня прям картинка прорисовалась в голове сразу, особенно хорошо, что сначала пишутся строки под один фильм, а уже когда понял это, показано как объединить строки чтобы получить все фильмы, а потом как и с каждой страницы. Так удобнее, спасибо!

[@istories_workshop]

Йее! Очень рады, что вам подошел наш подход (простите за тавтологию) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@LifterAndy]

Начни лучше не с парсинга, а с решения олимпиадных задач и синтаксиса языка.

[@clear1948]

У меня всегда было предвзятое отношение к русскоязычным урокам. Всегда смотрю туториалы на английском, так как они проще все обьясняют. Но здесь, Алеся вы просто супер. Как же вы круто обьясняете, быстро и понятно без лишних слов. Вы мастерский учитель. Спасибо вам большое ❤

[@istories_workshop]

Спасибо большое за просмотр и такую оценку! Очень рады)) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@PapaBOSS]

Какая же ты молодец! Всё очень доходчиво и спокойно объяснила . Спасибо!

[@msv108]

Огромное спасибо! С обработкой none нигде не могла найти решение. А вы так просто все объяснили! Лайк и подписка!

[@Моментыизфильма-н3р]

Как бывший преподаватель, работавший в SkillFactory, GeekBrains MailRu и других компаниях, подтверждаю - очень качественный контент, очень понравился ваш урок, со всеми разъяснениями. Понятно, что для того, чтобы точно всё понимать, без изучения азов вебверстки и самого языка python не обойтись. Однако, если вы уже знакомы со всеми этими технологиями, данный материал будет для вас максимально понятен и полезен. Всё даётся по пунктам, достаточно развёрнуто. Да, где-то приходится откатываться назад, чтобы пользователь понимал, откуда что берётся. Однако это не просаживает урок, всё очень динамично и не даёт уснуть. Спасибо!

[@istories_workshop]

Спасибо!

[@Mr6epkym]

Это лучшие уроки по парсингу которые я когда-либо встречал!

[@ЕвгенСахаров]

Алеся, какая же Вы молодец! Я собираюсь изучать пайтон, уже проплатил годовой онлайн курс. Мне 48 лет. Пробовал писать код по видео других авторов. Не получалось. Но по Вашему видео я дошол до конца. Все же прошол скрипт по всем страницам, спарсил все 250 фильмов и собрал все данные в файл. Вы дали возможность поверить в себя. Огромное Вам,Алеся,спасибо.

[@istories_workshop]

Очень приятно, спасибо и вам! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@glimmer5103]

@@istories_workshop Что это значит "ДАННОЕ СООБЩЕНИЕ"... ?

[@istories_workshop]

ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА Что нас внесли в реестр СМИ-"иноагентов". Мы с этим не согласны и оспариваем через суд. Но т.к. мы живем в России и работаем в России, то вынуждены (пытаться) выполнять требования этого "закон об иноагентах". По нему мы должны вообще на все наши сообщения (тексты, видео, комментарии, репосты, ретвиты, и т.п.) ставить эту пометку. В противном случае наше юрлицо и главный редактор получат штраф. После нескольких штрафов главреду грозит уголовное преследование.

[@ИванЕвдокимов-л6ь]

как успехи?)

[@ЕвгенСахаров]

@@ИванЕвдокимов-л6ь Дается не легко, не скрою. Но безумно интеоесно. Взял академ, на работу вызвали. Остановился на ООП. Через 2 недели домой. Вахта заканчивается. Думаю летом будет защита. Думаю какой проект взять. Уже написал самостоятельно несколько программ. Так что, Иван, всё хорошо!

[@non5309]

первый дисклеймер это похоже новый знак качества )

[@ДмитрийВаськин-й6л]

Классно объясняет, не зная языка питона, немного разбираясь в пхп, после просмотра урока получилось решить свою задачу)) Однозначно лайк и подписка, теперь пересмотрю все уроки 😂

[@andreyandreyovich5454]

я загалом працюю в дотичній до іт галузі, але була потреба викростати скрейпінг, зазвичай теж дивлюся англійською, але ваші найкращі. дякую, все зрозуміло і по ділу

[@larsthorleik2484]

Всё понятно, только сайт Кинопоиск блокирует парсинг-запросы. В первый раз запрос срабатывает и данные получаются, потом выскакивает ошибка. Приходится мучиться. Может нужен прокси, а может в Юпитере нет таких проблем как в Пайчарме, в котором я работаю.

[@noname1999x]

Большое вам спасибо за самые крутые уроки во вселенной! ❤️❤️❤️

[@istories_workshop]

Рады, что нравится, спасибо, что смотрите! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@eldardev]

Супер! Спасибо за пример! Идеально взяли пример и объяснили кристально

[@ВикторФомичёв-х8л]

Спасибо вам большое за толковые и интересные видеоуроки

[@cosmonaut380]

Этот канал - сокровище, которое лежало у меня под ногами, о котором я узнал благодаря Кацу. Полезность этого видео зашкаливает, спасибо огромное! Подписался

[@ЮрийМашинистов-и6о]

Иноагент - это знак качества в наше время.

[@vvitasikm3341]

Супер ! Спасибо тебе милая девушка😊

[@fghhna]

Шикарная подача информации. Крайне полезное видео.

[@an-rh8bp]

Держитесь, ребята, благодарю!

[@ВиталийКоновалов-г1ц]

Спасибо! Информация доходчивая и легко усваиваемая во всех видео на канале!

[@istories_workshop]

Спасибо, что смотрите :) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@yauhenilamakin8495]

Спасибо большое. Все просто и понятно. И главное, что работает

[@НиколайПрокопьев-т4м]

кое как вырулил себе список ссылок с другого сайта, так как начинающий. Но все же у вас более доходчивое объяснение парсинга

[@ЯрославЛеонов-з8д]

УМНИЦА, очень круто объясняешь , спасибо тебе

[@almaz1839]

Лучше пояснение! Спасибо, ты богиня!)

[@ЛеонидСвиридов-г9ш]

Благодарю, урок просто шикарен!

[@chekito]

Просто поклон до земли за эти уроки! Только у вас понял технику. Но возник вопрос. При парсинге вылетает исключение 'requests.exceptions.ConnectTimeout:' Как его лечить? Что конкретно прописать в except?

[@ThisIsGreenRoom]

Зачётно всё понятно и доступно 💢 спасибо

[@maestr0G]

Вы просто супер , объясняет очень хорошо. Спасибо вам большое за контент ❤❤❤

[@АндрейСамохин-о2ь]

Супер урок! Спасибо!:)

[@non5309]

следующий урок будет интересным, видимо там будет про user_agent и подобное

[@drgg9368]

Расскажите пожалуйста data science и скрейпинг это одно и тоже. Просто хотел купить книгу для изучения, а книга про скрейпинг 2016 года, я боюсь покупать т.к инфа может быть устарела . И я нашёл книгу про data science 2023 хорошую судя по отзывам и т.д. Вопрос такой мне нужна книга про то что говорится в видео . Подскажите пожалуйста какую взять накидайте вариантов буду очень благодарен. И ещё все таки data science и парсинг и скарпинг сайтов это одно и тоже?

[@nadiiaschmitz2306]

Очень классное видео, прямо кристальная ясность наступает, спасибо огромное! 🌹🌹🌹

[@pervosled]

Очень полезно, спасибо!

[@КатяШатохина-ь1в]

Подскажите, плиз, что не так после soup = bs(r.text, 'lxml') всё выходит в одну длинную строку. И потом при поиске soup.find('div', class_='styles_root__ti07r') ничего не находит

[@sokatef]

Контент динамически загружается, т.е. просто так нельзя получить, так как js код в процессе исполняется. Используйте selenium, чтоб получить html вид страницы и уже по видео обработку делайте.

[@VitaliiTriboi]

У меня не работает. Возможно потому что страница стала динамической. Я не получаю элементов с таким же классом как в браузере. можете пояснить?? Думаю многим будет интересно.

[@rikenbaker1]

Похоже что сайт стал динамическим и простыми запросами уже данные из него не получить.

[@МортиМортимер-э1р]

очень доступно, понятно, круто

[@МаринаВласова-и7у]

очень доступно подан материал, но не понятны слова запустим. это print в pyCharm? какая программа стоит у вас для кода?

[@YAUHENNAUROTSKI]

Здрастауйте ,а есть ли курсы при вашей поддержки по скрейпингу и анализу данных?

[@garrig1925]

Привет. При вводе soup = BeautifulSoup(r.text, "lxml") выводит ошибку FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? / Кое как запустил скрипт pycharm, выбрал как указали классы (но классы отличаются от ваших - время много прошло сайт поменялся), на выходе очень большой объем информации не получается уменьшить. Подскажите в чем ошибка

[@yaroslavkuznetsov5016]

нужно установить lxml так же как и BeautifulSoup - Pycharm - File - Settings - Python interpreter + ищешь и инсталируешь lxml

[@МишаКулешов-ф2ф]

Также выводится огромный нечитаемый массив данных, а при установке lxml пишет requirement already satisfied(

[@ИгорьКузнецов-т8р]

Спасибо за курсы! А можно ссылку на репозитории с кодом для предыдущего проекта(бот) и по текущему проекту тоже?

[@istories_workshop]

Здравствуйте! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА Ссылка на код робота ждала вас под последним видео курса, вот она: github.com/iStoriesMedia/robot По текущему будет чуть позже - тоже под видео появится ссылка.

[@ИгорьКузнецов-т8р]

@@istories_workshop спасибо!

[@Arnur-wt3vd]

А почему при парсинге вместо данных я получаю none?(

[@kirillsidorov6641]

Просто отлично, лайк хоть можно поставить?

[@morinks]

Это лучшее обучение что я видел

[@Denmark1150]

Что-то у менявроде сначала все работало почти правильно, а потом перестало работать. Вроде с кодом все впорядке, но первый раз вывело не весь список, а потом и вовсе перестало выводить. Может ли быть такое, что кинопоиск мой айпишник из-за такой активности заблочил на какое-то время? В частности когда я по отдельности пытаюсь запустить запросы на один из пунктов(ссылка, название, страна и т.д.) выходит ошибка AttributeError 'NoneType' object has no attribute 'find'. Не мог же я наковырять во всех этих пунктах. Раньше они исправно работали UPD: заработало само через некоторое время, но почему-то выдало только 150. Но тоже не плохо😀 Спасибо за видео, вы крутые

[@МишаКулешов-ф2ф]

Руслан, у меня такая же история, в тч выдает другой скрипт страницы через некоторое время...А на последнем цикле выдает строго одну страницу, а в след раз просто пустой список О_о Магия какая-то, иначе не могу объяснить...

[@timuryuldoshev1609]

@@МишаКулешов-ф2ф это не магия, это защита от парсинга =) пробуйте внедрять в код "обманки".

[@daxorid]

А это на какой версии пайтона? Просто я пробую парсить на 3.11 и у меня часть кода работает, а часть нет. Например: не работает .text, .get и др. Попробую установить более старую версию, например 3.10

[@АлисаВасильева-б1х]

здравствуйте! я +- разобралась в парсинге на реквестс, можете, пожалуйста, подсказать, как мне начать поиск по введенным данным пользователя (input) и вытащить первые 10 ссылок, которые находятся в браузере по этому запросу?

[@istories_workshop]

Здравствуйте! Здесь (kzbin.info/www/bejne/paK2XpWIatJkmKs) рассказываем, как искать поле ввода и нажимать enter, чтобы поиск выполнился. И в этом же уроке есть пример того, как можно собрать первые 10 строк выдачи. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@alexdixon2844]

"видим что теперь наш код упорядочен..." - только почему он в реальности выводится в одну строчку?)

[@Dmitrijs.Skorohodovs]

Выдаёт ошибку - raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Что делать?

[@B1eka]

Библиотеки надо сначало скачать и импотритовать

[@andrewhkh23]

Ребята, а почему не в pycharm или vs code? там же приходится каждую строчку через print выводить, или же с другими манипуляциями. Новички, в таком случае, не будут понимать основ кодировки. Юпитер это конечно прикольно. Но теряется смысл понимания алгоритмики кода. На win 10 этот юпитер, если честно очень криво работает. Точнее не срабатывает запуск окна ссылками. Приходится через отдельное приложение его запускать. Баг как никак. Недоработка на мультисистемность. А так не плохие у вас видео. Но все же разработка, должна вестись по правилам программирования.

[@gruzin01]

Спасибо большое за ваши уроки. Вы знаете, что на сегодняшний день ваш урок потерял актуальность так как сайт скорее всего переписали и теперь в объект soup попадает нечитаемая ерунда. Хорошо было бы если бы вы сняли видео как бы продолжение и рассказали как теперь парсить этот сайт.

[@lifenow6078]

да, тоже столкнулся с этой проблемой( смогли решить?

[@ВячеславТурубаров]

Спасибо!

[@Onixx616]

Очень позновательный видос

[@forexmio]

иноагенту лайк!!!! три раза!!!

[@Hacking-NASSA-with-HTML]

Здравствуйте, я очень извиняюсь за возможно тупой вопрос, а может парсер - работать в режиме event listener🤔? Чтобы "поселить" парсер на форум, и чтобы парсер сообщал о наиболее активных темах, типа "на ветке велосипеды за последний час появилось 9 сообщений". Как такое сделать 🤔?

[@Hacking-NASSA-with-HTML]

Бэкэнд сайта сделан на node js. Как вот такое сделать 🤔? Чтобы парсер "слушал" двести веток форума одновременно. Объясните пожалуйста хотя бы в общих чертах, дальше я уже сам догуглю, ато я даже не знаю что пока гуглить 😁🤷

[@name91fhghghg8]

с возвращением из застенков

[@moksggwp4195]

Можете прикрепить готовый ipynb, py файл из этого видео? Буду очень рад если скинете!❤

[@picassos3017]

Пробую повторить 2.01.2023. Названия классов сменились. Это как?

[@Dmitrijs.Skorohodovs]

Почему выдаёт ошибку raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Даже если lmlx установлен?...

[@ИгнатМирзализадэ]

Каждый что то подчерпнет в этом видео. Я вот узнал, что я оказывается дата-журналист. Пойду ХХ шерстить на вакансии )

[@istories_workshop]

День прошел не зря)) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@vasiliyovchinnikov1731]

Спасибо огромное!

[@РомаДинисов-э5б]

Добрый день, мне просто стало интересно вы по паспорту Алеся? Или все таки это опечатка, на сколько мне известно данное имя пишется Олеся!

[@istories_workshop]

Нет, она Алеся) Вряд ли бы мы не научились правильно писать имя коллеги)) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@floki_spb]

УМНИЦА!!!!!!

[@MadinaAbaeva-b4w]

Здравствуйте, у меня есть 30 тыс ссылок и мне нужно из каждой ссылки собрать - артикул, описание и картинку. Заметила, что сайт не любит большое количество запросов. Есть ли способ обойти эту защиту используя прокси или что-то другое. Хотела купить прокси, но это дорого.

[@feelingshady]

Сначала все работало, а потом find перестал что-либо искать, словно кинопоиск поставил какую-то защиту типа капчи.

[@sofiam2237]

Как решить эту проблему?

[@ВладЯрмолюк-р3л]

Допишите юзер агент после юрл. На первые пару запросов хватит. Но это значение нужно бдует менять постоянно. Советую найти другой сайт для практики

[@АлександрТележанин]

Очень живо и понятно всё! Спасибо за урок!

[@АртемАлексеев-ж2ь]

Топ!!

[@patriziab6782]

Здравствуйте, на предпоследнем шагу len(data) возвращает 0. Код вроде точь-в-точь, не пойму в чём проблема. Код вроде точь-в-точь, не пойму в чём проблема. Не могли бы вы подсказать, что может быть тому причиной, или опубликовать исходник? Спасибо, видео очень понравилось!

[@istories_workshop]

Здравствуйте! Видимо, все же не один в один... Попробуйте показать ваш код в нашем чате, постараемся помочь: t.me/istories_helloworld ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@АлексейС-ч3г]

Так вот для кого продвигают Python! Иноагентки и иноагенты всех стран, саморазоблачайтесь!

[@rakhmanovtr]

шикарно для новичка

[@sikirey4151]

код может работать но при следующем включении выдает ошибку: 'NoneType' object has no attribute 'find' понимаю что ошибка связана с тем что какая-то деталь find() - None, но прикол в том что он код работал

[@timuryuldoshev1609]

точно такая же проблема...второй атрибут .find и атрибут .get не признаёт. Может bs4 изменился?

[@ВладЯрмолюк-р3л]

Тоже столкнулся с такой проблемой. Код работает и при следующем запуске уже не работает поиск, так как исходник пустой. Как я понял, сайт блокает ваш запрос. Ведь сменив сайт и проделав всё тоже самое - таких проблем нет. Это при условии, что вы не ошиблись в самом коде

[@academy-mu6uh]

У меня вопрос, а как быть со страницами на которых кодьнельзя просмотреть (resources page), нажимая а открывается тупа пустая страница?

[@МишаКулешов-ф2ф]

Здравствуйте, кто-то может подсказать пожалуйста? Вот какая проблема. Делал все пошагово - работало. Ровно до тех пор, пока на попытался парсить все пять страниц. После этого мне вначале выдало исключительно 4ю страницу. А затем цикл просто стал выдавать пустой лист. Перешел к первым шагам, решил еще раз попробовать на одной странице и теперь request.get(url) с той же самой ссылкой выдает абсолютно другой скрипт страницы, как это происходит и что с этим делать?..

[@ДенисЭдуардович-э8щ]

так и не понял где до цикла определена "переменная" film использующася в цикле.... после переименования соуп в филм, пропадает подкрашивание синтаксиса find

[@istories_workshop]

Здравствуйте. Попробуйте написать в наш чат t.me/istories_helloworld, не видя ваш код невозможно понять, в чем может быть проблема. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@alexdixon2844]

Скажите пожалуйста, почему вместо кода пишет результат None?

[@Your.m.o.t.h.e.r]

При добавлении этой строчки soup = BeautifulSoup(r.text, "lxml") Выдает ошибку File "C:\Users\thxmd\PycharmProjects\html_pars\venv\Lib\site-packages\bs4\__init__.py", line 248, in __init__ raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? Что я делаю не так ?

[@kos6036]

попробуй "lxml" в одинарные кавычки 'lxml'

[@Павел-у9г1р]

Если актуально то обнови lxml (pip install --upgrade lxml), перезагрузи kernel и импортируй все библиотеки заново. У меня сработало.

[@osvab000]

На 9 минуте, после команды: soup.find('div', class_='desktop-rating-selection-film-item').find('a', class_='selection-film-item-meta_link') - выскакивает ошибка! У вас работает а у меня нет и не могу понять почему? Может это из-за Коллаба?

[@istories_workshop]

Чтобы ответить на вопрос, нужно видеть текст ошибки. Там должно быть написано, почему код не может пройти дальше и в какой строке проблема. Если не получается найти самому, погуглите текст ошибки - на StackOverflow скорее всего уже будет ответ

[@codywallker1208]

Я вот Scraph делаю в VS и все правильно делаю но у меня выходит ошибка None object type Error и я не понимаю почему но я все правильно делаю

[@codywallker1208]

Только не скажите надо гуглить я ютублю а не гуглю ) и от вас хочу узнать проблему

[@istories_workshop]

так если ошибка выходит, значит все-таки что-то неправильно делаете)) Но по комментарию в ютубе сложно понять, что пошло не так, надо видеть код ошибки и ваш код. У нас в описаниях к видео есть ссылка на чатик, куда можно задавать такие вопрос, если вы не хотите задавать их гуглу (мы, как видите, в комментариях отвечаем медленновато)

[@restsheets2962]

Спасибо за видео! А можно также брать информацию из сайта, где постоянно сервер перезагружается. Сайт универа ужасный, если просто вырвать ссылку, то нужно заходить по логину и паролю и всё заново

[@istories_workshop]

Здравствуйте! Сложно сказать, не видя сайт и код. Возможно, придется логиниться каждый раз. Заходите в наш чат t.me/istories_helloworld, постараемся подсказать более детально. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@teacherit5840]

Сейчас у меня не работает видимо сайт стал динамическим?

[@teacherit5840]

Возможно.ВОзможно заголовки просит

[@Stereophoto]

пробуйте другие ресурсы, я на этом примере сделал скрейпинг каталога виниловых пластинок с одного ресурса

[@alexeiiminailov560]

soup=BeautifulSoup(r.text, "lxml") выскакивает ошибка NameError Traceback (most recent call last) Cell In[12], line 1 ----> 1 soup=BeautifulSoup(r.text, "lxml") NameError: name 'BeautifulSoup' is not defined

[@НикитаМихайлович-ч5п]

Может у вас библиотека не импортирована?

[@alexeymendrin]

Подскажите, когда будет следующее видео?

[@istories_workshop]

Здравствуйте, планируем на понедельник. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@alexeymendrin]

@@istories_workshop Спасибо! Очень интересные и познавательные видео. Буду ждать :)

[@ThisIsGreenRoom]

@@istories_workshop 🤦‍♂ каждый комментарий должен быть сопровождён этой чушью про "шпионов"? в кремле вообще кукухой поехали, курсы кройки и шитья скоро будут иноагентами...

[@sg6630]

Подскажите как вытягивать из одинаковых тэгов инфу 12,500.00 12,721.97 мне выдает первый тэг и все, остальные как?

[@sg6630]

решил сам. Кому интересно. Мы ищем find_all все элементы, потом из списка выбираем то что нужно

[@ПавелЛешок-ь7л]

Скачал пайтон, запустил, открылась системная трока (чёрное окно). Как сделать такой же удобный интерфейс, как у вас?

[@Arnur-wt3vd]

у автора Jupyter Notebook

[@CatMebelevich]

Хорошо бы еще про установку BeautifulSoup

[@АекссКек]

В начале видео было … pip install bs4

[@ambro4580]

Можно было rfind использовать, мне кажется, когда жанр искали

[@constantine_rolls]

❤

[@karimjapparov5324]

thank you

[@valdemarvaldemar4734]

Добрый день! Огромная благодарность за видео и знания, которыми Вы делитесь! Прошу помощи! Сложил код, но работает странно: выбирает данные только из первых двух (из 5) страниц сайта. Остальные 3, 4 и 5 просто под номером принтит (согласно коду), но без результатов парсинга данных в файл. Цикл страниц задан верно (1-6). Но, увы и ах...

[@istories_workshop]

Здравствуйте. Попробуйте написать в наш чат t.me/istories_helloworld, не видя ваш код невозможно понять, в чем может быть проблема. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@valdemarvaldemar4734]

@@istories_workshop Спасибо за обратную связь, к этому моменту я понял в чем проблема. После второй страницы на сайте появляется "капча". А значит Вашим урокам есть куда развиваться. Ждем предложений :)

[@alex_grothendieck9701]

@@istories_workshop у меня появляется капча ещё на первой странице, совсем не даёт ничего спарсить :( Причем пробовал и устройства менять, и сети подключения. Это можно как-то починить? Ну или возможно вы могли бы подсказать какой-то другой сайт вместо КиноПоиска со схожим устройством разделов, чтобы можно было на этом сайте потренироваться?

[@TheMrDivinsky]

Good soup 👌

[@dicloniusN35]

а как то же самое с мобильным приложением сделать?)

[@day_tradingnew]

Если для той страницы что я хочу спарсить требуется авторизация? Как быть в этом случае?

[@B3CK0FF]

смотреть урок про парсинг с авторизацией) там вроде работа с куками и их сохранение...

[@JohnDoe-hp5kw]

У меня почему-то периодически выдает ошибку 'NoneType' object has no attribute 'find' С чем это может быть связано? Первый раз пишу print и все ОК, а на второй или 3 раз вылезает такая ошибка

[@istories_workshop]

Здравствуйте. Попробуйте написать в наш чат t.me/istories_helloworld, не видя ваш код невозможно понять, в чем может быть проблема. ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@gcodegsk9632]

Искренне не понимаю, как с таким качеством контента у вас такое небольшое количество подписчиков, уверен, это временно конечно, но возможно, стоит сменить название канала на что-то более логически подходящее к формату ;)

[@vitojenoveze5516]

а почему юпитер?

[@TiHbUA]

Что делать если возвращает ошибку "'NoneType' object is not callable" , после вызова findall?

[@istories_workshop]

То же самое, что и при любой другой ошибке: гуглить ее и читать, как подобные ошибки решали другие. Потому что явно у кого-то было то же самое ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА Т..к мы не видим ваш код, то, возможно, вам подойдет этот ответ. stackoverflow.com/questions/41614706/nonetype-object-is-not-callable-when-i-learn-web-scraping Если нет - нужно поискать еще)

[@emrullahergun7318]

Здравствуйте, я хочу извлечь данные с иностранного сайта. За плату. можете вы помочь мне?Пожалуйста, мне нужно срочно((

[@viewornot9989]

не получилось по вашему видео сделать.