Обучение парсингу на Python #1 | Парсинг сайтов | Разбираем методы библиотеки Beautifulsoup

Обучение (Web-Scraping) веб парсингу на Python. В данном видео разбираем методы одной из основных библиотек для парсинга веб сайтов на Python Beautifulsoup4.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pythontoday
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
Таймкоды:
00:00 - О библиотеке Beautifulsoup
01:18 - Установка Beautifulsoup
01:58 - Установка lxml
02:55 - Работа с основными методами .find() и .find_all()
09:37 - Методы .find_parent() и .find_parents()
11:25 - Методы .next_element .previous_element .find_next()
12:38 - Методы .find_next_sibling() и .find_previous_sibling()
13:30 - Комбинирование методов
14:25 - Как забрать атрибуты из тегов
15:44 - Поиск по тексту
16:20 - Пример использования регулярных выражений при парсинге
****Ссылки****
Дешевый/надежный сервер в Европе + СКИДКА 10%:
vdsina.ru/?partner=858b36ud3p
Хороший proxy сервис:
proxy6.net/a/149995
Документация Beautifulsoup:
EN: www.crummy.com/software/Beaut...
RU: www.crummy.com/software/Beaut...
Код проекта на github:
github.com/pythontoday/scrap_...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day

[@daniilrozyev]

Вот так нужно объяснять! Без воды быстро и сразу на живых примерах. Спасибо.

[@sunratencsmusic1786]

Классно, спасибо огромное за уроки! Буду с огромным желанием смотреть до конца и обучаться!

[@eYVgeni]

Отличный урок, пересмотрел уже несколько на данную тематику. Тут есть логика и системное изложение материала, что позволяет понять технологию, а не просто наблюдать за тем, как кто-то пишет код, который при повторении почему-то часто не работает.

[@PythonToday]

Благодарю за фидбэк 💪

[@AtomNuclearChannel]

Спасибо большое за вашу работу, жду следующий урок

[@roman.paltsev]

Один из самых понятных уроков по парсингу на BS. Спасибо!

[@PythonToday]

Спасибо за фидбэк!

[@user-tn3vv8zt1f]

Превосходная подача материала. Спасибо

[@PythonToday]

Благодарю за фидбэк 💪

[@virus8727]

сколько не искал - НИЧЕГО лучше твоего виде не нашел!!! ОГРОМНОЕ СПАСИБО!

[@tigert7194]

Разобрано на простом примере. Все очень понятно. Большое спасибо! То что надо.

[@CommieDog1917]

На мой взгляд, этот видос - лучший по соотношению полезность/понятность/длительность

[@user-bi4vs4rb1n]

Всем у кого открывается набор символов, вместо русского языка! Нужно перекодировать файл в кодировку UTF-8 добавив в первую строчку команду encoding="utf-8". Вот таким образом: with open('blank/index.html', encoding="utf-8") as file:

[@ferterhard]

Много часов ты наверное многим сэкономишь, но к сожалению я увидел этот комментарий уже после того, как нашел решение

[@user-bi4vs4rb1n]

@@ferterhard тоже помучился просто)

[@user-nv7cq8xt2k]

блин :) как решил эту проблему потом увидел комент, оказывается можно было в html коде просто изменить на и перезагрузить pycarm

[@user-dn9th5ee2j]

Согласен с предыдущими. Сначала нашел решение, а потом уже прочитал коммент. Спасибо, многие бы мучились

[@user-bi4vs4rb1n]

@@user-nv7cq8xt2k ну в рабочих проектах так не выйдет, когда паришь сторонний сайт поэтому лучше в коде питона указывать)

[@Kitik27]

Здраствуйте, я как абсолютный новичок в этой сфере говорю вам что за один ваш урок узнал очень много нового для себя, очень доступно и понятно объясняете, спасибо за ваш контент!)

[@wonkibonki4378]

Вот только заинтересовался парсингом и хорошо что тебя нашёл. Максимально приятно все объясняешь

[@PythonToday]

Сапасибо за фидбэк 👍

[@1ntrigo364]

Как идут успехи, в сфере парсинга? Многое что уже умеете?)

[@user-xz4mj8fd9j]

@@1ntrigo364 не отвечает, забросил ведать всё это дело...

[@ElectroLensReview]

@@PythonToday и информация по парсингу представлена элегантно, за это спасибо

[@JosephCorvega]

ну как там твой парсинг?

[@Mybrainstew]

После ваших видео мне стало интересно разбираться в кодирование,а именно в парсинге , невероятно. Спасибо ❤

[@user-mf8jd5mc9d]

Это лучший урок! По существу, без воды. Респектище!

[@PythonToday]

Спасибо за поддержку!

[@short_aliexpress]

спасибо за урок! офигенная подача материала.

[@nicolasrudnev6800]

ИНтересно и познавательно! Побольше таких видео!

[@dmitriypupkin8049]

Очень понятно и доступно и исходники есть-спасибо человеку за проделанную работу!

[@PythonToday]

Спасибо за фидбэк! Рад что полезно

[@user-jq3fs5ht3d]

Спасибо, твой канал очень классный! Всё кратко, понятно и по делу.

[@andrewtcoder]

Огромное спасибо! Идеальные уроки по парсингу! Автор, ты лучший!

[@PythonToday]

Большое спасибо за поддержку!

[@user-uz5lg9xd1s]

Очень крутое видео. Огромное спасибо за Ваш труд!

[@k-065olga8]

Просто великолепное видео, столько удовольствия! Спасибо большое!!!

[@PythonToday]

Спасибо за поддержку! Рад что полезно.

[@ashottosha3773]

Очень круто наблюдать за магией! Потрясающе!

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@user-lq4pv8lj5q]

Очень круто! И понятно изложено. На лекция 2 часа объясняют непонятно о чём... А тут всё ясно и наглядно.

[@georgestatefield]

Объём информативности зашкаливае Спасибо за труд!

[@PythonToday]

Спасибо за фидбэк!

[@user-in5dy1hs2u]

Ты лучший старина, спасибо за материал!

[@fullrango.]

Приятный голос, слушать одно удовольствие. Доходчиво и понятно. Спасибо за труд

[@PythonToday]

Спасибо за фидбэк и интерес!

[@chenss1857]

Просто лучший, всё понятно и чётко объясняешь !

[@PythonToday]

Благодарю!

[@koesh4696]

Для 3х к подписчиков уж слишком годно! Спасибо за уроки !

[@oshstreet610]

есть такое

[@shamanskiy]

На сегодня >5.5 k. Годная динамика.

[@user-hc1ne6td1z]

@@shamanskiy Уже почти 11к

[@dmitryvladimirov611]

@@user-hc1ne6td1z 42.7к

[@vladivchuk]

@@dmitryvladimirov611 112к уже)

[@shurfly6961]

Все четко и по делу, отличная подача информации и микрофон

[@user-de7vk7gm7b]

Прекрасно, замечательно продуманный план урока.

[@PythonToday]

Благодарю!

[@user-cm1cg2sb1l]

Какой Вы молодец! Здоровья Вам и процветания!

[@PythonToday]

Большое спасибо! Взаимно!

[@GreekkAlex]

отличный урок! спасибо за гайд!👍🤘

[@PythonToday]

Спасибо за фидбэк 💪

[@i_cooler]

Очень качественное видео. Всё подробно рассказано. Всё понятно.👍

[@PythonToday]

Спасибо!

[@elenaartamon]

Большое спасибо за видео! Очень качественные видеоролики.

[@PythonToday]

Большое спасибо за поддержку!

[@user-ri8ow3qh7l]

Спасибо, что код выложил, настоящий разработчик

[@Zeka1111g]

подача материала отличная.все понятно.спасибо

[@PythonToday]

Благодарю!

[@amal_kemen]

Отличный урок) и хорошее объянения) спасибо!

[@PythonToday]

Благодарю за фидбэк! Рад что полезно)

[@Xurshid_Mirzayev]

классно. Спс. Начал изучать Парс по твоим роликам.

[@sergeyvladimirovich3083]

Огромное спасибо. Очень доходчиво, хороший стиль изложения урока

[@PythonToday]

Благодарю 💪

[@sergeyvladimirovich3083]

@@PythonToday Было бы здорово раширить урок по пагинации. В принципе это вообще отдельный урок, так как тема, мне кажется сложная, учитывая разнообразие сайтов. Буду очень благодарен если сделаете видео на эту тему. Пример пагинации на разных сайтах и всякие хитрости.

[@user-nv7cq8xt2k]

Огромное СПАСИБО за видео и за коды на ГитХабе

[@nadyamoscow2461]

Огромное спасибо, очень грамотно и понятно изложен материал

[@PythonToday]

Спасибо за фидбэк!

[@Crasytoser]

Спасибо, очень понятно, прекрасно рассказали.

[@akill77]

Видео огонь. Все оочень доступно и интересно🔥🔥🔥

[@PythonToday]

Благодарю!

[@foxaling9694]

Очень крутой видос! Библиотека сама очень очень вкусная! Спасибо за гайд!

[@PythonToday]

Спасибо за фидбэк!

[@hieudang9017]

Видео очень простое и легкое для понимания, спасибо!

[@PythonToday]

Благодарю за фидбэк!

[@anatoliyg6070]

Четко, внятно и понятно. Благодарю!

[@PythonToday]

Благодарю за фидбэк!

[@boborustamov8661]

Реально годное видео, без лишней информации.

[@PythonToday]

Благодарю

[@1ntrigo364]

Редко оставляю комменты, но тут грех пройти мимо... Спасибо тебе, автор, за качество работы! Я, как раз начинаю изучать, тему программирования, а твои работы как раз в тему. Подписка, лайк е едем дальше) 😎👍

[@PythonToday]

Благодарю за фидбэк!

[@kolianno476]

как процесс изучения год спустя?)

[@link6828]

Огромное спасибо за урок, очень полезное видео!

[@PythonToday]

Благодарю за фидбэк, рад что полезно!

[@aleksandryushka9571]

Это очень хороший курс. Спасибо огромное. С первого урка всё понятно. Ссылки на документацию пригодились. Всем рекомендую прочесть для большего понимания действий автора видео. Ещё раз спасибо.

[@PythonToday]

Большое спасибо за фидбэк!

[@user-iu6vq3tw4c]

Шикарно!)))Большое СПАСИБО!!!

[@PythonToday]

Благодарю за фидбэк!

[@user-nw3gg9he4r]

Хорошая подача! Спасибо!

[@user-um2eu1dy8t]

прошло два часа, но наконец это все понял и законспектировал , спасибо большое что оставили страницу для тренировки на github, очень хороший ролик и объяснение :] //а еще приятно видеть ubuntu , очень мне нравится она ( у самого стоит)

[@Mirismail87]

🔥🔥🔥🔥🔥 ты молодец, обучение просто бомба, все предельно просто и ясно🔥🔥🔥🔥🔥

[@PythonToday]

Благодарю!

[@user-if8rs8mo6t]

Очень крутая и полезная информация, Вы молодец)

[@PythonToday]

Спасибо, рад стараться 👍

[@jackmetropolitan7845]

Ооо, вот это было очень здорово! Спасибо!

[@PythonToday]

Спасибо за фидбэк!

[@zimaviolet3004]

Как же это информативно!

[@AntonHHO]

Кайф! с удовольствием посмотрел и попрактиковался. ❤

[@SereginSF]

Очень хороший урок, сжато и информативно.

[@PythonToday]

Благодарю за фидбэк и поддержку!

[@user-du7sz3kv4m]

Классно объясняешь! Я рад что подписался !

[@PythonToday]

Благодарю 👍

[@Arnur-wt3vd]

Огромное спасибоза видео! Очень рад что наткнулся на ваше видео, на всякий случай сохранил в плейлист)

[@PythonToday]

Рад что полезно! Спасибо за фидбэк!

[@user-po3sg7vn4y]

Как всегда супер!)

[@arsadaul9910]

Приятный голос, хорошее качество звука, понятное объяснение спасибо

[@PythonToday]

Благодарю за фидбэк!

[@blackcatdevel0per]

Спасибо за видос!

[@user-cq3en5ru8p]

Спасибо, очень крутые видео!

[@PythonToday]

Благодарю 💪

[@marlin1222]

спасибо большое за познавательный ролик!

[@p1ugg123]

самый полезный гайд из всех, что на ютубе

[@user-ge9iz9jr1z]

ахренеть какой крутой канал, с первого видео я понял, что это супер качественный контент, а не вода! доходчиво быстро!

[@PythonToday]

Благодарю за фидбэк, рад что полезно

[@Anastasia_Kobalt]

Ты - супер! Первый канал, на котором все легко укладывается :) Даже появилось ощущение, а вдруг я смогу когда-нибудь кодить)

[@PythonToday]

Спасибо за фидбэк! Конечно сможешь, вливайся 👍

[@vladimirprin263]

Очень круто все и подробно, вообще классно❤️

[@PythonToday]

Большое спасибо за фидбэк!

[@user-zw1bt3jn6x]

Чувак,ты лучший!!!я начинающий питонист, на данный момент лучше тебя еще не встречал!!!Спасибо за урок,очень понятно и доходчиво обьясняешь.🍺🍺🍺

[@galixu3420]

Ты братишка не питонист а аутист

[@diaswarm6374]

Спасибо большое, максимально ясно и кратко

[@PythonToday]

Благодарю

[@gesuschrist1553]

Все максимально понятно. Спасибо!

[@PythonToday]

Спасибо за фидбэк и поддержку!

[@LD_ROBE]

Урок огонь!

[@AnKor84]

огромное спасибо! прям по полочкам разложено)

[@PythonToday]

Благодарю за фидбэк!

[@maksonaladin4033]

Офигеть, с первых минут нашел, что искал - работа с полученными тегами через список. Лайк и подписка с меня

[@55sintez]

Очень круто, спасибо!

[@PythonToday]

Благодарю за фидбэк 👍

[@user-br4vn6id6u]

Красава, чувак! Круто объясняешь

[@PythonToday]

Благодарю 💪

[@Alienvlg]

Огонь !!

[@sviteribuben7245]

Годно! спасибо за работу!

[@PythonToday]

Благодарю

[@dotauniverse3305]

Спасибо, интересно смотреть и слушать! Ролик вылез случайно, а подписку оформляю специально.

[@PythonToday]

Большое спасибо за поддержку!

[@acidandrey]

Спасибо большое для новичка самое то. Пересмотрел пару раз. И теперь буду двигаться дальше.

[@PythonToday]

Молодцом! Рад что полезно. Спасибо за фидбэк!

[@PythonToday]

Таймкоды для вас: 00:00 - О библиотеке Beautifulsoup 01:18 - Установка Beautifulsoup 01:58 - Установка lxml 02:55 - Работа с основными методами .find() и .find_all() 09:37 - Методы .find_parent() и .find_parents() 11:25 - Методы .next_element .previous_element .find_next() 12:38 - Методы .find_next_sibling() и .find_previous_sibling() 13:30 - Комбинирование методов 14:25 - Как забрать атрибуты из тегов 15:44 - Поиск по тексту 16:20 - Пример использования регулярных выражений при парсинге

[@aleksandrshugaev843]

Автору респект за ненавязчивый и понятный стиль изложения!

[@PythonToday]

Большое спасибо!

[@Vivavatnik]

спасибо! Самое толковое видео на эту тему!

[@PythonToday]

Благодарю за фидбэк 💪

[@akimovvadim4736]

Отличный видос. Как всегда.

[@PythonToday]

Спасибо за поддержку!

[@akimovvadim4736]

@@PythonToday Если можно, подскажи, по чему у меня при сохранении любой html-страницы в файл с помощью выражения with open(‘filename.html’, ‘w’) as f: f.write() вместо символов кириллицы записываются ромбы с вопросами внутри?

[@akimovvadim4736]

Я работаю в windows 10 x64 ru. Скрипты запускаю из командной строки, код пишу в Atom.

[@dx30-ln3blank7]

Наредкость отличный канал. Отличная подача материала, просто замечателная. Лайк, подписка, колокольчик!

[@PythonToday]

Благодарю!

[@arturvoznyuk]

Лайк глядя.

[@PythonToday]

Спасибо!

[@Wertiba]

Спасибо большое, отличное видео)

[@PythonToday]

Благодарю за фидбэк!

[@artalanjen]

Объяснения 12/10. подписка, лайк

[@PythonToday]

Спасибо за поддержку!

[@AleksejKomarov]

Наглядно, спасибо!

[@OptionalWolf]

Я поставил вам лайк с помощью Python)) спасибо очень помогло

[@user-LvSerg777]

Вернулся с видео "Обучение парсингу на python #4", чтобы еще раз все осознанно посмотреть и достать текст из тега span без класса. АВТОР МОЛОДЧИНА! СПАСИБО!

[@PythonToday]

Большое спасибо за интерес!

[@user-fr5qc2zl4o]

Это шикарно! Благодарю!!!!

[@PythonToday]

Спасибо за фидбэк и поддержку!

[@Nazaro4ka]

ОТЛИЧНЫЙ ПЛЕЙЛИСТ!

[@Musikan0]

единственный человек который нормально всё обьянснил

[@Stepan_bendera]

Долго не мог разобраться в порядке перемещения по дом дереву а сейчас как осенило. Крутой урок буду смотреть весь плейлист.

[@PythonToday]

Благодарю за фидбэк и поддержку! Рад что полезно)

[@rrahll]

Офигенно, красава!

[@PythonToday]

Спасибо большое за фидбэк и поддержку!

[@samoiloff90]

Спасибо! Очень круто

[@PythonToday]

Благодарю 👍

[@user-vu6yu4fm1k]

Отличный материал.