Парсинг на Python, Selenium и BS4 | Выполняем заказ на фрилансе | Парсинг динамического сайта

  Рет қаралды 123,037

PythonToday

PythonToday

Күн бұрын

Фриланс. Обучение (Web-Scraping) веб парсингу на Python. В данном видео выполняем заказ взятый на фрилансе по парсингу динамического сайта. Выполняем задачу с помощью библиотек Selenium, Beautifulsoup, requests, urllib и регулярных выражений. С записью данных в JSON файл.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pyth...
/ pythontoday
yoomoney.ru/to...
🔥 Стать спонсором канала:
/ @pythontoday
****Ссылки****
Дешевый/надежный сервер в Европе + СКИДКА 10%:
vdsina.ru/?par...
Хороший proxy сервис:
proxy6.net/a/1...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Как отправить сообщение на почту с помощью Python | Email рассылка | Python send Gmail
• Как отправить сообщени...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Крутой заказ на фрилансе | Подбираем забытый пароль к Excel файлу с помощью Python:
• Крутой заказ на фрилан...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Версии Chromedriver:
chromedriver.s...
Код проекта на github:
github.com/pyt...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
#scraping #webscraping #парсинг #requests #python #фриланс #beautifulsoup #selenium

Пікірлер: 387
@Zer-st6qv
@Zer-st6qv 3 жыл бұрын
Спасибо огромное за труд! Твой канал это просто энциклопедия знаний, не слушай даунов, ты создаешь безумно полезный и нужный контент. Желаю двигаться только вперед, а мы поддержим 😉 Ты же знаешь)
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк и поддержку! 👍
@brunneng8575
@brunneng8575 3 жыл бұрын
@@PythonToday а что это за ide?
@PythonToday
@PythonToday 3 жыл бұрын
@@brunneng8575 VSCode
@PythonToday
@PythonToday 3 жыл бұрын
@@user19326 Приветствую, авторского курса пока нет. Только веду несколько человек.
@dinvinchester3353
@dinvinchester3353 3 жыл бұрын
@@PythonToday Здравствуйте спасибо за туториалы, очень много нового узнал))! Скажите а на селениуме можно парсить данные с карты на сайтах по недвижимости ?
@golkom
@golkom 2 жыл бұрын
"... я только учусь, и делюсь практикой, которой мне так не хватало, с менее опытными подписчиками..." Уважаемый! Боюсь представить уровень Вашей компетенции, когда Вы закончите обучение.
@PythonToday
@PythonToday 2 жыл бұрын
В программировании нельзя закончить обучение)
@АлександрИтяксов-л2р
@АлександрИтяксов-л2р 2 жыл бұрын
[INFO] актуальная инфа по данному уроку Для тех у кого не получается проскролить, так как в конце скролла страницы, не появляется тег с сообщением о том, что дальше скролить некуда. Присмотритесь к тегу к которому мы перемещаемся для скролла. Внутри тега есть еще два тега, но при полном проскроливане страницы, эти теги исчезают. Ставьте условие не по наличию нового тега, а по отсутствию любого из внутренних двух. При таком условии весь код в блоке if из видео, переместится в блок else, аналогично для блока else из видео для блока if + Для внимательных перфекционистов. Не все карточки попадут в список карточек. Если просмотреть все карточки на странице с карточками, можно увидеть, что у некоторых слегка затемнен фон. Посмотрев на тег такой карточки, мы увидем, что в название класса добавляется дополнительное слово, что изменяет имя класса и означает что url к нам в список не попадет. Сами же карточки внутри не отличаются от остальных, не являются рекламными или повторяющимися (проверено), может они просто блатные какие то - хз. Для того чтобы они тоже попали к нам в список можно воспользоваться тем же compile() с названиями обеих карточек. ++ Для тех кто еще не работал с Selenium и вам не нравиться, что он ругается на вас(но все равно работает😎), за устаревшие методы как в видео. Для создания драйвера можно использовать это 👇 from selenium import webdriver from selenium.webdriver.chrome.service import Service service = Service('ПУТЬ К ДРАЙВЕРУ\chromedriver.exe') driver = webdriver.Chrome(service=service) За место этого (как в видео)👇 from selenium import webdriver driver = webdriver.Chrome('ПУТЬ К ДРАЙВЕРУ\chromedriver.exe') А для поиска по классу можно использовать это 👇 driver.find_element(by=By.CLASS_NAME, value="catalog-button-showMore") Предварительно импортируя это 👇 from selenium.webdriver.common.by import By За место устаревшего поиска как в видео👇 driver.find_element_by_class_name("catalog-button-showMore") +++ Для PythonToday. Ты красавчик большое спасибо❤
@orff-channel
@orff-channel 2 жыл бұрын
Ты красавчик тоже. Тебе спасибо
@ТалгатСадыров-у2м
@ТалгатСадыров-у2м 2 жыл бұрын
сразу же надо было читать комментарии я на это потратил уйму времени
@nekr90
@nekr90 Жыл бұрын
Красавчик мужчина,от души
@АлександрНестеров-н4д
@АлександрНестеров-н4д Жыл бұрын
Спасибо за INFO , если не затруднит можешь подсказать в чем проблема : find_more_element = driver.find_element(By.CLASS_NAME,"catalog-button-showMore") затем идет блок кода где find_more_element должна прожаться и произойти догрузка контента : actions = ActionChains(driver) actions.move_to_element(find_more_element).perform() но проблема в том , что кнопка не прожимается и цикл продалжает крутиться н непрожимая кнопку "показать еще"
@gaben_aTan
@gaben_aTan 2 жыл бұрын
Спасибо огромное за Ваш труд. Вчера закончил написание парсера группы в ВК и автоматической отправкой стат данных по постам в группе на почту нескольким сотрудникам. Все благодаря вашим урокам!! Настроение бомбическое, когда все получается!
@AleksKinokusMain
@AleksKinokusMain 3 жыл бұрын
Все мы были нубами. Так что - спасибо, за то что делишься своими навыками. А еще это ж опыт!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк и поддержку!
@МагомедаминМагомедов-о8у
@МагомедаминМагомедов-о8у 3 жыл бұрын
Я хоть и джава программист, смотрю твои видосики и вообще начал изучать парсинг благодаря тебе. Спасибо за видео
@aleks777nk
@aleks777nk 2 жыл бұрын
Красиво, четко, лаконично и еще и работает!!!) Канал находка для меня, благодарю за такой качественный контент)
@PythonToday
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк! Рад что видео полезны и помогают!
@i.am.rossalex
@i.am.rossalex 2 жыл бұрын
Интересные методы, спасибо, что поделился. Я не использую bs4 или что-то еще. Только встроенные методы самого Selenium. Скролю скриптом через driver.execure_script(), так как до конца список может грузиться и без всяких индикаторов в виде появляющегося блока. И там добавили уже manager service, чтобы не указывать место к webdriver-у явно, и качать его не нужно, он сам его качает.
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@Bazilit
@Bazilit Жыл бұрын
Спасибо за урок! Буквально пару уроков назад по парсингу столкнулся с бесконечной прокруткой сайта, но так и не довел до ума автоматическую прокрутку через Selenium. А тут она реализована. Подправил свою по образу и подобию, все прекрасно заработало.
@PythonToday
@PythonToday Жыл бұрын
Рад что полезно! Большое спасибо за фидбэк!
@karugananikoyomi4702
@karugananikoyomi4702 3 жыл бұрын
Огроменное спасибо за твои труды, двигайся дальше. У тебя очень полезные видео. С помощью твоих видео люди сэкономят кучу времени и нервов!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за поддержку!
@Sadownick
@Sadownick 3 жыл бұрын
Нифига себе "если видео было вам полезным и вы узнали что-то новое", да это одно из лучших видео по парсингу, которое я видел, все чётко, подробно, конкретно!!!! Ваще когда месяц назад наткнулся на твой канал, я был просто в восторге, ибо все просто и офигенно озвучено, без какого либо пафоса, конкретно и ясно, и более того очень точно и профессионально, смотрю более старые видосы, когда время есть... Все супер, так держать, на днях в спонсоры на патреоне добавлюсь, очень полезные видео 👍🏻👍🏻👍🏻
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо большое за фидбэк и поддержку!
@Sadownick
@Sadownick 3 жыл бұрын
@@PythonToday все, запатронился к тебе :)
@syncope7064
@syncope7064 11 ай бұрын
Идея дать эксклюзивного контента практики удалась на ура. Я даже не думал что практики так не хватает во всяких контентах. Безумно благодарен.
@Roman_247
@Roman_247 3 жыл бұрын
Просто лучший!! Без воды и отлично обьясняешь)
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо! Рад что интересно и полезно)
@МаксимКраснобаев
@МаксимКраснобаев 3 жыл бұрын
🔥🔥🔥 Как всегда урок СУПЕР!!! Огромное спасибо!!! (я только-только начинаю самостоятельно изучать Python, пока на самом примитиве)
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю! Рад что полезно и помогает. Главное ежедневно практикуйся
@windcrack8404
@windcrack8404 Жыл бұрын
Благодарю за видео. Толко обучился python, и уже такой бомбический канал, по Парсингу сайтов. Когда проходил задание на обучении этому, помогли Ваши уроки :).
@PythonToday
@PythonToday Жыл бұрын
Благодарю за фидбэк! Рад что видео помогают)
@grigoriyeltsov
@grigoriyeltsov 3 жыл бұрын
Большое спасибо за качественный материал! Каждый урок пишу и "иду" по коду, чтобы все понять. Спасибо!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Рад что видео помогают
@Morozov_Anton
@Morozov_Anton 3 жыл бұрын
Материал просто огонь! Спасибо за труды!;)
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо большое за поддержку! Рад что полезно 👍
@onemasterlomaster1829
@onemasterlomaster1829 2 жыл бұрын
PythonToday ДРУГ ты крут, спасибо тебе за хорошие видосы, ты даешь знания и вдохновляешь!
@PythonToday
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк!
@okey6594
@okey6594 2 жыл бұрын
2:35 библиокеки! 🤣🤣🤣🤣🤣! PythonToday спс за контент, постоянно очень жду новые видео!:)
@evalinor
@evalinor 3 жыл бұрын
Совет: Не стоит использовать time.sleep(n) для ожидания прогрузки страницы или элемента, куда разумнее использовать explicit waits. В данном случае можт это и сработает нормально, но в случае с selenium использование time.sleep() - моветон
@ilyashmakov122
@ilyashmakov122 3 жыл бұрын
Сайт затупит, инет затупит. Слип пройдет и пизда проге. Так что верный совет
@devus377
@devus377 Жыл бұрын
Огромное спасибо. Все просто и доходчиво! Без всякой "воды" и перескакивания !!!!
@PythonToday
@PythonToday Жыл бұрын
Огромное спасибо за фидбэк и поддержку!
@Rahkmatov
@Rahkmatov Жыл бұрын
Манера объяснение темы на высшем уровне.☀️😇 как и всегда 😊 правда для того что бы вникать, хотя бы нужно знать основы питона. чего всем советую 😊 всем добра, автору здоровья и больше роликов 😅
@PythonToday
@PythonToday Жыл бұрын
Огромное спасибо за поддержку!
@АдылСафаров-ы9е
@АдылСафаров-ы9е 2 жыл бұрын
вместо переменной "count" можно использовать функцию enumerate() на цикл фор. выглядит это примерно так: list = ['a', 'b', 'c'] for i, el in enumerate(list): print(i, el) # 0 a, 1 b, 2 c
@shizoidnumber1
@shizoidnumber1 3 жыл бұрын
*Спасибо тебе большое, очень нравится питон и по твоим урокам обучение ускоряется в несколько раз, оху#**#ный** ты мужик!!!*
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк! Рад что полезно
@algis_sh
@algis_sh 2 жыл бұрын
Как всегда пушка - огоньСмотришь и просто кайфуешь, кучу полезной инфы с каждым просмотренным видосом приобретаю
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за поддержку!
@darksniper407
@darksniper407 3 жыл бұрын
6:23 - если правильно понял, элемент будет тогда и только тогда, когда загрузка полностью окончена. Правильно тебя понял? Смотри, у selenium есть инструмент explicit wait, он как раз для этого. Поищи в доках на селен, так вот, задай хоть час, но скрипт продолжить работу в то время и только в то, как элемент будет обнаружен. Юзается BY, можно выставить, что удобно, в примере xpath, его и юзаю и на вэб, мобилках (юзал). Видео класс, люблю только selenium, bs4 нет, но без requests никуда, факт.
@codywallker1208
@codywallker1208 3 жыл бұрын
Что бы без тебя а. Продолжай я Junior по Python у с твоих видео я понял на сколько полезен Парсинг и как его легко делать. Ну да чуть чуть пока хромую по Парсингу но надеюсь твоих видео я обучусь этому лучше. Продолжай без тебя мы бы Яша читали бы инструкцию 🤦🏿‍♂️ Хорошо что ты снимаешь Спасибо тебе за труд 👍🏻
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо большое за фидбэк! Рад видео полезны и помогают
@sanegina4514
@sanegina4514 3 жыл бұрын
Я человек простой, вижу Ваше видео - ставлю нравку!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за поддержку!
@-_--nn1ix
@-_--nn1ix 3 жыл бұрын
Спасибо большое за видео! Очень доходчиво и полезно) хотелось бы ещё уроков на библиотеки, которые ты используешь, более подробно)
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо большое за фидбэк! Рад что полезно
@nicolasrudnev6800
@nicolasrudnev6800 3 жыл бұрын
Огромное спасибо! Всегда с удовольствием слушаю и с удовольствием поддерживаю!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк и поддержку!
@AnnaNovikova-t2g
@AnnaNovikova-t2g 3 жыл бұрын
Огромное спасибо. Материал бомба!!!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк! Рад что полезно и интересно
@silvertruenoobs340
@silvertruenoobs340 2 жыл бұрын
в очередной раз спасибо за труд и материал для практики))) похоже админы сайта учли свои ошибки и немного его реконструировали, поэтому например: поле сайта клиники и соц сетелей на страницах компаний, теперь лежат каждый в своем теге под отдельным названием и добраться до них стало куда проще)) По ходу написания, заодно попрактиковался в grequests, пропустив через нее итоговую функцию обработки списка собранных ссылок (очень уж понравился мне этот модуль, своей простотой и эффективностью) и получилось даже лучше чем изначально предполагал)) без пауз между запросами скрипт отработал всего за 45 секунд (обработал 243 позиции)) Только 1 раз уже перед финальным сбором уже всей инфы, когда проверял как укладываются все поля в json на срезе из 5 клиник, и ничего ли не пропустил, и не напутал, угодил в капчу. Для пробы просто прошел ее на сайте руками, после чего, перезапустил скрипт и все сработало как часы)))
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за фидбэк!
@andrrrew
@andrrrew 2 жыл бұрын
Я летом начал изучать питон. И только сегодня получил рекомендацию на твои видосы. С первых слов подача цепляет, штош, похоже я здесь залипну)) Лайк, подписка и всё такое! спасибо)
@PythonToday
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк! Надеюсь видео будут полезны)
@volttv7938
@volttv7938 Жыл бұрын
Туториал как обойтись без селиниума) Привет! Сайт действительно крутой со стороны обучения. Однако ты прав что можно обойтись без селиума если посидеть. Кароче тут подгружается страница вариантов POST запроса, JS кода а в ссылке самого запроса есть номера страниц, полученный код кидаем в формат json и вуаля. У тебя новая подгружаемая страница. Учитывая что я учусь requests по твоим видео, спасибо!
@lancer71271
@lancer71271 3 жыл бұрын
Паршу сайты поставщиков для своего дела, нашел в твоем коде красивые вещи, которые буду применять у себя. Продолжай в том же духе, ты красавчик!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк! Рад что полезно)
@daniyarerkinov6475
@daniyarerkinov6475 Жыл бұрын
спасибо огромное , очень полезное видео , самый лучший Питон блоггер
@PythonToday
@PythonToday Жыл бұрын
Благодарю!
@vladimir-monin
@vladimir-monin 3 жыл бұрын
Спасибо за видео! Очень вдохновляет!!!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо! Рад что полезно 👍
@user-buser_eto_ja
@user-buser_eto_ja 3 жыл бұрын
Очень круто , спасибо!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@александрБойко-п8н
@александрБойко-п8н 2 жыл бұрын
Полностью поддерживаю !!!!! Zer0
@MrPavel1207
@MrPavel1207 Ай бұрын
максимально круто
@user-wo2hd7ig8e
@user-wo2hd7ig8e 2 жыл бұрын
Спасибо за труд и за полезную информацию. Очень понятно объясняешь. Круто!
@PythonToday
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк! Рад что полезно
@yt222ee
@yt222ee 3 жыл бұрын
За видео респект. Особенно понравился генератор списков, приятно удивился😉
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Рад что видео помогают)
@ЛетающийСвин
@ЛетающийСвин 3 жыл бұрын
Дружище, ты лучший! Спасибо за видео!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк!
@Семерополавкам-н8б
@Семерополавкам-н8б Жыл бұрын
Спасибо большое за видео, было очень полезно и познавательно. Но пришлось основательно переписывать скрипт, так как поменялись методы в библиотеках, теги на сайте и много всего еще прочего!
@thequickshow4806
@thequickshow4806 3 жыл бұрын
Когда за 30 мин узнал больше чем за 2 онлайн курса
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо большое за фидбэк! Рад что полезно)
@vigauss1889
@vigauss1889 3 жыл бұрын
Пушка контент, огонь канал, кот талисман)) Успехов в развитии брат, безумно благодарен за проделанную тобой работу и пинок лично для меня. Спасибо тебе большое!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо дружище) Рад что видео полезны
@bankr0t.
@bankr0t. 3 жыл бұрын
Ещё больше реальных заказов, ведь это позволяет понять что всё это учишь не зря и кому-то это нужно)) А те кто пишут про тысячи долларов за один заказ зачем парсят сайты? Для поиска самого дорого Роллс-Ройса наверно)))
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за поддержку! Думаю максимум, что они парсят, это глазами клавиатуру)
@dryuni
@dryuni 3 жыл бұрын
@@PythonToday ...в онлайн-ферме, капусту поливают и игровое золото собирают...
@Alex.T.H.
@Alex.T.H. 3 жыл бұрын
@@dryuni я бы в своё время от такого бота не отказался)
@leonidasspartasson9759
@leonidasspartasson9759 2 жыл бұрын
Ждемс вторую часть заказа с помещением данных в бд)
@sadname
@sadname Жыл бұрын
Не без проблем, но все получилось. Спасибо !
@PythonToday
@PythonToday Жыл бұрын
Спасибо за фидбэк! Рад что полезно!
@ВикторМоисеев-ы5ц
@ВикторМоисеев-ы5ц 2 жыл бұрын
Спасибо за контент)) Очень хорошо рассказываешь!
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@АлексейСамаркин-ы2н
@АлексейСамаркин-ы2н 3 жыл бұрын
Как всегда лайк! Молодец, приятно смотреть!!!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за поддержку!
@aleksejborovinskij1155
@aleksejborovinskij1155 3 жыл бұрын
Идеальный формат!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю! Рад что интересно и полезно
@РоманСуворов-й2т
@РоманСуворов-й2т 3 жыл бұрын
Отличный урок, спасибо !
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@denial3874
@denial3874 2 жыл бұрын
PythonToday: нужно сделать многопоточный парсинг
@AlexRootx
@AlexRootx 3 жыл бұрын
Молодчага!!! Спасибо за ролик!!!! Познавательно! Лайк!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо большое за поддержку!
@АлександрДёмин-ю6ъ
@АлександрДёмин-ю6ъ 3 жыл бұрын
Нетривиальный сайт, действительно весьма поучительный. Впрочем в моей практике самым сложным было иметь дело с обфускаторами и гугл капчей.
@nerix5552
@nerix5552 Жыл бұрын
по больше бы видео по парсингу сайтов
@PythonToday
@PythonToday Жыл бұрын
Да вроде итак самый большой плейлист на ютубе 😀
@pownery
@pownery 2 жыл бұрын
Просто офигенно!
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю!
@sashaperdunov2209
@sashaperdunov2209 Жыл бұрын
Спасибо вам огромнейшее!!!
@PythonToday
@PythonToday Жыл бұрын
Спасибо за фидбэк!
@noname52rus
@noname52rus 2 жыл бұрын
супер! Спасибо, очень познавательно!
@PythonToday
@PythonToday 2 жыл бұрын
Большое спасибо!
@haskelllisp5998
@haskelllisp5998 Жыл бұрын
насчет 30 долоров это конечно круто
@dj_anabel
@dj_anabel 2 жыл бұрын
круто, спасибо
@PythonToday
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк!
@lefort6943
@lefort6943 3 жыл бұрын
Спасибо за топовый контент!👍👍
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк! Рад что полезно
@Oskar9226
@Oskar9226 3 жыл бұрын
Отличный урок, что сказать
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо!
@РоманЩурин-р9н
@РоманЩурин-р9н 3 жыл бұрын
Классный урок!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю!
@xvostov_k
@xvostov_k 3 жыл бұрын
Очень интересное видео, спасибо.
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк!
@jintiger4221
@jintiger4221 2 жыл бұрын
Ты красавчик! Спасибо тебе
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за поддержку!
@freestreet_official
@freestreet_official 3 жыл бұрын
Как всегда, лучший!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю!
@GreekkAlex
@GreekkAlex 3 жыл бұрын
коммент в поддержку!! коммент в поддержку!! коммент в поддержку!!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо!
@akovemil9528
@akovemil9528 2 жыл бұрын
Огонь!)
@howareyou6839
@howareyou6839 2 жыл бұрын
Здраствуйте, нравятся ваши видео, но заметил особенность, в вашем коде при использовании selenium всегда нужен вебдрайвер, что не очень удобно. Советую вам использовать undetected_chromedriver . Вебдрайвер не нужен, да и по названию понятно, что оно может еще делать
@birdwatcher_channel
@birdwatcher_channel 2 жыл бұрын
огромное спасибо!!
@ИванИванов-м4л6ц
@ИванИванов-м4л6ц 2 жыл бұрын
Круть )))))
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю!
@linked_list_DLL
@linked_list_DLL 4 ай бұрын
Парсинг ZOON, схож с парсингом 2GIS, ибо они оба полностью динамические и спарсить их только с bs4 нереально. Я пробовал, потратил 2 дня и даже не смог спарсить основной каскад на первой странице, не разворачивая карточки локаций. Вернее, иногда они всё же парсились при запуске скрипта, но зачастую нет, так как классы подмениваются и генерируется исключение, а id там, само-собой нет, ибо всё DOM дерево и так динамическое. Крч, хоть я и до последнего не хотел учить Selenium, видимо придётся.
@haskelllisp5998
@haskelllisp5998 Жыл бұрын
все конечно круто! Но есть такой фреймворк Scrapy
@PeterDiamondberg
@PeterDiamondberg 3 жыл бұрын
Вот кто дико демпингует на Фрилансе =)
@PythonToday
@PythonToday 3 жыл бұрын
¯\_(ツ)_/¯
@Lll-ih2ic
@Lll-ih2ic 3 жыл бұрын
Начинаем😍
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за поддержку! )
@КириллФилиппов-ф5б
@КириллФилиппов-ф5б 3 жыл бұрын
Спасибо тебе огромное за труд. Много чему научился благодаря тебе. Желаю удачи! И вопрос: а ты для парсинга используешь scrappy?
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк! Рад что видео помогают. Использовал scrappy только в нескольких простых проектах.
@ПриманкаТВ-о6ш
@ПриманкаТВ-о6ш 2 жыл бұрын
Огонь!!
@Naberegn
@Naberegn 2 жыл бұрын
я не понел а как html файл создался, там же нету кода по соданию файла 8:58
@Aramon113
@Aramon113 3 жыл бұрын
Спасибо! А теперь давайте что-нибудь немного посложнее - например пободаемся c Instagram в плане парсинга)
@47clere
@47clere 3 жыл бұрын
Спарсить можно что угодно. Даже если придётся для этого делать скрин шот и распознавать в нужном секторе текст))
@orthodox-chanel
@orthodox-chanel Жыл бұрын
Было бы здорово если бы вы раскрыли на реальных примерах тему с requests-htm. Судя по описанию эта библиотека частично может заменить селениум
@orthodox-chanel
@orthodox-chanel Жыл бұрын
например при помощи рендера таким вот кодом можно проскролить страницу до указанного количества элементов r.html.render(sleep=1, scrolldown=100) titles = r.html.find('.post-title.entry-title') в использованном мной сайт получилось len(titles) > 70 Не могу пока найти как сделать так чтобы он скролил все доступные элементы, если выдать число больше чем есть элементов на самом деле, то будет скролить ровно такое количество раз. И подгрузить этим методом можно только если страница подгружается скролом а не кнопкой на подобии "показать еще"
@orthodox-chanel
@orthodox-chanel Жыл бұрын
еще судя по описанию модуль при запросах сам генерирует юзер агент. Правда парсит он все равно через брауезр хромиум
@artemliuboshenko6639
@artemliuboshenko6639 3 жыл бұрын
Просто пушка ))
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо!
@deo1133
@deo1133 3 жыл бұрын
Это просто вау
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо большое! Рад что интересно
@shpinatsky
@shpinatsky 2 жыл бұрын
Спасибо за видео! Сделай пжл про парсинг статичных страниц, если они автоматом не подгруждаются и надо ручками странички менять - очень сейчас такая задачка нужная для решения)
@i.am.rossalex
@i.am.rossalex 2 жыл бұрын
Покажи пример такой страницы?
@Tolya421.
@Tolya421. 3 жыл бұрын
Хорошая тема!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк, рад что интересно и полезно!
@pungushe
@pungushe 3 жыл бұрын
Спасибо все классно
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю, рад что полезно!
@nikky8970
@nikky8970 2 жыл бұрын
Привет! спасибо большое за твое видео, очень интересно. Когда под Windows писать в файл надо наверное явно указывать кодировку иначе файл пустой (может я не прав, но у меня получилось)
@PythonToday
@PythonToday 2 жыл бұрын
Привет, благодарю за фидбэк. Да, ты прав.
@ЮрийКузнецов-н9г
@ЮрийКузнецов-н9г 3 жыл бұрын
Отлично!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо!
@MrNagios
@MrNagios 3 жыл бұрын
мастерски 👍👍
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо, но только учусь)
@MrNagios
@MrNagios 3 жыл бұрын
@@PythonToday скромность украшает!
@defcode_art
@defcode_art 3 жыл бұрын
Смотрю тебя и дежавю как будто на канале черного треугольника)
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк!
@IvanTarazevich
@IvanTarazevich 3 жыл бұрын
Хорошее видео, но можно было обойтись одним селениумом. Спасибо за видео.
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@Icognai
@Icognai 3 жыл бұрын
Привет! Спасибо тебе огромное братан!! Небросай это дело! Фишка твоего канала это как ты поистинне охуенно объясняешь, смотрю у других ничего непонятно а у тебя я обучился всему крутому и за это я благодарен ТЕбе! Бро, я очень прошу сделай пожалуйста по больше видеоуроков и по Телеграм ботов и т.п, так как это щяс самая популярная тема и я буду рад увидеть такое видео у тебя на канале! Удачи!
@clapper2564
@clapper2564 2 жыл бұрын
На сколько я знаю можно было бы использовать requests и парсить содержимое вкладки network
@EWLN
@EWLN 2 жыл бұрын
5k за пол часа, неплохо!
@rasl3358
@rasl3358 Жыл бұрын
Привет, почему executable_path может подсвечиваться жёлтым? Программа на нем ломается
@ОлегИ-ь9ш
@ОлегИ-ь9ш 3 жыл бұрын
Super спасибо
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@SergejKolmogorov
@SergejKolmogorov 3 жыл бұрын
Классное видео, спасибо! А на какой бирже получил этот заказ? И вообще куда лучше идти за фрилансом?
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк! Сейчас только сарафанное и старые заказчики, раньше сидел на всех upwork, freelancer, habr, fl, kwork
@bxxdan
@bxxdan 2 жыл бұрын
Для обрезания пробелов можно юзнуть file.read().split(' ')
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю!
@brr3534
@brr3534 2 жыл бұрын
зачем указывать перенос строки, когда по-дефолту сплитует по всем пробелам/переносам/табуляциям?
@AtridesMinsk
@AtridesMinsk 3 жыл бұрын
Хотелось бы лекцию по сайтам с фреймами, как получить инфу из внутренних фреймов сайтов
@PythonToday
@PythonToday 3 жыл бұрын
Посмотри ролик по тиктоку, на сколько помню там было окно , с перемещением к нему, поиском, и вводу данных.
iPhone or Chocolate??
00:16
Hungry FAM
Рет қаралды 36 МЛН
Как мы играем в игры 😂
00:20
МЯТНАЯ ФАНТА
Рет қаралды 3,1 МЛН
Which One Is The Best - From Small To Giant #katebrush #shorts
00:17
💩Поу и Поулина ☠️МОЧАТ 😖Хмурых Тварей?!
00:34
Ной Анимация
Рет қаралды 1,9 МЛН
Парсинг динамических сайтов | selenium python
43:00
Алексей Куличевский
Рет қаралды 10 М.
5. Создаем отправитель писем используя Python #telegram  #bot #python #пайтон #email
6:55
ITMouse: международная школа программирования
Рет қаралды 73
iPhone or Chocolate??
00:16
Hungry FAM
Рет қаралды 36 МЛН