Python парсинг сайтов с JavaScript | Инструмент для рендеринга JS

[@zproger]

Если вы знаете другие полезные инструменты, не забудьте оставить их в комментариях, я попробую найти им применение и сделаю видео на эту тему 🙂 Всем спасибо

[@НикитаОбухов-б2м]

Есть возможность дождаться пока выполнятся ajax запросы, а затем обрабатывать html?

[@saisho5545]

​@@НикитаОбухов-б2месть библиотека puppeteer на js Очень удобная для парсинга

[@goshaposhlyy]

Тор, спасибо , от тебя узнаю больше чем от 99% других каналов

[@zproger]

Это круто =)

[@ОлегШенкер-з8ш]

Практически слово в слово озвучена документация к библиотеке. 😂😂😂 крутяк!!!

[@sergeidb9199]

Дружище, ты даже не представляешь как ты меня выручил. Написал огромный парсер для сайта с сотнями тысяч ссылок, работающий в многопотоке. Часть информации скрапил Селениумом, часть - LXML-ем, но куча открытых селениумом браузеров в режиме многопотока просто ложили сервак. Эта библиотека Requests-HTML просто в корне все меняет. Спасибо тебе огромное!

[@nouaksomtac6782]

у меня не заработала в много потоке, имено функсия render

[@СашаВетрогон-е7о]

@@nouaksomtac6782 у меня даже без многопотока сейчас не работает функция render

[@avax3496]

Как ты угадал, что я хочу узнать про парсинг?))) Спасибо за ролик, пушка!

[@zproger]

Я экстрасенс =)

[@avax3496]

@@zproger тогда это многое объясняет!)))

[@Dreamer_78]

Спасибо большое за видео! чудесный инструмент, желаю вам процветания и успехов!!!

[@zproger]

Благодарю, желаю и Вам того же

[@night_niker]

Слушай, спасибо тебе огромное!!! Я в восторге! Не мог несколько дней побороть скрипты на сайте, уже начал джаву учить, а тут всё настолько просто. Максимальное уважение, лайк, однозначно!

[@zproger]

Рад что видео помогло =)

[@night_niker]

@@zproger, ага, курс по парсингу тоже огонь🔥, проект в универе благодаря ему закрыл)

[@QwDragon]

Вместо того, чтобы напрямую к api обратиться?

[@bujik]

Шикарно, где же ты был раньше!

[@zproger]

Был здесь =))

[@its_niks]

Спасибо огромное) Полезная библиотека

[@zproger]

Это да, достаточно интересная либа =)

[@viktorpryima2994]

Огонь!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! Благодраю за интересную информацию!!!!!!

[@zproger]

Рад что помогло, спасибо =)

[@sledleo]

Классно и познавательно! Ждём ещё!

[@zproger]

Спасибо

[@SkveerBoy]

Бомба вообще ) до этого думал какой библиотекой можно работать кроме selenium, теперь знаю.

[@zproger]

Есть ещё несколько крутых инструментов, но это уже в других роликах =)

[@SkveerBoy]

@@zproger круто ждём)

[@artembagachkov933]

Это просто пушка, одно из самых полезных видео которые я когда либо видео, спасибо

[@zproger]

Благодарю

[@ktopogizni]

Очень полезная инфа, продолжайте в том же духе! подписчиков мало но это временно уверен! скоро будем 10000 лайков собирать :)

[@zproger]

Благодарю, очень приятно

[@Valarxx]

Камон, 20к не так уж мало)) Скажи это челу, который ждёт, когда у него накопится 200 подписчиков 😁

[@Happy-rj7om]

Ты ж мое золото) Столкнулся с JS при парсинге, не знал что делать, уже руки опустил

[@zproger]

Рад что помогло =)

[@Tommy7417]

Спасибо за такие суперские ролики. 👍

[@Shlapoklapik]

Это просто невероятно, спасибо я теперь не овощ

[@zproger]

Рад что понравилось :))

[@crutoboy]

Как только я наткнулся на твой ролик, мой мир разделился на до и после

[@zproger]

=)

[@RNikSan]

Круто! Как всегда на уровне, спасибо!

[@zproger]

Благодарю!

[@efamir8225]

супер мега топ, завтра проверю. если это работает, то я счастлив

[@zproger]

=)

[@supreltd]

Спасибо!! Этот способ мне на много больше понравился

[@kozsv]

Ещё бы по больше про асинхронность, многопоточность и моного ядерность 😁

[@zproger]

Постараюсь :)

[@shustriy1980]

Спасибо за ваше видео по парсингу. Очень полезно. Мне кажется было бы более наглядно если бы вы смогли на примере какого то сайта показать преимущества этой библиотеки по сравнению с bs4

[@LOGOSTT]

Поддержу, лучше показывать на реальных задачах

[@gilman2056]

согласен, практическая задача лучше понимается, нежели абстрактная в вакуме

[@cccombobreaker6217]

Огромное спасибо, теперь надобность в bs4 отпадает) У тебя очень крутой канал!

[@zproger]

Благодарю, рад что было полезно :)

[@ДмитрийУшаков-л6ж]

А там bs4 в зависимостях, кста

[@rokot]

Спасибо большое, очень полезно! Насчёт return надо произносить так "ритёрн"

[@zproger]

Спасибо, учту

[@HastaLM1987]

Хорошее, полезное видео.

[@zproger]

Спасибо

[@Anonim-im6ln]

Дуже дякую!)😁💚

[@margojazny]

Спасибо за информацию о библиотеке, она решила мою проблему! :-)

[@kozsv]

Спасибо, про парсинг можно бесконечно смотреть ролики. Это золотая жила тем более если ещё больше разжовывать и показывать на целых небольших примерах, учу питон по видео, очень помогает разбор проектов как они работают. Ну для меня лично проще я так потом маленькие проекты свои делаю когда легко и понятно написан по нему учить легко.

[@andrewsalnikov438]

Спасибо за видео, интересная бибилиотека...а то я все по старинке привык :-), через bs4 с BeautifulSoup...

[@zproger]

Я тоже =)

[@DIMFLIX]

Спасибо большое за такую крутую либу! Очень помогла в нынешнем проекте. Есть вопрос - как подключить туда прокси с авторизацией? В документации ничего не нашел, собственно как и в интернете тоже.

[@vukeep]

Отличны материал для начинающих! интересно было бы посмотреть как использовать cookie для парсинга.

[@zproger]

Уже есть такое видео на канале =)

[@kutsokon]

Кажется это то, что я искал. До этого момента использовал только requests с простыми сайтами и selenium там где нужно было грузить js. С этой либой я так понимаю можно асинхронно делать запросы, подгружая js? А если не использовать асинхронность и грузить js, скорость должна быть примерно как на селениум? Хотя почему-то кажется что быстрее должно быть с request_html в последнем варианте

[@vegameta]

Чел спасибо огромное!

[@Кискисыч]

привет, не мог ты записать видео о кастомизации твоего cinnamon, пожалуйста. я знаю что у тебя сейчас уже тайловый менеджер, но может всё таки вспомнишь названия тем

[@ratmirbrooooo]

М-да.. Ты забыл упомянуть, что это библа использует также selenium, даже в документации написано, что она также будет использовать двигло chromium. Так что не думаю, что это библа как-то быстрее будет рендерить js... Из альтернатив могу посоветовать requestium - это библа так-же под капотом держит открытым selenium.

[@zproger]

Да, но фишка что всё будет в одном месте. За библиотеку спасибо, не слышал о такой.

[@Heymdale]

В зависимостях нет селениума, вместо него pyppeteer, который действительно использует chromium, разница в производительности возможна, нужно тестить.

[@dicloniusN35]

А если сайт через js динамичный то эта библиотека похоже не работает - на озон 403. какбы этот js передать обратно playwright ?

[@АлександрК-ш]

Здравствуйте. А можно исходник кода по последнему примеру, а то не понял?

[@RPacket-hp5zk]

А как вы открыли в терминале local или venv

[@dendisega1675]

Спасибо

[@zproger]

=)

[@GroledPlay]

Крутая библиотека

[@zproger]

=)

[@DF-0997]

Давай про отпечаток системы на питоне! по звуку, по канвасу как в джаваскрипте 😁🚬

[@zproger]

Крутая идея, сделаю обязательно :)

[@bir52k1kv178]

​@@zprogerкогда ? Год прошел уже )

[@learninglearning3869]

Можно ли с помощью данной библиотеки нажимать на кнопки, как в селениум?

[@accidiet]

Благодарю Вас, потестирую данную библиотеку на парсинг сайтов под react_js если она будит рендерить и парсить html под react_js и это будит то что я конечно искал и вам респект, не не берет react_js нужен видимо senium

[@ВоваВернов]

Я немного не понял в конце. Если использовать htmlsession и render это будет работать или обязательно импортировать HTML и уже с ним рендер?

[@eygsdtucyug]

Спасибо, теперь я понял почему у меня не работал код. Запустить цикл забыл👍

[@eygsdtucyug]

Как ты вовремя это снял

[@zproger]

Круто что помогло :)

[@notme7277]

очень хочется больше про асинхронность!! могу идею для видео подогнать: допустим, парсить определенную категорию озона. т.е. переходим на категорию, 1 страницу, асинхронно парсим посты и скачиваем обложку товара (тоже асинхронно). переходим на 2 страницу и тп..

[@Dendrar]

Видео супер сохранил на ссд, скоро Ютюб заблокируют....... Надеюсь вы будете на другой какой то площадке выкладывать видео

[@zproger]

Ничего не заблокируют)

[@РоманМатиев-й5н]

Полезное видео. Вопрос немного не по теме, но хотелось бы увидеть видео со всеми возможными способами Basic authentication с помощью селениум, питон. Просто недавно столкнулся с проблемой что авторизация вроде проходит, а страница не рендерится. Пришлось изобретать велосипед с сохранением настроек пользователя и перезапуск браузера уже якобы залогиненым пользователем. Может есть варианты проще. Передача а url не считается, в моем случае не работало

[@m2rd518]

ZProger, очень полезное и информативное видео! Не подскажите как можно сгенерировать список ютуб ссылок по определенному ключевому слову?

[@shokavo2205]

А если на сайте нужна регистрация, как выйти из положения? В селениуме я могу куки подгружать, а тут как быть?

[@zproger]

Перехватить запросы в dev tools -> Network

[@gooddevelopment1392]

Почему если я использую response = session.get("ссылка") То у response нет атрибута html, тем самым я не могу использовать render() from requests_html import HTMLSession session = HTMLSession() response = session.get('ссылка', cookies=cookies, headers=headers) Дальше не могу вызвать рендер, т.к. просто нету у response атрибута html.. В чем может быть проблема?

[@sobolenkoyevgeni377]

Такая же фигня

[@СергейЮркин-ч1ь]

тоже самое, html_ None

[@Eslen92]

После запуска кода с requests_html, он начинает устанавливать chromium, но на 88 процентах вылазит ошибка. Я пробывал установить вручную но не знаю куда перекилывать хромиум, помоги пожалуйста

[@Вячеслав-х4е5щ]

как можно обойти BX.bitrix_sessid() ?

[@theG4NS]

Могу ли я войти в аккаунт на сайте где используеться яваскрипт с помощью данной библиотеки? За ранее спасибо

[@p_r_o_e_k_t_o_r]

Эта библиотека при рендеринге JavaScript скачаивает чтоли Chromium? Это чертовски неудобно.

[@night_niker]

Привет еще раз, в общем, задача спарсить динамически изменяющиеся цены на объявлений на бирже, но requests, requests-html и bs4 не парсят всю страницу целиком. Получается так, что циферок и нет в .text. Подскажи, пожалуйста, что с этим можно сделать? Куда копать?

[@Katsiarina1]

откуда скрипт взялся? что-то не до конца поняла как этим пользоваться :(

[@zengl9658]

Было бы очень кстати узнать как использовать его с прокси, метод который используют для библиотеки requests не подошел

[@zproger]

Забыл рассказать об этом, но думаю в оф.документации есть примеры с прокси

[@zengl9658]

@@zproger Может я плохо искал и гуглил, но способа для прокси с авторизацией я не нашел. Пойду посмотрю еще раз доки

[@usertwgetrukwwr9669]

@@zengl9658 нашел в итоге ?

[@zengl9658]

@@usertwgetrukwwr9669 Нет!

[@alekron85]

Может кто-нибудь помочь, на сайте, с которого хочу получить данные есть ссылки типа: Text, когда нажимаю, рендерится js code с параметром data-identifier, и страница приобретает тот вид, который мне нужен, как это всё провернуть с помощью python и получить данные?

[@deymonster2u]

То есть если на странице выполняется какой то js скрипт (вычисляется токен, или какое то уникальное рандомное значение), то я могу отрендерить такой запрос? И ещё положим js меняет куки определенным образом, чтобы защититься от ботов, я смогу получить таким образом правильные куки?

[@zproger]

Токен можно рендерить, а вот кукисы уже сами обновляться будут в активной сессии

[@deymonster2u]

@@zproger у меня несколько сложных запросов, в конечном последнем post нужно передать в пейлоад токен и некое рандомное значение, которое вычисляется исходя из токена, и вот его я не могу никак получить: оно точно генерируется где-то в js скрипте ...

[@deymonster2u]

@@zproger я нашел интересную надстройку-библиотеку selenium wire - она захватывает все запросы браузера, и соответственно все аргументы запросов - в том числе тело запроса и ответы, что мне и нужно было, выдает в виде списка

[@zproger]

Да, крутая либа, пользовался раньше

[@ПищащийГолландец]

Вопрос немного не по теме данного видео - Как отключить подсветку комментариев в коде зелёным?

[@youngtitanium6418]

В какой IDE, это вообще зависит от цветовой схемы(В PyCharm: settings=>editor=>color scheme)

[@nikitak9841]

подскажите что за скин пайчарма на видео ?

[@zproger]

Это из Material UI

[@nikitak9841]

@@zproger благодарю! Очень полезный канал

[@Naberegn]

Я так понимаю что уже не актуальна? Попробовал метод render не работает на сайтах

[@zproger]

Не на всех сайтах будет работать

[@blackcatdevel0per]

Попробовал requests_html и на linux он грузит копию chromium, почему разрабы просто не используют системный или не дают выбор 😒 (Это конкретно в модуле pyppeteer в файле chromium_downloader.py)

[@luispakvard5681]

Привет Вы не вкурсе вот я хочу скрипт написать который будет загружать картинки на хостинг там скрипт на сервере принимает файл через POST запрос раз в секунду а на бесплатном хостинге ограничения на количество запросов в день как такое осуществить моя программа должна шифровать и выгружать на сервер скриншоты что бы меня потом не забанили на хостинге

[@develper2]

По кайфу

[@zproger]

=)

[@KadenDev]

Час назад решил проблему, работал над заказом. ПОЧЕМУ НЕ РАНЬШЕ?)

[@zproger]

Не успел :))

[@mjeday]

Супер топ. А клаудфаер обходит?

[@zproger]

Не, нужно отдельно обходить

[@hinomuratomisaburo4901]

Блин круто 😎. Вопрос a как получать результат от выполнения асинхронной функции? 🤔 return

[@bir52k1kv178]

Ещё бы узнать как с помощью java кликать по кнопкам и заполнять формы :(

[@ВикторНестеренко-н9о]

18 часов предлагает качать chromium . ну спасибо. Пойду дальше искать варианты

[@AleksandrMelnikov-bo1sn]

Не со всеми сайтами работает(

[@zproger]

это да, инструмент не панацея

[@dd-pe5dp]

у меня одного майскор не рендерит?

[@fushibuzuka7463]

жаль с Cloudflare не работает.... спасибо за видео и вообще за канал.

[@zproger]

Есть либы для cloudflare, думаю можно сделать интеграцию

[@alexchto]

@@zproger какие например? ничего рабочего кроме undetect не нашел, но он на селениум. на 08.2022 очень нужна инфа, как обходить клауд. если сделаешь видос, будет легендарно

[@SkveerBoy]

Сделай видео как можно отправлять пост запрос с текстом, например на сайте в чат писать! Что то!

[@ithelper9]

А в чём суть видео я не понял?

[@zproger]

Суть в том, чтобы можно было парсить сайты более удобно

[@comingflex]

На озон не работает

[@zproger]

Ну да, он не всегда работает, на специфических скриптах может и не получится

[@lordorbit]

Создатель либы - гений

[@zproger]

=)

[@maz5718]

Ролик пушка, спасибо Пытаюсь по ролику спарсить всем известный яндовский онлайн редактор кода, header прописал как у меня браузер отдает, нифига, JS не рендерится может кто подскажет как это обойти или пофиксить)

[@Human-de8nf]

Давайте теперь наберем 6000 лайков😅

[@zproger]

Давайте)

[@Alegudbusiness]

Не работает

[@idensas]

Ммм, спасибо

[@zproger]

=)

[@ИмяФамилия-у4п4ф]

Зачем рендерить, когда можно просто посмотреть запросы в инструментах разработчика и брать данные с них.

[@zproger]

Там далеко не всегда есть эти запросы, иногда какой-то важный токен генерится именно с js

[@ИмяФамилия-у4п4ф]

@@zproger да, они могут быть зашифрованы и спрятаны различным образом. Рендеринг в данном случае более простой вариант, но если разобраться в сайте можно сделать более быстрый парсер)

[@ANUARKA]

Сделай для сайтов с реакт

[@zproger]

Если видео зайдет, попробую реализовать что-то подобное

[@ЕгорРалович]

r.html.render() не рендерит страницу с выполнением js, автор просто пересказал документацию толком не разобравшись сам в том, что работает, а что нет.

[@BROnik]

серьезно? а за что мой коммент удалили? нормальный вопрос же задал... шозабаги)

[@zproger]

Никто ничего не удалял, ютуб иногда автоматически отправляет в спам, какой у Вас был вопрос?

[@BROnik]

@@zproger пытался опять добавить, видать опять он удаляется, проверь удаленные, я реально не пытался ничего рекламить или вроде того)

[@zproger]

Никаких комментариев нет, возможно это баг. Мне как-то от ютуба спустя пол года только прилетело около 300 комментариев за 1 день, которые были написаны уже очень давно

[@BROnik]

и опять, короче забей, я не могу коммент даже написать длинный, сразу удаляется :(

[@ДмитрийПоляков-ю6г]

Вроде ничего, но по JS очень мало было сказано, ну прям совсем милипуська

[@denissunyaev3119]

Спасибо за основы, к сожалению ничего кроме основ.

[@zproger]

Пока что да, возможно найдется сайт для более детального видео.

[@НиколайПрокопьев-т4м]

Блин, через два года уже не работает!!! Зае.... лся ошибки исправлять. Строка r.html.render() не работает. Видео устарело.

[@zproger]

А что поделать) Технологии так долго не живут, и через неделю может уже не работать. Но в целом я думаю надо просто актуальные версии поискать на гитхабе, вот и все.

[@НиколайПрокопьев-т4м]

@@zproger Это точно!

[@QwDragon]

Ни одного реалистичного примера со скриптами... 2:50 Такие два await'а посылают запросы последовательно, а не параллельно.

[@ДмитрийУшаков-л6ж]

Неее, так не пойдёт. Тема сисек не раскрыта. Раз умеет в настоящий JavaScript рендеринг, то надо было попрововать скормить React приложение. Его отрендерить и попробовать посмотреть получившийся DOM.

[@zproger]

Если соберем 1к лайков, может быть сделаю продолжение и попробую какой-то сайт на примере автоматизировать

[@ithelper9]

...

[@zproger]

=)