Обучение парсингу на Python, парсинг любых сайтов, в том числе SPA

[@blacktrub]

Если интересуешься backend разработкой, советую заценить видос - kzbin.info/www/bejne/onO9hpawnJ17rLM

[@Manyearsago]

А что делать если API ключ инвалид?

[@ICastTheBan]

Инструкция как спарсить любой сайт 1. Заходите на сайт 2. Парсите

[@РобертГумеров-р1и]

Спасибо! Я уже замучался искать способы парсить быстрее через селениум а тут такое откровение

[@camdenhobby3940]

Спасибо большое, очень просто и понятно объяснили, все четко. Сейчас с этим и столкнулись что больше сайтов стало отправлять пустые страницы. И надо с этим как то работать ....

[@НеопознанныйБобр]

Selenium

[@cucumberinfinity2629]

Спасибо за труд! Полезное видео. Продолжай годноту пилить. Недавно на твой канал наткнулся много интересного.

[@bodunidze]

Трабл в том что я хочу чекнуть каким способом был построен сайт перехожу Network-DOC и ничего не отображается

[@blackcatdevel0per]

Недавно парсил сайт, и в нём была связка из websocket и graphgl, нашёл библиотеку для python и теперь могу парсить там прогнозы(на сайте было много чего, от nfc до примерных курсов криптовалют в будущем)

[@dasdasfsdgjopjtopheoibzfdbf]

Круто Думал, что Client Render сайты можно только через Selenium парсить

[@АнарГусейнов-с5ы]

Крутой контент подача отличная Молодец 👍

[@AleksTrifonov]

Возможно ли на Питоне написать скрипт, который бы смог авторизоваться на сайте с CSRF защитой?

[@ИльяВасильков-п2р]

а как распарсить статический контент со страниц ютуба?

[@a2wars]

Спасибо автору. Если есть видео для юристов, чтобы помочь парсить сайты судов был бы благодарен.

[@alexzir]

Спасибо! Не курса случаем в рекомендациях?

[@Genkay_777]

А как без библиотеки спарсить ? на aiohttp \ async

[@madman9412]

Спасибо, в других видео не видел информации об апи

[@Nicklebackrtv]

не могу понять как у вас получилось открыть сервер часть рендеринг 2:45 секунда видео. То же самое проделываю и открывается клиент-сайт рендеринг. Подскажите в чем проблема.

[@Tanya-Travel]

а как открыть панель разработчика?)

[@bjj1423]

Круто. Но что то не разобрал синтаксис последнего примера что бы(

[@user-rb7ee7ex4g]

это просто невероятно!!!!!! я именно этот сайт и хотел спарсить, капец!!!!!

[@ДмитрийСоколовский-щ1щ]

у тебя получилось сделать парсер?

[@user-rb7ee7ex4g]

@@ДмитрийСоколовский-щ1щ 1 монеты, а потом мне стало это не нужно

[@StankBrewing]

Очень полезная инфа! Спасибо!

[@isded1681]

Супер, очень полезно!

[@davidissak-zade3662]

Отличное видео, продолжай в том же духе!!!

[@blacktrub]

спасибо!

[@ГубкаБоб-р8ъ]

Спасибо, полезная инфа, подписался

[@vladimirgrebenev1981]

и ещё вопрос: каким образом парсится весь json со страницы?

[@JohnDoe-hp5kw]

Можете подсказать что делать если вместо GET запроса (на вашем видео это 6:10) отображается метод POST и выдает ошибку

[@wikigame7942]

Пасаны почему когда парсю на винде 7 то в место Русского языка краказябры?

[@numunucomanche5013]

Подскажите пожалуйста, существуют ли легкие программы для цветового парсинга с экрана? к примеру есть 2 необходимых цвета - и нужно запарсить их последовательность и представить к примеру в виде таблицы?

[@street1904]

Автор спасибо, очень подробно рассказал. Пробовал selenium парсить как раз csr, очень долго работает конечно, но наткнулся на твое видео и код упростился и работает все быстро. Но столкнулся еще с одним вопросом, который никак не могу решить, может подскажешь как можно сделать или какой инструмент для такой цели подойдет. Сайт wildberries, собираю цену товара и потом сравниваю, он как раз сделан с подходом client site rendering, получаю json там все данные есть, НО для авторизованных и неавторизованных цены разные и на выходе получаю, что для отслеживания цены она не совсем актуально. Как можно авторизацию реализовать? К тому же wb не использует постоянный логин и пароль, а смс при каждой авторизации.

[@blacktrub]

можешь просто взять свои cookie из браузера и попробовать сделать запрос с ними

[@alexdixon2844]

Как на одном и том же сайте может быть 2 подхода?

[@Chel1k7]

Сайты разные глаза открой))

[@АлександрСергеев-о6х]

Вопрос: Как спарсить сообщения в ВК, в момент открытия сообщений? Условия: Без API VK, не используя авторизацию в python (пользователь уже зашел в вк в своем браузере, нужно забрать информацию). Запущено приложение, написанное на Python и мониторит события открытия сообщений в браузере. Как только пользователь открыл сообщения, нужно их спарсить. И продолжать парсить новые. Не нашел такого решения на Python. Такое могу сделать на JS, но нужен Python. Все парсят простые страницы, либо сами ручками проходят авторизация или используют API сайта.

[@yurras96]

ну с вк реально же проще через api

[@АлександрСергеев-о6х]

@@yurras96 Согласен, но задача такая, что его нельзя использовать

[@kirill7707]

добрый день! помогите пожалуйста!!! не получается спарсить данные с сайта. при запросе выдает не полный список, первая строчка если смотреть через браузер, и спарсить не получается никак. ПОМОГИТЕ ПОЖАЛУЙСТА!!!!

[@planetaryengineer]

[@SuperGoodman4ik]

Ты четкий, в Махачкале будешь, набери

[@_hugoru_]

Не все сайты парсятся через requests + bs4. Например, Авито не парсится. Неужто такие сайты парсятся только через selenium? Нет менее ресурсозатратных способов?

[@Chel1k7]

С какого перепугу авито не парсится реквестом и бс4? Сам пару недель назад парсил.

[@_hugoru_]

@@Chel1k7 скинь ссыль на проект посмотреть, у меня выxодил экран, что то типа "с вашего IP зафиксированы автоматические запросы и он был заблокирован". Парсил через Селениум, но тоже не все так просто: Авито выдавало немного другой контент, но разница была небольшой и IP естественно не улетал в баню.

[@Chel1k7]

@@_hugoru_ обычным кодом всё делается: from requests import Session work = Session() response = work.get(url, headers=headers) вместо url ставишь ссылку на авито, и заголовки свои, только что проверил статус 200 приходит

[@artemmedyuho5375]

Мужик, отличное видео, может следующее видео про контейнеры в докере?

[@blacktrub]

возможно)

[@ДмитрийСоколовский-щ1щ]

полностью переписал первый код для маркет капа и выдает только

[@blacktrub]

нужно вызвать функцию

[@MetamorphosisMetamorphosis-s]

Бро, а если я с винды7 парсю то у меня краказябры в место кирилицы. Можно что то типа encoding сделать что русский тоже отображалось?

[@yurras96]

в utf-8 сделай кодировку страницы

[@memr404]

Ролик полезный!

[@F_C_T_L]

Привет, подскажите как парсингом получить все видео с определённого ютуб канала. Если кто знает подскажите пожалуйста.

[@Keefear]

Download master умеет качать плейлисты

[@F_C_T_L]

@@Keefear Спасибо

[@АлександрПлатонов-м1э]

Ну круто! По существу.

[@Евгений-щ3т4ы]

фильтрацию бы расшифровать

[@CreatorDreamer]

Скажите, каким образом следить за изменением котировок. Что бы каждую секунду не делать get запросы, а один раз открыв сайт следить за изменением котировок.

[@planetaryengineer]

зациклить

[@CreatorDreamer]

@@planetaryengineer Спасибо друг, за ответ. Я с тех пор, как задавал вопрос уже изучил тонкости работы webdriwer и get запросов.

[@planetaryengineer]

@@CreatorDreamer до сих пор веришь в стратегии ставок?

[@CreatorDreamer]

@@planetaryengineer Нет я на заказ писал для парсинга Binance по-моему тогда. Поэтому котировки парсил.

[@Всепровсе-б2х]

Спасибо за урок. А что за браузер ты используешь?

[@blacktrub]

Google Chrome

[@НеопознанныйБобр]

Internet explorer

[@akdesign5467]

А кнопки нажимать на других сайтах программно можно?

[@yurras96]

можно вообще все вопрос в реализации

[@ВиталийГорьков-з1ч]

Спасибо, мне понравилось видео

[@flaretvlive9823]

Привет есть такой вопрос получилось авторизоваться на сайте, но при попытке получить какие то данные с сайта появляется то ли загрузка то заглушка с анимацией. И парсится она вместо контента на страница . Сайт доступен только после авторизации. Как с этим бороться? сайт сделан по технологии клиенский рендеринг веба

[@blacktrub]

привет! если там клиентский рендеринг то посмотри как там работает авторизация, если просто выставляется кука, то ищи запросы которые получают нужную тебе информацию и запрашивай их в парсере, ну и соответственно подставляй туда свою куку из браузера.

[@СергейСмирнов-ь8у]

Спасибо за видео!

[@Чуваш-ы3ц]

Не плохо, но у меня не получается спарсить сайт с авторизацией, сайт отображает нормально, но данные не берет. сохранил страницу для проверки тегов в браузере, но их нет нифига. Не пойму нифига. Подскажэи как спарсить, есть чат для обсуждения?

[@blacktrub]

под любым видео ссылка на телеграм канал, к нему прикреплён чат

[@kavajno]

Сбросьте код. А то у меня с мобилки не работает веб инструменты разработчика

[@МишаДжонов]

Здравствуйте! Пробую парсить один сайт, но возникла одна задачка: дело в том что когда я на нужной мне странице нажимаю на "посмотреть код" и ищу нужные мне теги ссылок, что бы их спарсить- они есть. Но когда я нажимаю "Посмотреть код страницы", то в новом окне мне выдает какой то другой код, где нет многих элементов и в том числе моих ссылок. Я узнал что это как то связано с doctype, но все равно никак не могу разобраться что делать и как парсить ссылки в таком случае. Огромная просьба помочь! Спасибо!

[@blacktrub]

может оно просто джаваскриптом подгружается?

[@МишаДжонов]

@@blacktrub хм... и как определить или что сделать что бы полный код получить?

[@blacktrub]

ты сделал как в видео показано? что происходит в вкладке network? данные прилетают где-то в вкладке xhr?

[@МишаДжонов]

@@blacktrub Да, но как дальше спарсить весь код- не знаю. и уж тем более отдельные ссылки

[@МишаДжонов]

я по моему задал вопрос

[@Chel1k7]

Ты не удачно выбрал коинмаркеткеп. Если ты захочешь получить инфу и все монетах на страницы, или хотя бы одну но на 15+ месте (вроде динамически по 15 там грузятся) но получишь шыш с таким подходом

[@vkb0086]

Спасибо за видео!, но у меня возник вопрос, в моем случае Client Side rendering и нужные данные приходят post запросом, как мне их достать?

[@eugencosciug9339]

Нашёл ответ ? Меня мучает такой-же вопрос

[@blacktrub]

привет! да вообще всё тоже самое, если у тебя конкретный случай то скидывай, посмотрю

[@blacktrub]

например вот - gist.github.com/blacktrub/82e2c95e7c30c801eb55cae6e642d3f8 тут я сделал просто веб сервер который отвечает на POST запрос, и пример кода который просто дергает url с помощью requests и получает данные как обычный json

[@Александр_1-й]

Браузер под управлением и парси с него без всяких танцев с бубном ввиде поиска запросов и ответов.

[@pcholken]

@@Александр_1-й ага, потом страдай от нестабильности и низкой производительности

[@ЗахарИгнатьев-е3э]

Афигенно просто. Начал фриланс. И как раз вчера, первый запрос от человека именно на яваскрипт сайт. Чуть позже буду тестировать Вашу инфу!!! Хочу сделать первый заказ и получить завершение сделки!!! Это должно стать идеальной мотивацией!!! Спасибо Вам!!! Вы Молодец!!!

[@Jilexa]

Ну и как? Получилось с первым заказом?

[@СмирновМаксим-м2г]

@@Jilexa пропал чувак.....

[@yurras96]

мамкины фрилансеры)

[@tofutureguest]

Яваскрипт 😂😂😂😂

[@TRALIX]

Спасибо за тему, но выдает ерор( AttributeError: 'NoneType' object has no attribute 'text'

[@blacktrub]

значит элемент на странице не найден

[@bogdanusachov4985]

Привет. как спарсить ссылку с сайта авториа. ссылку на карточку товара. ?

[@blacktrub]

привет! например вот так - pastebin.com/rUAgBm6G

[@ЕвгенияЗайцева-ж8б]

Привет! а можно парсить без сторонних библиотек?

[@blacktrub]

Привет! Без сторонних библиотек можно, но хочу заметить что это будет немного сложнее. Например вот так - pastebin.com/hfYcFE1t Тут используется только стандартная библиотека, python 3 версии

[@ЕвгенияЗайцева-ж8б]

@@blacktrub мне дали тестовое задание, там запарсить статьи на сайте без использования сторонних библиотек, 🤷🤷 Может есть конечно более глобальные библиотеки, чем beautifulsoup, requests. Я не сильно секу пока ещё в этом моменте, Спасибо за пример!

[@blacktrub]

@@ЕвгенияЗайцева-ж8б если ты никогда не работала с регулярками, тогда возможно будет сложно) в целом requests и beautifulsoup вполне подходит под определение "сторонние библиотеки". Ты главное посмотри разметку и подумай как ты можешь вытащить необходимый текст из этого.

[@ЕвгенияЗайцева-ж8б]

@@blacktrub никто не говорил, что будет легко 😄 Всё идёт к тому, что будет максимально сложно, это и манит ) Ещё раз, спасибо!)

[@nvmnvm786]

@@ЕвгенияЗайцева-ж8б Любопытно узнать, кто и с какой целью дает такие тестовые задания(городить костыли вместо специально заточенных под это библиотек)? Может потом попросят писать код исключительно в Блокноте и обращаться к базе на Бейсике?

[@AnuarLife]

Приветствую! Отличное видео, а как спарить весь элемент боди?

[@blacktrub]

Спасибо! Например вот так - pastebin.com/DTrq3dms

[@user-rb7ee7ex4g]

автор, извини что я тебя опять беспокою( скажи пожалуйста, есть ли такая функция, чтобы можно было отобрать из списка монет такие, цена которых в течение определенного времени, изменилась в определенный процент? я вот допустим их спарсил как в твоем видео, а как сделать дальше?( буду очень благодарен за помощь( хотя бы просто скажи какая функция? list.sort ? это вообще возможно сделать?

[@blackcatdevel0per]

Спасибо!

[@ДмитрийЯковлев-д6э]

классный шрифт) какой используете?

[@blacktrub]

смотря где) если ты про надпись на превью - Impact

[@goldline3144]

Иногда проще и быстрее зайти на сайт, и получить нужную информацию и скопировать ее в нужный документ, чем изобретать велосипед, привязывать наперстки к веревке и крутя педали вычерпывать воду из колодца наперстками.

[@Chel1k7]

🤡

[@rzhumen882]

А если нужно открыть 10 000 ссылок и считать название вкладки, как вы поступите?

[@ПоповРоман-ь5п]

у меня с ajax проблемы

[@iq-andi3811]

Привет, а как проходить капчу?

[@blacktrub]

привет! лучшей стратегией будет - избегать капчу, если это возможно, если ты не всегда получаешь капчу, то попробуй при парсинге вести себя более естественно, не делать много запросов сразу и т.д. если же никак не обойтись без её прохождения, то гугли сервисы по прохождению капчи, но не факт что это 100% поможет

[@iq-andi3811]

@@blacktrub Хорошо, спасибо!)

[@Александр_1-й]

@@blacktrub тем способом который в видео, Яндекс и нормальный интернет магазин пошлет Вашего бота на три буквы. Кроме того Вы не ответили на вопрос человека вообще.

[@Александр_1-й]

Пользуйтесь браузером под управлением, но играйте настройками, чтоб скрыть это управление. В интернете есть сайты на определение бот или обычный человек зашёл. Разрешите куки, пусть спокойно их сохраняет. Не парсите сайт с капчами быстро, задавайте интервал между запросами больше. После выставления капчи очищайте браузер, перегружает его, ещё лучше меняйте IP путем перезагрузки роутера. Использование всяких бесплатных анимайзеров безполезно так,как их IP не знает только ленивый.

[@nicolaivlasov9197]

труба жесткий тип

[@r0m1mpl97]

Парсинг на python на примере сайта rozetka - kzbin.info/www/bejne/f4fWc3qrdtyJlbc

[@user-tetcher365]

HTLM? 1:06 🥲

[@denischo2133]

Как парсить так чтобы тебя не забанил сервер?

[@blacktrub]

тут нет однозначного ответа, в целом нужно придерживаться стратегии что бы ты при парсинге выглядел как браузер для сервера, ведь ресурс хочет огородиться от парсеров, а нет от клиентов. попробуй для начала использовать те же заголовки что и при запросе делает браузер, если есть рейт лимиты их нужно подобрать эмпирическим путём и выставить в парсере соответствующие тайм-ауты между запросами, и уже после всех этих действий, при необходимости прибегать к использованию прокси серверов, нужно равномерно распределять запросы по прокси

[@Vlad1998996]

спасибо

[@jekavovk7148]

Я б сказал что видео малоинформативное. Большенство API закрытые. Получить от данные них таким методом не получится.

[@danielp5904]

Видео супер! То, что нужно для начинающих! Не подскажешь, как настроить парсер таким образом, чтобы он: 1) автоматически выполнял запрос в поисковой строке по комбинированному критерию (например, фильтры "категория"+ "цена" + "недавно добавленные"). На практике методом перебора не получается найти статический URL, который бы объединял два и более фильтра. Ссылка приходит в виде абра-кадабры на 100+ символов каждый раз. 2) запоминал, на каком результате парсинг остановился в прошлый раз. Например, нужно каждую пятницу парсить блок объявлений и добавлять в excel только новые данные, игнорируя уже пропарсенные за прошлую неделю? Буду признателен за идеи!

[@blacktrub]

Привет! Спасибо, по поводу идей: 1) GET параметры работают следующим образом, если они есть, допустим у тебя есть адрес site.com первый параметр будет добавлен после знака ?, т.е. будет урл site.com?param=1 если же нужны еще параметры то он будет добавлен через &, т.е. site.com?param=1&param2=1 Это стандартное поведение GET параметров, обычно с помощью них фильтры и делают. по поводу "абра-кадабры", попробуй такие URL прогнать с помощью функции urllib.parse.unquote, скорее всего данные в урле просто заэнкожены 2) Тут зависит от данных которые ты получаешь, если ты допустим парсишь и там есть какой-то ID, то просто запоминай последний ID, если есть дата, то тебе нужно спарсить её и сравнить с нужной

[@Улучшайзер-т3ы]

Боже, топ контент

[@Александр_1-й]

На кой чёрт нужны эти сложности? Браузер под управлением и парсим с загруженной браузером страницы все что нужно, при необходимости можно и кнопочки нажать и скролин сделать. А если что-то изменится, то будете каждый раз анализировать куда ведут новые ссылки вместо простого изменения Xpath? В случае с requests любой нормальный сайт определит в бота и пошлет на три буквы. Предложенным моим способом нормально парсю интернет магазины и Яндекс Маркет.

[@blacktrub]

рад что у вас есть лучший способ, пользуйтесь им

[@ABtonatiza]

м да чет я посмотрел и на сайтах нету того что ты показываешь нетворк а там дом хотя на видео подписано как любой сайт спарсить диза ((

[@blacktrub]

уточни какой браузер ты используешь? вот пример для chrome - support.google.com/campaignmanager/answer/2828688?hl=ru

[@ABtonatiza]

@@blacktrub хром и что зайди например в гугл поисковик и покажи где там есть то что ты говоришь в видео так как у тебя ток 2 варианта я и говорю что твоя инфа не для всех сайтов

[@blacktrub]

@@ВладиславХатико привет! недавно выпустил обзор на splash - kzbin.info/www/bejne/fGfTmYyifrKVd5I с помощью него у меня получилось получить готовую страницу с твиттера, только выставляй wait побольше, попробуй от 10сек

[@blacktrub]

@Byu Beats конечно, это просто приложение которое крутится где угодно, еще кстати как вариант попробуй найти свой запрос в браузере, и посмотри какие заголовки отправляются, может быть у тебя что-то не сходится с тем что ты делаешь

[@max_wbw]

Если человек зашёл посмотреть про парсинг он по-любому должен знать разницу SPA и MPA. Лично я зашёл посмотреть на твой подход к парсингу, а мне тут про построения приложений рассказывают. Диз.

[@АнарГусейнов-с5ы]

Ты не прав Если ты такой умный делай сам если нет то имей совесть слушать от начала до конца. Если не то не другое хотя бы не ставь плохой коммент за старания человека будь хотя бы человеком будь

[@max_wbw]

@@АнарГусейнов-с5ы если ты начал интересоваться парсингом ты как минимум должен понимать устройства сайтов и приложений. На счёт делай сам, я сам и делаю, если ты не в курсе, подходов к написанию кода очень много и подобные видео смотрят не только чайники вроде тебя. На счёт совести, если ты такой совестный зачем тебе парсинг, ты же занимаешься сбором данных с чужих сайтов в один клик, а кто-то тратил время на её сбор, структурирование и залив на сайт разбив по нужным категориям, а это не малый труд. Ну что, не мучает совесть, нет? Вот и мне пофиг.

[@ЕгорТупикин-л6ъ]

Здравствуйте, понимаю, что шанс получить ответ весьма мал, но все же , при парсинге анекдотов к примеру anerdot.text ломает всю структуру анекдота, так как убирается тэг переноса на следующую строку , вопрос, можно ли как-то этого избежать?

[@ondest5059]

Тащить не по ключам, а с помощью регулярных выражений тогда, но регулярные выражения это не шутки, это как отдельный язык в языке

[@ЕгорТупикин-л6ъ]

@@ondest5059 понял, спасибо большое, попробую !!!!

[@user-rb7ee7ex4g]

Автор, если у вас будет время, помогите пожалуйста. Скопировал ваш код, но почему-то не работает((( Ругается на вот это ".text" в 8 строчке. если убрать ".text", то начинает работать, но выдается только "Dogecoin rate: None" . В чем может быть дело???

[@blacktrub]

а что ты хочешь спарсить?

[@user-rb7ee7ex4g]

@@blacktrub вот именно этот сайт, несколько монет(дальше выбрать из них несколько особенных, но главное сначала хотя бы спарсить)

[@user-rb7ee7ex4g]

@@blacktrub короче, я слэшь пропустил, лол)))) всё работает)