Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON

[@Zer-st6qv]

Это просто wow. Огромное спасибо за ценную практику, с абсолютно феноменальной подачей материала без воды, все кратко, максимально ценно, верю в 1млн подписчиков на этом канале. Будь здоров!

[@PythonToday]

Большое спасибо за фидбэк и поддержку! 💪

[@PythonToday]

Уважаемый, твои комментарии никто не удалял. Видимо не проходят проверку на youtube.

[@СладкийОгурчик-ч4ъ]

Вышка, я получил программный оргазм, доходчиво, грамотно и доведено до конечной цели.

[@PythonToday]

Большое спасибо за поддержку!

[@ilyaovchinnikov1324]

Интересно какое количество людей из тех вдохновленных комментаторов реально что то сделали)

[@AnManias]

я не вдохновленный коментатор, но мой первый крупный проект был основан на его туториалах) Если что, тг бот для генерации меню на день.

[@ilyaovchinnikov1324]

генерация меню на день крупный проект?@@AnManias

[@dryuni]

PythonToday - ты просто фантастический чел! Контент - огонь! Спасибо за материал - всех благ, развития и знаний

[@PythonToday]

Большое спасибо!

[@rzheckii-time]

Уже достаточно давно смотрю различные ролики про питон, и для себя выделил этот канал как лучший❤️❤️❤️

[@PythonToday]

Большое спасибо за фидбэк!

[@ВладБонем]

Каждое видео как самый ценный кладезь. Спасибо за такие действительно практические кейсы, и доходчивость материала. Успехов автору!

[@PythonToday]

Большое спасибо за фидбэк! Рад что видео полезны.

[@deus7204]

Конечно не зря! Большое спасибо за твой труд! Каждый раз с кота угораю 😀

[@PythonToday]

Благодарю за фидбэк и поддержку!

[@vintmaker23]

Спасибо за контент, действительно без воды и все по полочкам. Всегда смотрю с восторгом. Задачи действительно дельные и применять можно каждому кто ценит время и современные технологии. За каналом слежу с самого начала, желаю Вам продвижения и процветания в своем ремесле.

[@PythonToday]

Большое спасибо за фидбэк!

[@rozarioagro824]

Ваш канал, как генератор идей для меня. Просто огонь 🔥 успехов

[@PythonToday]

Благодарю за фидбэк, рад что практика полезна

[@vigauss1889]

Вот это уровень. Правда почти каждый раз как посмотрю ощущаю себя таким деревянным))) Большое спасибо за материал, и за то, что тратишь свое время. Просто огонь

[@PythonToday]

Огромное спасибо за фидбэк и поддержку канала) С такими отзывами рад стараться 👍

[@Thisamma72]

@Vi Gauss Да, сам такой! Учил Питон, а потом понял, что разрабом мне не стать и во мне нет этого. Но иногда ковыряю в качестве хобби.

[@ИгорьЛатуха]

Котэ огонь 🔥 👍

[@PythonToday]

Благодарю, комментарий на месте)

[@harkaman4205]

Боже какую ты годноту делаешь. Спасибо , не останавливайся!

[@PythonToday]

Большое спасибо) Будем продолжать

[@karandalliik]

Мощно. Чаще всего нету опыта. И все будет понятно, просто, доступно в любой момент. Молодец!

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@futuristic5180]

в разработке мало чего понимаю, но занимаюсь арбитражом трафика и в концовке очень кайфанул)) Спасибо за ролик!

[@PythonToday]

Большое спасибо за фидбэк!

[@bankr0t.]

Круто автоматизировать повседневные хлопоты 👍 Спасибо за идеи) Очень вдохновляет!

[@PythonToday]

Благодарю за фидбэк! Рад что видео полезны)

[@ЕгорМаксимов-г2ч]

спасибо за огромную гору информации!

[@PythonToday]

Благодарю за фидбэк! Рад, что полезно

[@АнатолийПургелков]

АГОНЬ!!!! гляди так по твоим видосам доделаю свой учебный проэкт😀

[@PythonToday]

Большое спасибо за фидбэк! Рад что видео помогают)

[@mr_morgan07]

Крутой ролик! Как раз показал пример совмещения асинхронности бот библиотеки и блока синхр. кода по отправке реквеста

[@PythonToday]

Благодарю за фидбэк! Рад что видео полезны

[@akimovvadim4736]

Отличный видос. Особенно концовка, про бота.

[@PythonToday]

Благодарю за фидбэк!

[@ВикторТокарев-я6о]

Мастер своего дело !!! Это мы узнали что то новое, благодаря тебе, спасибо огромное... !!!

[@PythonToday]

Да прям, только учусь) Большое спасибо за фидбэк!

[@bewin8578]

Ты реально крут, все идеально

[@electronikrf]

Вы не зря выкладываете..... ооочень интерестно,познавательно и нужно миру.

[@PythonToday]

Большое спасибо!

[@aikynurazalinov54]

спасибо, очень полезное видео

[@PythonToday]

Благодарю! Рад что полезно

[@АлексейСамаркин-ы2н]

Как всегда полезно, я когда парсить более менее научился, тоже сделал такой бот, который мониторил нужные мне категории.

[@PythonToday]

Большое спасибо за фидбэк и поддержку! Рад что видео полезны)

[@ivanfedorov7934]

контент отличный как и всегда :) за код на GIT отдельное спасибо

[@PythonToday]

Огромное спасибо за фидбэк и поддержку!

[@ICastTheBan]

Вместо for i in range (1, page_count+1) Можно писать for i in range(len(page_count))

[@ИринаРоманенко-м1ъ]

Спасибо огромное! Мне вообще очень нравится Ваши видео и подача, но этот видос просто огонь!! Спасибо за пищу для размышлений.

[@PythonToday]

Большое спасибо за поддержку!

[@LakiKrates]

Поставил тысячный лайк) Огромное спасибо за контент, всё доходчиво и по полочкам🔥🔥🔥

[@PythonToday]

Большое спасибо за поддержку!

[@silvertruenoobs340]

Огромное спасибо за труд)) сайт к сожалению слег в связи с последними событиями и каталога там больше нет (по крайне мере в ру версии сайта), поэтому вместо него спарсил wildberries, они там тоже словарями отвечают на запросы в каталоге)) За aiogram отдельное спасибо, пока только начинаю изучать ботов, ичем больше встречается их практических применений в связке с разными скриптами, тем лучше 😁

[@PythonToday]

Большое спасибо за фидбэк!)

[@КатяСамсонова-с5ж]

извините, пожалуйста, мою неопытность, но мне чертовски любопытно: как вам удалось спарсить информацию о товарах с wildberries? я пробовала это делать как описано в видео, и ответы в интернете искать, ничего не вышло((((

[@silvertruenoobs340]

​@@КатяСамсонова-с5ж Ничего страшного, я сам новичок собирающий информацию ото всюду так сказать по крупицам, поэтому прекрасно могу вас понять. В целом там ничего сложного, на wb все зависит от того парсите вы определенную категорию или конкретный запрос (вбитый в поле поиска). если категорию то в панели разработчика вам будет нужно найти запрос вида catalog?appType=1&... если конкретный запрос, то нужен запрос search?appType=1&... в ответ будет приходить json словарь с данными с загруженной страницы с того момента как я его парсил они ввели изменение, раньше данные о количестве страниц хранились в словаре в значении ключа "version" видимо это была недоработка и эту простую возможность настроить цикл закрыли, поэтому на данный момент оптимальный вариант провернуть сбор данных через цикл while True с объявленной переменной page (сделать ее равной 1 и на каждой новой итерации увеличивать на 1 подставляя в значение страницы в ссылке на словарь), с указанием пока получаем словарь - собираем данные, а как только он придет пустым завершаем сбор. примерно это будет выглядеть так: page = 1 while True: url = f'ссылка на каталог или поиск с параметрами&page={page}&...' resp = requests.get(url=url, headers=headers) data = resp.json() # доп объект в целом необязателен можно указать метод json() еще в респе и далее использовать его products = data.get('data').get('products') # тут можно придумать любое условие завершения цикла, какое вам больше нравится, можно через иф или через трай эксцепт, для примера укажу через иф, что если словарь пустой - завершаем цикл (напомню только что я не тестировал новый вариант и не уверен что именно там приходит: пустой словарь или ошибка, поэтому тут нужно проверить))) if products is not True: break for product in products: # достаем например название и текущую цену продажи product_name = product.get('name') product_price_sale = product.get('salePriceU') // 100 page += 1 цена продажи указана с копейками поэтому делим ее на 100, и дальше по тому же принципу собираем все нужные данные, из полученного словаря... если нужны более подробные данные например описание характеристики отзывы итд, то забираем id продукта из словаря и на его основе формируем новый запрос либо так же на json словарь с характеристиками, либо напрямую на страницу товара и работаем уже с ней (как формировать ссылки с подставленнием в них id думаю пояснять не нужно (но если что спрашивайте, разберем, ну мало-ли) ))

[@andreyshishkin4958]

Молодец, вот это энергия, keep pushing!

[@PythonToday]

Большое спасибо!

[@GabrialWeb]

Спасибо за наглядность ), многому научился благодаря твоим видео, и теперь применяю знания для написания своих проектов ) Очень хотелось бы увидеть Scrapy )) Сейчас потихоньку изучаю его.

[@PythonToday]

Большое спасибо за фидбэк и поддержку! Рад что видео помогают. Я к сожалению пока не силен в scrapy

[@AS-fk5fw]

Безумно вдохновляешь своими практическим туториалами, которые применимы к жизни. Разбавляю твои уроки с несколькими каналами по Django, алгоритмам и Python в целом, спасибо тебе

[@PythonToday]

Благодарю за фидбэк! Рад что видео помогают

[@icrypter]

Наконец-то я узнал как прикрутить парсер к боту!

[@PythonToday]

Рад что полезно)

[@akexsnov]

Очень круто. Канал полезный! Время за просмотром пролетает быстро)

[@PythonToday]

Большое спасибо! Рад что видео интересны и помогают)

[@АлександрИтяксов-л2р]

Какие же клевые видосы ты делаешь, огромный респект тебе автор!!! Как же я хочу тоже уметь делать все это сам...

[@PythonToday]

Большое спасибо за фидбэк и поддержку! Только учусь. Главное ежедневно находи время для практики.

[@GameStreamJ]

Сегодня написал скрипт шутку, которая берет картинки с сайта и при запуске начинает спамить открывая их в браузере без возможности остановить, но к сожалению рандомно брал только первые 40, а хотелось пару тысяч 😅😅, чтоб разнообразие было 😂

[@denruslife9845]

Очень интресно и познавательно!

[@PythonToday]

Благодарю за фидбэк!

[@pashahous]

Огромное спасибо. Очень полезный контент.

[@PythonToday]

Благодарю за фидбэк! Рад что видео полезны

[@darksniper407]

Да, это интересно. Правда вопрос к производительности, вроде не быстро собирает данные. Сам QA Automation, запросы возможно понадобятся.

[@Артём-ю3в5б]

Отличный ролик! Спасибо!

[@PythonToday]

Благодарю!

[@dryuni]

Лайк не глядя! Интересно прям, кто те четверо... дизов🙄 Да, кстати, Blockchain ещё интересен, Smart-contracts (их принцип действия и нюансы), создание и поддержка своей крипты

[@PythonToday]

Благодарю за фидбэк!

[@alexandernazemtsev5129]

Спасибо за контент. Я в этом ноль. Случайно зашел на канал. Но стало интересно хотя я и эта тема, как черепаха и тесла.

[@PythonToday]

Большое спасибо за фидбэк! Главное ежедневная практика, и все будет. Это в видео все быстро получается, чтоб не тратить чужое время и давать максимум информации.

[@СергейЮров-б6е]

Просто пушка

[@PythonToday]

Благодарю!

[@rustamakhmullaev5697]

Просто супер, огромное спасибо!!!

[@PythonToday]

Спасибо за фидбэк!

[@andrewzh4660]

Видео класс. Но насчет детальности документации aiogram я бы поспорил)

[@ИванИванов-к9т6з]

Как всегда твой контент просто пушка)))

[@PythonToday]

Большое спасибо!

[@aliaksandrsamets2440]

Спасибо, очень познавательное видео!!!

[@PythonToday]

Благодарю!

[@GreekkAlex]

супер-контент, братуха!!! go on!! жги!)))

[@PythonToday]

Благодарю!

[@sidor0912]

15:26 в выдаче модели повторяются, ибо одна и та же модель может быть в нескольких разделах, скорее всего(но это не точно)

[@aleksandramalakutsko401]

ВАУ!!! СУПЕР!! как всегда 😁

[@PythonToday]

Спасибо!

[@grizllywhite6004]

А парсинга OZON нет у вас на канале? Там все очень не тривиально, долго не могу разобраться что к чему.

[@swartex92]

Очень круто ! спасибо!!!

[@PythonToday]

Благодарю за фидбэк!

[@worldtech2770]

Подскажите пожалуйста , есть написанный скрипт, он каждый час парсит цены с одного магазина. и записывает в переменную в виде словаря, как сделать так что бы, если пользователь в телеграмме при выборе команды /мониторить ,скрипт каждый час проверял переменную и если по заданным настройкам есть данные то , пользователю присылать эти данные с словаря. У каждого пользователя свои настройки по товарам. Спасибо

[@evgeniymatashkov5808]

Позже посмотрю, контент топ

[@PythonToday]

Благодарю за фидбэк!

[@tohachannel5621]

если бы была возможность указать limit при выполнении запроса, то можно было обойтись одним запросом)

[@shum4706]

Видос супер! Благодаря твоим видео смог углубиться не только в тему парсинга, но и в python в целом) Было бы круто увидеть в твоём исполнении приложение на джанге, к примеру, чтобы можно было парсить обновляющиеся на сайте данные. Удачи в продвижении канала!

[@PythonToday]

Большое спасибо за фидбэк! Думаю в будущем запилим что-то подобное.

[@ДОБРЫЙДЭН-щ2г]

Очень мощно

[@PythonToday]

Большое спасибо за фидбэк!

[@СакенБоранкулов-е8л]

Спасибо брат. Было очень полезно. Салам из Казахстана

[@PythonToday]

Благодарю за фидбэк!

[@tracylo4132]

Видео не столько про код и логику, сколько про понимание того, что даже небольшое умение кодить может облегчить жизнь (в данном случае поиском кроссовок со скидкой)

[@maxmeoz9828]

Огонь ролик, жаль только русский и европейский сайты отличаются и на Европе защита от парсинга есть. Но в любом случае ролик огнище)) работа с ботом прям топ))

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@FoxRedmiNote]

Замечательно 👍

[@PythonToday]

Спасибо!

[@alexanderlazaev7423]

Очень хорошо!

[@PythonToday]

Благодарю!

[@Katar1x]

Полезно безусловно. У тебя есть видео на канале или может в планах записать о том, как создать телеграм бота с бесплатным и платным контентом в виде месячной подписки через любую платежную систему? Будет супер полезно. Выдача счета на оплату пользователю, и после оплаты выдача ему контента и чтоб через месяц скажем запрашивать снова

[@mrbraun6832]

Я так понял, необходимые данные можно было взять и тегах, но через json удобней? Но проблема в том, что я не могу найти подобный json файл на амазоне. Было бы здорово, если вы вы делали боты на примере известных площадок США и мира.

[@Stepan_bendera]

Очень хорошие уроки. У меня очень большая просьба как у новичка в парсинге. Можете ещё выпустить видео в котором телеграм бот будет проверять, в определённое вреня, сайт на личие новых новостей и если есть эти новости выкидывать их в групу, желательно чтоб сайтов было несколько. Огромное спасибо.

[@PythonToday]

Благодарю за фидбэк. На канале уже есть серия таких видео kzbin.info/www/bejne/b6DRlZeld9OeiMU

[@luminee3299]

Использовать синхронные реквесты в асинхронном аиограме? Почему не использовал aiohttp? При сборе данных бот ведь блокируется.

[@PythonToday]

Потому, что учусь

[@СергейСмирнов-ь8у]

Супер 👍

[@PythonToday]

Благодарю!

[@nadyamoscow2461]

Огромное спасибо. Очень интересное видео. Только один вопросик. Когда вы забираете информацию по ключу из данных, сохраненных в json(), в делаете это через get(). В этом есть какой-то скрытый смысл, или это вопрос вкуса? Я вот о такой ситуации - вроде бы, и то, и то одинаково работает, или там есть какой-то подвох? data = response.json() pagination_count = data.get("pagination").get("pageCount") pagination_count = data["pagination"]["pageCount"] И еще раз, большое спасибо за ваши видео

[@loadmore]

Теперь чтобы обувь купить, бота надо, дожились )

[@PythonToday]

Зато со скидкой)

[@relaxinglish]

А как брать внутреннее содержание карточек , у меня возникают сложности, получается только все ссылки на медиа легко брать,х а описание и другую инфу плохо парсит , при этом открывается каждый товар в новом окне, есть ли какие-то решения?

[@paradiseledi]

Спасибо бро!

[@PythonToday]

Благодарю за поддержку!

[@alekseytrump1586]

Пять котолайков тебе за видос. Кошарик на базе видос автоматом топ!

[@PythonToday]

Большое спасибо за фидбэк)

[@ВасилийК-м2с]

Сколько лет ты учил Питон? Нереально круто!

[@PythonToday]

Изучаю два года

[@PythonToday]

Благодарю за фидбэк!

[@ВасилийК-м2с]

@@PythonToday а каким образом? Курсы или сам? Если сам, то что используешь в обучении?

[@AlexGott]

Можно примеров с ботом с использованием ООП и например пидантика со скьюлалкеми?

[@NiceAndNeat]

На заставке и в названии ролика написано что будет работать с API, но в самом ролике этого нет. Пытаюсь спарсить телефонный справочник, но там разные url в запросе и ответе, есть токены, api в url запросов и я вообще не могу понять что делать и куда копать. Вроде бы можно сделать через селениум, но хотелось бы разобраться и сделать без него. Помогите

[@thepumpkindle]

Помогите, кто-нибудь. Не могу спарсить кое-какой элемент на одном сайте, он его просто не видит.

[@pro100chok]

На патрионе есть видосы про aiogram + django? Или просто django?

[@vladyslavpaliasnyi1611]

Спасибо 👍

[@PythonToday]

Спасибо за фидбэк!

[@vsevolod9987]

Но если бота будут использовать и другие люди,то лучше делать через aiohttp?

[@ChorumTheDevourer]

По поводу фильтра. Как разраб на битриксе скажу, что да, это баг. Баг этот есть из коробки в самом битриксе и лечится костыликом. Когда используется аякс умный фильтр, то чаще всего об этом костылике забывают и получается такая забавность. И да, у битрикса очень кривой аякс(а что там не криво еще поискать надо). По поводу повторов. В битриксе один элемент инфоблока может принадлежать разным разделам инфоблока одновременно, количество привязок ограничено исключительно производительностью хостинга.

[@darksniper407]

Да, у меня не быстрее) Правда ".get().get()", не очень нравиться, лучше и понятнее "[][]". Личное предпочтение) За видос лайк, вспомнил как работать с json и запросами.

[@PythonToday]

Благодарю за фидбэк!

[@SergioPligin]

круто.спасибо

[@PythonToday]

Благодарю за фидбэк!

[@whoareyouqqq]

Использовать список как set это конечно можно, но если страниц будут сотни работать это будет весело) Если элементов больше десятка используйте set

[@PythonToday]

Благодарю за фидбэк! Рад что видео помогают)

[@ivanalifirenko3782]

Вот бы видео как все окружение настроить, потому что и телеграм вижу плагином стоит и все остальное очень удобно

[@arxxximed]

А почему Вы всегда работаете, используя процедурный подход? Понятно, что для данного рода задач ООП может и не надо, но в качестве обучения, хотелось бы увидеть и возможности Python как ООП языка.

[@arhangelartur1]

Так напиши такой же скрипт с ООП - будет тебе обучение :)) Исходя из видео (и кода на гитхабе) знаешь, что должно получиться, вот и узнаешь правильно ли ты написал с ООП или нет. Самообучение неплохая вещь

[@arxxximed]

@@arhangelartur1 написать то я напишу. И скорее всего, у меня полная чушь получится, как раз из-за того, что даже не знаю как ооп выглядит. Конечно самообучение рулит. Тут вопрос в том, что у автора очень классно получается подавать материал:локанично и не скучно. Мой вопрос скорее предложение или просьба к автору осветить материал про ООП. Думаю будет интересно

[@hanckhanck8376]

блестяще

[@PythonToday]

Спасибо)

[@JohnMccla1n]

по самому боту не совсем ясно.. почему нажатия на кнопки в телеграме обрабатываются кодом именно этого локального питон скрипта? по идее надо отдельный сервак держать под него, чтобы с другого компьютера бот тоже отвечал?

[@ilyshkaagaming]

Спасибо за урок! Но в моем случае контекстный менеджер with не хочет создавать файл никаким образом, причем при создании отдельного скрипта на создание файла через open() все работает и файл создается в той же папке где и проект ...

[@РазДва-у4э]

Ребят, что делать если выводится ошибка: json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0), буду рад если подскажите

[@oybekabduraimov1786]

Молодец удачи

[@PythonToday]

Спасибо! Взаимно

[@Царьпломбир]

Будет ли плейлист или какой-нибудь отдельный ролик про Scrapy?

[@diatm1506]

А можно как то в pandas использовать по поиску например из csv?

[@gapchannelAi]

Красавчик

[@PythonToday]

Спасибо!

[@abdullohahmadjonov8446]

👍👍👍👍

[@PythonToday]

💪💪💪

[@DaurenSyzdykov]

7:36 там кажется есть параметр "notAvailable": true

[@warrior_project]

Можете помочь когда я создал словарь headers у меня выдает ошибку

[@ChrisColeDC]

Почему вас не смущает, что если вы начнете тыкать кнопки, пока бот выгружает данные, он сломается, так как у вас синхронная функция мейн в асинхронной библиотеке aiogram…

[@Kos37376]

я пытаюсь делать точно также только с сайтом спортмастер в разделе "кеды для мужчин по скидке" как там найти json фай л со всеми данными о кроссовках?

[@libre66685]

Дожились гречку парсить надо :D

[@PythonToday]

Смутные времена))

[@comingflex]

7:05 А что делать если у меня русские символы не правильно отображаются в файле? Я так понял это кодировку на utf-8 Поставить надо, но как А всё, я понял. with open('data.json', 'w', encoding='utf-8') as file: