Парсинг на Python | Зарабатываем на фрилансе | Телеграм бот на aiogram | Парсинг динамического сайта

[@PythonToday]

# TODO ✅ Пофиксить выход из цикла при получении {"error":2} ✅ Изменить time.sleep на asyncio.sleep Друзья большое спасибо за фидбэк!

[@MrTASGER]

Не обязательно импортировать json. requests и так умеет с ним работать. Вот как ты получаешь .text ответа, так можно и .json() получать. js = requests.get(url).json()

[@PythonToday]

Так мне нужен модуль для записи в json файл, чтобы проставить отступы и ascii.

[@ferret8592]

@@PythonToday почему использовал requests а не aiohttp?

[@Alex-kp9jy]

синхронные функции в боте блокируют работу бота. Т.е. если кто то выберет ножи, во время выполнения функции никто не сможет воспользоваться данным ботом

[@vovatankistru]

@@PythonToday зачем записывать в файл? Во первых работа с постоянной памятью - очень дорогой процесс по времени, во вторых - в случае, если прилетят два запроса за получение выдачи с малым промежутком, то начнётся гонка за ресурсами. Плюс это не совсем грамотно, что функция сохраняет результат именно в виде файла на диск с захардкоженным путем. В идеале она просто должна возвращать чистые данные, а уже те, кто ею пользуется, должны решать, как их сохранять и как обрабатывать

[@arxxximed]

у вас реально получается качественно преподавать материал. Не важно вы про Python или про теорию функций комплексных переменных будете рассказывать. Развивайте тему дальше. Не только же на процедурном способе останавливаться.

[@PythonToday]

Благодарю за фидбэк!

[@Andy-pn3ww]

Отличная серия уроков по парсингу! Достойно ТОПа. Очень нравится подача с постоянным проговариванием и повторением. За 3 урока вбил в голову и осознал последовательность действий. Спасибо

[@PythonToday]

Спасибо за поддержку! Рад что видео помогают.

[@dang8083]

Первый раз попался в ленте канал, а я уже в восторге В 100 раз полезнее видосов по 3 часа, где 2.5 - вода С 5 минуты видео начал думать на патрик подписаться Спасибо, что ты есть, и что я тебя нашел

[@PythonToday]

Большое спасибо за фидбэк!

[@guiterenzog2723]

Наткнулся случайно на Ваш канал в рекомендациях ютуба. Недавно начал изучать Python, изучил http запросы и ответы, словари, списки и прочее подробно (не так, как преподают в вузе). Что меня удивило - простота задачи как таковой; моих начальных знаний хватит, чтобы самому выполнить подобную задачу, чему я очень рад. Синтетические задания в книгах-обучалках, в образовательных учреждениях не дают полезных знаний, что сильно демотивирует и понижает самооценку (кажется, что ничего не знаю в программировании, работу после выпуска найти не смогу). С помощью подобных видео, за что огромное спасибо, появляется желание изучать программирование дальше, особенно с такими отличными объяснениями и ПРАКТИЧЕСКИМИ РЕАЛЬНЫМИ заданиями! Подписка + лайк, без сомнений.

[@PythonToday]

Огромное спасибо за такой фидбэк! Рад что видео полезны)

[@vigauss1889]

Большое спасибо за крутую практику, а не 2 + 3! Будь здоров Cain :) Несколько лет назад продал перчатки, что-то около 1к было. Радовался как слон, так они потом подорожали до 3 xD

[@PythonToday]

Спасибо за поддержку)) 👍 У меня только дигл был баксов за 100 максимум :(

[@Zer-st6qv]

Это тебе огромное спасибо за твой труд! Лучший канал с практикой, здоровья!

[@PythonToday]

Благодарю за поддержку дружище! Взаимно!

[@ИванИванов-т2б2ч]

практикой здоровья? шта?!!! =)))

[@Zer-st6qv]

@@ИванИванов-т2б2ч Лучший канал с практикой, а здоровья - автору, и всем кто подписан.

[@bankr0t.]

Тема лютая!!! Спасибо тебе огромное за то что делаешь!! P.S.: Не так давно смотрел обзор на машину стоимостью около 3 млн.руб и вопрос к хозяину, откуда деньги, сделал мой день) он рисует скины в CS. Самый дорогой пистолет с сакурой он продал за 20k зелени.

[@PythonToday]

Благодарю за поддержку! То-то и оно, надо ставить cs и photoshop.

[@als-creator]

Где продаёт?

[@bankr0t.]

@@als-creator kzbin.info/www/bejne/Y5uqanewgqaghcU Там есть его ник, думаю что можно будет найти.

[@silvertruenoobs340]

В очередной раз спасибо, прям от души и чем больше смотрю, тем больше убеждаюсь в двух вещах: 1) взаимодействие между различными файлами проекта (передача аргументов, вызов функций итд) это не так сложно и непонятно, как казалось на первый взгляд 2) боты, как оказалось не кусаются и в целом проще чем кажутся, нужно только понять принцип построения функции обработки одной команды/кнопки и все, можно создавать хоть просто бота одной задачи, хоть унибота который будет совмещать в себе функционал 10-20 парсеров, оперируя командами импортированными из разных скриптов(нужно только подразобраться в клавиатуре (по типу создания новых кнопок после выбора одного из пунктов меню и возвращение к основному меню по кнопке/команде, премерное представление как это должно быть уже есть, вопрос только в практике )

[@dimav1640]

Обожаю этот канал, лучший пайтон канал, особенно для тех кто хочет научиться парсингу!

[@alekseytrump1586]

Хороший человек и его хорошие видео. Спасибо за твои труды. Надеюсь после просмторов твоих видео люди больше увлекаются программированием!

[@PythonToday]

Большое спасибо за такой фидбэк!

[@mr77]

Полезно и интересно, спасибо! Даже желание появилось программированием интересоваться: до этого видео кодинг казался чрезмерно сложным:-)

[@PythonToday]

Все просто, главное практика. Вливайся!

[@k_a_ivaschenko]

Спасибо! Урок как всегда на высоте. Было бы классно в заключении понимать, что делать дальше, как передать проект заказчику, как выложить на сервер, какие возможны ошибки и как их обработать... Также хотел бы понять надо ли использовать ООП для решения подобных задач. Еще раз спасибо!

[@BriskBrain]

Очень познавательно! учитывая опыт в этой сфере, принимаешь ли ещё заказы на около-ксго парсеры/проекты ? :)

[@v3lips]

Вау, не ожидал тебя тут увидеть:)

[@akapella6664]

думаю он примит твой заказ

[@СашаСалахеев-г9д]

Почему я не удивлен, увидев тебя здесь?)

[@Delete_L-y4i]

Ох снова какой-то прибыльный крафт сломается 😂

[@AlexanderGorshkov]

Ну теперь нужен урок как рисовать скины) Большой полезный урок, спасибо!) Небольшая идея для урока - телеграм бот с функцией принятия какого-нибудь файла от юзера, обработка файла на сервере и ответ юзеру с новым файлом. Бот по автоматизации к примеру Эксель файлов.

[@PythonToday]

Большое спасибо за фидбэк! Не говори, надо рисовать учиться. За идею благодарю!

[@AlexanderGorshkov]

@@PythonToday я прифигел от цен в ролике)

[@infoboss99]

Молодец, ты КРУТОЙ ; ))

[@icrypter]

Как обычно, на канале пушечная подача, и актуальная информация. СПАСИБО!

[@PythonToday]

Благодарю!

[@starfox8525]

Контент супер! Немного оговорился на 3:29 ('Используем метод random'), хотя это свойство

[@goga220]

Также следует импортировать не time, а из asyncio функцию sleep, чтобы бот работал асинхронно

[@PythonToday]

Большое спасибо! Поправил.

[@goga220]

@@PythonToday Кстати не обязательно фильтр Text из aiogram импортировать, можно в декоратор сразу атрибут text с нужным значением передавать

[@nikolas4229]

Я один словил пермак за рандомного пользователя?) Пришлось вставлять свои данные😳 Спасибо за урок!)

[@dadyrole]

Топ гайды по парсингу

[@flayers1646]

Я очень жду парсинга сложных сайтов, например того же eldorado, где надо с куками поработать для парсинга

[@idensas]

Круто, спасибо! Даже не знал о том, что так можно чекать запросы.

[@PythonToday]

Благодарю за фидбэк!

[@Ra1ndess]

Супер, спасибо за тутор 😁 это моя вторая прога по питону за жизнь, и почти сразу получилось переписать под свой проект 😅

[@aslam_kochenski]

Брат поздравляю с 100к от души желаю тебе здоровья и счастья ни когда не сдавайся брат мы с тобой удачи брат ✊🏼✊🏼✊🏼

[@PythonToday]

Большое спасибо за поддержку!

[@markdiper2933]

Приятно смотреть, отличная подготовка к видео. Ну просто топ... 👌Лучший!

[@PythonToday]

Большое спасибо!

[@JonyPy2022]

Спасибо огромное за видео. Среди сотен это именно то, которое мне помогло написать свой первый парсер.

[@zydexez3042]

Очень круто, атмосфера поменялась после смены IDE

[@PythonToday]

Благодарю!

[@bookuha]

Спасибо. Занимался похожим в своих мини-пет проектах и многое по парсингу пригодится, из того что вы показали :)

[@dryuni]

Круто, Cain! Молодец, поддерживаешь интерес к программированию подбрасыванием дров, облитых бензином

[@NiceGamesful]

Отличный канал, круто объясняете все пошагово, оч круто!

[@PythonToday]

Спасибо за фидбэк и поддержку!

[@makedatauseful1015]

Лучшие уроки по парсингу на Python всея земля

[@PythonToday]

Благодарю 👍

[@КонстантинМедведкин-ш1е]

Как всегда огромное спасибо, добра и процветания!

[@PythonToday]

Большое спасибо за поддержку! Взаимно!

[@rossik08]

Здравствуйте, а как вы поняли что запрос 4:36 "весьма интересный"?

[@seoonlyRU]

да, за реальную практику респект и лайк с ходу от СЕООНЛИ

[@PythonToday]

Благодарю, кто такой СЕООНЛИ?

[@seoonlyRU]

@@PythonToday легенда...

[@pungushe]

Привет как мне твои уроки нравятся. Я их просто обожаю. Спасибо

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@ДмитрийШульц-у1я]

ну огонь , ответит на многие вопросы

[@simadovakin739]

Весьма эффективный способ скрапинга. С недавних пор тоже начал так делать, когда вижу, что пагинация через ajax запросы сделана, ну или фронт сайта сделан на vue или react

[@денискурочкин-ш2ц]

Годнота!!! Пытаюсь разобраться,но очень интересно!!!

[@PythonToday]

Главное практика, всё придет. Благодарю за фидбэк!

[@kot007]

Спасибо! Коммент для поддержки! :)

[@PythonToday]

Спасибо за поддержку!

[@АстраТур-ц8ь]

Крутой годный контент. Cтранно что у вашего канала так мало подписчиков

[@PythonToday]

Большое спасибо за поддержку! Надеюсь на рост в новом году)

[@karamas3851]

ты просто бог гениев спасибо тебе. Красавчик

[@PythonToday]

Только учусь, спасибо за фидбэк!

[@Yuri-wk8rk]

Спасибо! Сделайте пожалуйста видео на написание парсера с многопоточностью и ротацией прокси на python, можно под selenium и под requests и сохранением данных в sqlite

[@PythonToday]

Благодарю за фидбэк! Где-то был код, пороюсь в закромах.

[@Yuri-wk8rk]

@@PythonToday Можете на примере моего парсера с вашими дополнениями yadi.sk/d/edRXlFBdR9KUwQ

[@АлександраПетрова-ш4д]

@@PythonToday Спасибо вам за топовый контент! Где то можно увидеть реализацию с многопоточностью и ротацией, мне было бы очень полезно для практики)

[@neonchik6768]

почти любой парсинг можно сделать без селена

[@playdemo6039]

@@PythonToday привет, вы есть на фрилансе? или как с вами связаться, чтобы заказать скрипт?

[@alibekerkabayev688]

pered snom nauchilsya novomu))) spasibo i like

[@PythonToday]

Spasibo

[@kutsokon]

Присоединяюсь ко всем положительным комментариям)

[@MrPavel1207]

Топ учитель топ объяснение

[@ИгнатМирзализадэ]

До полного счастья, еще бы инфу, на каком бесплатном серваке можно бота припарковать )

[@PythonToday]

К сожалению или к счастью, не использую бесплатные сервера. Зачем эти костыли и головная боль. Сервер стоит пару долларов.

[@tuwkan4ik359]

Достаточно увлекательное видео, хотя я и не программирую на пайтоне (мой стек C#/JS)! Смутил один момент, что если на последней странице будет ровно 60 айтемов? Тогда break не сработает и програма может просто упасть. В основном на последней странице должен быть атрибут указывающий на то последняя ли это страница. Ну а если такого нет, то возможно стоит просто отлавливать ту ошибку с {"error": 2} P.S. Вижу по твоему закрепленному комментарию, что похоже этой кейс уже был обнаружен)

[@PythonToday]

Ага, благодарю за фидбэк!

[@smallKraken]

Не зря выкладываешь ролики

[@PythonToday]

Спасибо за поддержку!

[@imaginecrab1200]

Спасибо за уроки, есть вопросик: Думаю с этим многие сталкиваются/будут сталкиваться. Нужно получить код страницы, но все не так просто, при прокрутке вниз во вкладке “elements” подгружаются части кода, но никаких запросов и ответов не прилетают, каким образом получить полную информацию с сайта?

[@vlados945]

сделай на ютуб курс по хакингу! Просто лучший!

[@elyutin5283]

Крутое видео, начал учиться с ваших видео, большое спасибо за колоссальную работу. Хотелось бы посмотреть на выбор биржи для работы.

[@PythonToday]

Благодарю за фидбэк! На канале есть видео на эту тему kzbin.info/www/bejne/Z6GvnYtvrZtjqK8

[@derlite4445]

10:22 что делать если в позиции имеется еще несколько позиций для данных?(не знаю как их назвать так что написал данные)есть names, pricing и т.д и в них тоже есть 1-2 позиций. Как их спарсить тоже? буду очень благодарен за ответ☺

[@xumpocmb-404]

у тебя данные сайт отдает нормально? у меня на данный момент сайт присылает абра-кадабру в ответ, а не json

[@Tribunall]

my_dict = { 'key1': { 'key2': 'value' } } items = my_dict['key1']['key2'] print(items)

[@Vanusez]

Поддержку тебя комментарием а потом деньгами очень сильный контент

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@Николайучёв]

Спасибо, хочется больше такого контента !!! 😍

[@PythonToday]

Благодарю! Буду стараться.

[@flayers1646]

Отлично! Спасибо за ваш труд

[@PythonToday]

Огромное спасибо за фидбэк и поддержку!

[@skeleton_man00]

Благодарю за урок. Можете подсказать, на какой фриланс-бирже Вы брали этот заказ?

[@tenebris8800]

обязательно лайкнул) не зря стараешься)) спасибо))

[@PythonToday]

Большое спасибо за поддержку!

[@ТёмикГоловин-й8ц]

Краткий пример как правильно инвестировать 100$) Ибо мне кажется что этим ботом он себе прибыль даже на 10% поднял точно) А это уже 500$)

[@kent5140]

Очень крутой материал!

[@PythonToday]

Благодарю!

[@kent5140]

@@PythonToday За кота отдельное СПАСИБО! 😁🤝

[@fghhna]

У меня несколько вопросов. Как дальше этот проект передается заказчику? Отдается чисто код или исполнитель сам деплоит куда то на сервера? И второй момент касательно бота. Если кто то другой случайно наткнется на бота в поиске телеграмма, то сможет им пользоваться, или бот как то настраивается так, что им может только заказчик пользоваться?

[@egor_ostap]

Спасибо за контент! Если не затруднит и если интересно, можешь сделать видео как запускать исполнение бота на aiogram при помощи вебхуков и деплой на pythonanywhere? Заранее спасибо)

[@ktezor]

Не сильно ли странно вышло, что в каждой функции get_*weapon*() будет повторяться кусок единообразного кода? Я бы вынес его в отдельную функцию по типу answer_card(data) или в роде того. (я не про в ваших этих ботах, уважительная просьба если собираетесь хейтить, то только из объективных причин, т.е. указывать по какой конкректно причине). Да и можно было создать словарь в начале, и в нём прописывать начальное сообщение и аргументы для ответа на него (на этапе бота)

[@3699-y8l]

В поддержку.Благ.

[@PythonToday]

Благодарю!

[@sinsmith9687]

Шикарный видос. Подскажи как ты картинки вставил в список кнопок?

[@REPAIRSERVICE]

почему-то не получается импортировать executor ни одним из способов, включая и те что есть в инете, да и переменная bot в dp подсвечена, версия aiorgam 3.0.0 версия python 3.11

[@REPAIRSERVICE]

с этой проблемой разобрался, нужен был питон 3.10, теперь подсвечивается executor(dp) в функции main

[@REPAIRSERVICE]

спасибо за ваш труд, разобрался)

[@hollowknight7180]

В aiogram 3.0.0 нет executor'а

[@ushu8948]

Здравствуйте, я не совсем понимаю этой строки, keyboard.add(*start_buttons), для чего тут *? Это указатель на массив строк? просто я больше по с++, а питон для души

[@ДОБРЫЙДЭН-щ2г]

Просто круть!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

[@PythonToday]

Спасибо!

[@АнтонГриднев-д2е]

У меня такой вопрос но ведь может совпасть так что на последней странице вывод будет равен 60 , тогда по идее сайт на следующую итерацию отдаст ошибку ?

[@PythonToday]

Да, ты прав. Пофиксил код. Благодарю за фидбэк!

[@OasisWordLessons]

Как всегда всё очень доступно. Спасибо

[@PythonToday]

Спасибо за фидбэк!

[@androidk0xxx]

offset = (page - 1) * batchSize, page = 0 => page++

[@ИгорьКузнецов-ъ3ч]

Спасибо за крутую работу!

[@PythonToday]

Благодарю за фидбэк!

[@maxbrenson21]

Python это наше всё)

[@PythonToday]

💪

[@Happy-vl7ol]

Python это твоя деградация. Язык для бездарей)))

[@deus7204]

Спасибо за труд!

[@PythonToday]

Благодарю за поддержку!

[@sammygun84]

Привет, хотел бы спросить твоего совета, изучил пару книг по python хотел бы начать изучать направление, которое бы позволило мне подзарабатывать на фрилансе, в каком направлении посоветуешь двигаться, начать изучать django для сайтов, или написания ботов для телеграмма, или изучение парсинга сайтов? Что на фрилансе в python сейчас востребовано, какое направление, кроме big data?

[@PythonToday]

Все три направления которые ты перечислил востребованы. Изучай то, что больше нравится.

[@sammygun84]

@@PythonToday привет просто интересно твое мнение видел что у тебя есть контент по go, если сравнивать go и python какой язык тебе больше нравится и почему? И может подскажешь хорошую книгу по парсингу на python или ресурс для изучения ?

[@artem88able]

Круто!!! Но есть вопрос! А что будет, если пользоваться ботам будут человек 10 одновременно? Файл с данными будет перезаписываться в этом случае!

[@WCoder]

👍👍👍👍. Хотел предложить вам идею для тг бот. У каждого бота есть админ панель но многие это админ панель ставят прям в боте но будет разумно поставить веб админку для настройки бота. Поискал в ютубе и гугле но нашол только 35% информации. Буду рад за такой ролик.

[@PythonToday]

Напиши свой вариант, пришли ссылку на код и подумаем, что добавить и над чем ещё поработать.

[@bkfmf]

Хммм, а как можно реализовать трек новых айтемов? Постоянно парсить и сравнивать с данными в словаре?

[@xusenravshanov2221]

Ты лучший

[@leonidstolyarov1415]

Зачем нужен цикл в 22 строке? что измениться если его убрать, и в переменной для url взять offset вместо item?

[@B-S-A]

Думать надо ;)

[@thepumpkindle]

Помогите. Не могу спарсить д один элемент на странице его просто BS не видит

[@stoksful]

автор скажи пожалуйста как имитировать через реквест на нажатие кнопки. при парсинге есть блок с описанием. но что бы забрать полное описание, надо нажать "раскрыть описание" тогда в блоке появляются все необходимые классы. пытался по джейсон ответу сделать пост запрос не получилось.

[@Igor160594]

а что если гет запрос всегда один, а товары подгружаются также как у вас в примере? как тогда быть?

[@andrewkraevskii]

8:30 я возможно чего-то не понял, но зачем тут вообще цикл for? В данном случае он всегда запускается один раз. Если его убрать и добавить item = offset то ничего не изменится

[@andrewkraevskii]

@@Riozaki_hideki как main так и collect_data в данном случае запустятся один раз когда __name__ == "__main__". Это верно, но как это связано с вопросом о необходимости цикла for в этом месте?

[@ИванИванов-т2б2ч]

очень давно учился программированию и помнится перед написанием проги составляли блоксхему)) сейчас это не модно?

[@Wezzest]

Большое спасибо за это видео!

[@PythonToday]

Спасибо за поддержку!

[@phantompunisher9192]

Здравствуйте, у меня возникла проблема: При записи кода в html файл не записываются русские символы. with open('result.html', 'w', encoding = 'utf-8') as file: file.write(response.text)

[@vovanvovan6392]

При работе на Windows постоянно есть проблема с кодировкой, которая решается так with open('result.json', 'w', encoding="UTF-8") as file: json.dump(response.json(), file, indent=4, ensure_ascii=False) Пожалйста не сочтите за труд добавлять кодировку при выпуске видео Вместо непонятного цикла "offset" попоробуйте(это фиксит {"error":2}) is_data = True while is_data: if len(items) < 60: is_data = False

[@user-hl8jl6jz2q]

спс брат , помогло

[@orlando9887]

Привет, а есть ли видео в котором вы рассмотрели парсинг на сайте, где надо авторизоваться на сайте через steam, перед тем как GET запросы отправлять?

[@hanckhanck8376]

и по aigram интересно было бы посмотреть регистрацию по номеру телефона или вход с определенных id

[@inspirr7894]

Здравствуйте. Подскажите, каким образом в Network выбираем нужный запрос? На многих сайтах смотрю и не могу выбрать такой запрос, с "говорящими" данными

[@АлексейДроздов-л8р]

Каждый сайт индивидуален и всё это чисто на опыте. Смотришь все подряд запросы.

[@Victor-lo6rj]

разве бот не будет выдавать каждый раз все имеющиеся в данной категории товары? как сделать так, чтобы при повторном нажатии бот выдавал новые - не имеющиеся в старом запросе те же скины?

[@SamJonesandCo]

Здравствуйте! А где вы ищите заказы?

[@IncoGnito-ZV]

Здорова други! А есть видосик про биржи фриланса от автора ссылку можете? Спасибо заранее

[@1Moonsoon]

Круто, класно, молодец!

[@PythonToday]

Благодарю!

[@ЕвгенийДолид]

А если вдруг последняя страница вернет 60 позиций. if len(items) < 60 не сработает. На следующей итерации цикла как отработает data = response.json()? Выбросит исключение или пустой словарь вернет?

[@PythonToday]

Да, ты прав. Пофиксил.

[@rufo591]

@@PythonToday и как пофиксил

[@darksniper407]

Все хорошо. Вопрос - юзаешь list comprehention?

[@PythonToday]

Юзаю, но где здесь ты хочешь использовать?

[@TheReiter4]

Теоретически в последней выдаче может быть ровно 60 ссылок, тогда на следующей итерации ошибка? Может просто try, except ?

[@darksniper407]

Да, выдаст items не существует, есть пусто, вот и будет exception. Да и тут через list comprehension писать бы, сам сидел и не мог понять зачем так писалось.

[@PythonToday]

Да, ты прав. Пофиксил код.

[@PythonToday]

Покажи где здесь используешь list comprehension

[@darksniper407]

@@PythonToday как скинуть код? Уже написал

[@dimaworld6921]

Какой у тебя стоит color theme?

[@blueberry3983]

Большое спасибо за видос!. Подскажите как завернуть не в телегу а опубликовать на сайт, к примеру wp. буду рад любой инфе!