Обучение парсингу на Python / Зарабатываем на фрилансе автоматизируя Хабр

[@zproger]

Всех с наступающим новым годом 🎄

[@luciferwinsent7127]

с нг

[@dimamihalev2986]

Зачем тебе прокси, когда есть коаудскрапер. Могу показать на своем проекте.

[@zproger]

Не совсем понял как это связано. Было бы неплохо увидеть код

[@dimamihalev2986]

Дай свой тг, это библиотека для паркинга которой прокси не нужны, обходит защиту сайтов

[@Lines115]

🎄 И тебя тоже с НГ 🎄

[@DevALine]

Видео с выполнением реальных заказов всегда актуальны. А если задание выполняет грамотный специалист, то это бальзам на душу) Спасибо🙂

[@zproger]

Благодарю за комментарий. Надеюсь видео соберет активность и я смогу продолжить выполнять задания =)

[@MattePay]

вот да

[@AlexRootx]

однозначно, все, что связано с программированием это интересный контент, хоть и на узкий круг слушателей!!! Лайк за работу! Не бросай данное направление! С наступающим НГ!!!

[@max_wbw]

Видео с реальных проектов намного лучше чем просто показать код и рассказать как он работает. Тут сразу видно, что за что отвечает и можно понять весь принцип работы. Они более информативны. Спасибо.

[@glorix_way]

Спасибо! Ждем продолжения выпусков по парсингу)

[@zproger]

Хорошо, спасибо

[@xzablik]

Хорош братан! Давай, давай, можно вот этого ещё почаще!

[@zproger]

Спасибо :DD

[@IvanIvanov-xo2oh]

Очень интересно - и парсинг и фриланс! Может просто меньше просмотров из-за предновогодних хлопот.... Не надо бросать эту тему, плиз!

[@zproger]

Возможно и так, посмотрим что будет после нового года

[@pavelkharitonov9065]

Тема парсинга и фриланса - это крутая тема. Надеюсь всё-таки она будет жить дальше на этом канале. Хотелось бы ещё видео про асинхронный парсинг. А насчёт количества лайков... Лично мне не хватило каких-то доп объяснений из разряда сделал так, а не иначе потому что... А так получилось много инфы, быстро и смысл получился такой: просто повторяй за мной и не задавай лишних вопросов)) Но видео от этого менее крутыми не стало. С удовольствием посмотрю и разберу его подробнее. 🤝🤝🤝

[@maxdemon4778]

Классная тема. 1) Интересно, 2) Я хоть фрилансом редко увлекаюсь ( много работы и т.д), 3) Повторение уже давно пройденного материала( в моем случае полезно)👌

[@АнтонМиндлин]

Не бросайте нас!!!)) Нужны такие видео по фрилансу) А ещё интересно, где такие работы брать) Всё что на фрилансе брал, везьде антиботы, капчи, клаудфейдеры и прочий гемор)))

[@ivanokkekes8370]

лучший канал по парссингу

[@zproger]

Спасибо

[@alexjoy1931]

Хей, продолжай в том же духе, парсинг это что я сейчас я изучаю, и твои видео очень помогают. Давай топи, бро)

[@zproger]

Спасибо, буду стараться

[@FrachlitzStudio]

Коммент в поддержку такого вида роликов

[@zproger]

Благодарю

[@Саня_КИРПИЧ13]

полюбому делай еще, эта тема идеальная, делай делай

[@zproger]

Спасибо, буду делать

[@NTCNREAL]

Не могу поверить что ты думаешь о таком, твои видео лучшие по парсингу, и даже твой ник уже имя нарицательное с парсингом, с нетерпением ждем новых видео по парсингу

[@zproger]

Спасибо за комментарий, буду делать дальше =)

[@NTCNREAL]

@@zproger Все мы люди, и каждому нужна поддержка😘😘

[@litzihau]

Тема интересная. Обычно смотрю через всякие прокси без входа в ютуб и обрезая все трекинги, но ради такого дела вошел. подписался и поставил лайк. И всех, кто смотрит также советую тоже логиниться и смотреть. Ну сделайте отдельный экаунт для поддержки хороших каналов, если не хотите трекинга. Ну хоть виртуалку под это запилите в крайнем случае. Люди стараются все-таки копают, видео снимают.

[@DEKJ1000]

Ой да перестань, я тебя вообще первый раз вижу и то только потому что поисковик мне на запрос о парсере выкинул этот видос, теперь вот посмотрел, лайк поставил, комментарий дописываю. На праздиках сяду сделаю похожий парсер. И постепенно погляжу остальные твои видосы. :) --- Ах да... Всех с насупающим Новым Годом! Пусть все будет хорошо. :)

[@Neocubekst]

Огонь! Отличное видео!

[@Pavel_Burov]

На самом деле очень интересная тема фриланса, не хотелось бы ее прекращение на этом канале.

[@zproger]

Хорошо, постараюсь продолжить тему, если с активностью все будет хорошо. Возможно у людей просто новогодняя рутина :)

[@igorratnik2357]

Спасибо Вам! Очень нужная информация!

[@zproger]

Рад что понравилось 😎

[@ЯйяЙововов]

Все ты делаешь правильно и нам нравится такой контент)

[@DmitryRomantsov]

Так-так, тихо-тихо. Вот я как раз недавно думал попарсить, и вот именно асинхронно! Так что не над тут это вот - "неинтересно". Интересно! )))

[@zproger]

Спасибо, значит все ок, буду делать =)

[@vladkotsiuba552]

Видео с заказами интересные, продолжай. А еще, хотелось бы видеть больше видео связанных с анализом данных и машинным обучением. Может какие то интересные фишки или же что то типу обучающих роликов на эти темы

[@NakeDr]

Спасибо за видео! С наступающим!

[@mylife-ej8et]

Очень интересно, снимай по больше видосов

[@zproger]

Спасибо, стараюсь =)

[@Сергей-и7ь7о]

Главное отснятое хоть не удаляй! 🥺 👍

[@zproger]

Конечно не буду)

[@ВладимирЖуков-ы9е]

Это очень даже интересно.

[@zproger]

Благодарю

[@MattePay]

почти 3к. продолжай, это интересно

[@utssasha]

Годнота, все нравица)

[@zproger]

Благодарю

[@DevALine]

С Наступающим 🎄

[@zproger]

Спасибо, и вас с наступающим!

[@Alexander-tp6gy]

очень круто, спасибо

[@zproger]

Спасибо за комментарий

[@Alex-rj6fo]

Спасибо, очень интересно !

[@zproger]

😉😉

[@EugenioHorvat]

РЕАЛЬНО ИНТЕРЕСНО !!!

[@borysyermakov]

Снимай еще, очень интересные видосы, особенно познавательно смотреть какие либы ты юзаешь

[@zproger]

Учту, спасибо =)

[@kpdpok]

Какой шикарный контент. Лучше один раз увидеть, чем сто раз прочитать. Интересно скольао реально времени ушло на этот проект? И ещё. Создаёте ли вы заранее на бумаге конфигурацию приложения. Или пишите сразу, держа все связи в голове. Продолжайте, пожалуйста. Очень полезная тема.

[@try4355]

очень круто, хочу видеть контент с фриланса

[@zproger]

спасибо, учту

[@rs8188]

Все правильно! Хороший контент!

[@kurban1111]

Интересно. Продолжай.

[@gapchannelAi]

Я не будет усложнять проект, поэтому буду писать в одном файле ! Красава

[@fensmart437]

😂

[@ffmicken4151]

Мне интересны любые твои ролики, благодаря им я могу получить опыт и примеры каких-нибудь программ. Еще мне было бы интересно посмотреть ролики про то, как превратить код в полноценное приложение для пк/андроида. Еще я с радостью посмотрел бы ролики про то как создать интерфейс для программы с помощью pythona и про библиотеки для создания GUI на python, например по Tkinter, PyQt и Kivy.

[@Nikita6.4.1]

от души тебе!

[@zproger]

Спасибо!

[@Nikita6.4.1]

@@zproger а можешь записать, как парсить более сложные данные? Например с Яндекс маркета или озона

[@bekhalid9118]

Мне нравится ваш контент

[@zproger]

Благодарю!

[@АйрисТраст]

Спасибо! Сейчас как раз ищу информацию как парсить - понять, как это вообще делается.

[@evgeny.invest]

подскажите пожалуйста, а как цепляться за такие классы c динамическим "мусором": ТЕКСТ

[@yonda_apex]

Красавчик

[@zproger]

Спасибо

[@boec]

Ну ты же знаешь что нам нравится

[@zproger]

Неа, поэтому и спросил

[@irwe3514]

Интересно создание ботов/программ которые с помощью алгоритмов и анализа свойств. Могут прислать разные данные с будь какого либо ресурса с тем же парснигом

[@shadr1n]

Хм… Не однозначно все как то, использовать асинхронность и блокировать ее синхронным bs4 Да и запись в файл не очень то правильно реализована, если бы была реальная асинхронность то была бы ошибка на одновременное открытие и тогда стоило бы использовать очередь как минимум В общем тема asyncio еще не раскрыта у тебя

[@nikitabovyrin5602]

Многопоточности тут нет, только асинхронность. И почему не используешь aiofiles?

[@zproger]

Так я вроде и не говорил за многопоточность, речь была о том, что асинхронные задания запускаются параллельно через gather. Aiofiles как-то тестировал, он во многих случаях работает намного медленней обычного синхронного подхода, но я пока не разбирался почему это так и где лучше его применять.

[@АлексейКомаров-ф8к]

В чем отличие между многопоточностью и асинхронностью?

[@igtar3926]

@@АлексейКомаров-ф8к в процессоре и ядрах, одно ядро один поток но асинхронность даёт возможность ставить функцию на паузу, давая работать в это время другой функции, и событийный цикл управляет ими.

[@DimulyaPlay]

планирую небольшой проект - десктопное приложение для сайта своей организации, там парсить по сути ничего не надо, отправляешь запрос авторизацию, затем запрос фильтр и возврашается типа json файла с id обращений, его свойствами, статусами и т.д., из которого сайт уже формирует список обращений в графическом виде. То есть мне асинхронность в данном случае не нужна будет, если я буду раз в 2-5 минут буду запрос отправлять и json получать? Разве что я планирую автоматическое скачивание делать при появлении нового обращения в виде .zip файла, но это же можно просто на новый thread повесить в фон раз обмен запросами крохотный?

[@antonmanin3521]

без асинхронности у тебя приложение будет замирать на время запроса авторизации

[@DimulyaPlay]

@@antonmanin3521 отправится на thread

[@sergozar]

Расскажи о парсинге с тега canvas. Например парсинга информации из карты с разными пометками)

[@АнарГусейнов-с5ы]

Очень интересно

[@Baha996]

Видео топ!!!

[@zproger]

Благодарю

[@nordriver]

BS и подобного на самом деле не мало в обучалках, но вот пока не встречал как взаимодействовать со страницами которые генерируются ява приложухой (мб и с джанго будет такая же беда)....

[@fghhna]

Отличное видео.

[@zproger]

Благодарю

[@xxxxxxxx7035]

приветствую, а как например с досок объявлений, возьму в пример авито. так сылочки собрать не доставляет проблем, а уже саму сыль товара и сколько активных объявлений у продавца, отзывов, его ник нейм. можете кто нибудь ответить на данный вопрос?

[@Rizz_The_One]

комментарий для продвижения контента

[@zproger]

Спасибо!

[@registran4ik]

Круто)

[@serjikpy6665]

Отличное видео! Хотел бы узнать, а есть какие-то проектики на Flask? Было бы интересно посмотреть. А также, если не сложно, запили видео гайд, как лучше залить готовый Flask проект на сервер. Спасибо

[@v_hackkali8634]

Да конечно нравится

[@Иван-с2э9п]

Нет, нет, очень интересная тема!!! Продолжай в том же духе, пожалуйста!

[@soup_mw_ghost]

Желаю всем всегда уметь находить правильные решения в работе , не выгорать. ✌🏽

[@zproger]

Спасибо, взаимно

[@soup_mw_ghost]

@@zproger спасибо. Пытаюсь сам выучить питон по не до конца слитым курсам , в школе я был троишником. Какие у меня вообще есть шансы по вашему мнению?

[@pavlodiduk]

Тема интересна

[@zproger]

Благодарю

[@shum7584]

Ну лайку поставил

[@zproger]

Благодарю

[@russiantime778]

Круто

[@zproger]

Спасибо!

[@daye_private]

Здравствуйте, а как к вам на приват канал попасть?

[@fiftifift9909]

Зачем в Питоне нужна такая запись if функция : это проверка на тошто функция возвращает тип Boolean или проверка на активность функции

[@nastyayakovleva3486]

Интересно конечно. Просто иногда бывает влом писать комент)

[@develper2]

почему readlines а не read ? если ты всёравно сплитишь по новой строке

[@xxxjournal255]

очень нужно научится парсить товар в пхп чмс ки

[@sanchezrodrigez7104]

Ну и надушнил вначале 😅 Делай дальше, интересно!🎉 сам я ещё чайник, только учуС)

[@zproger]

Спасибо :D

[@АлексейКомаров-ф8к]

Я не понимаю. Цитата из видео: "все работало асинхронно, потому что обрабатывалась сначала одна категория, А ПОТОМ УЖЕ другая категория". Разве при асинхронности они не должны обрабатываться одновременно? Ну и print должен быть смешанным, то есть вывод строк programming... и python... должны чередоваться в терминале. Похоже, что ваша программа работает НЕ в асинхронном режиме (уберите асинхронность - ничего не поменяется). НО я могу ошибаться.

[@aleksandr7043]

Хотел спросить, а код ты выкладываешь, я его предположим скопировал, может, чтото добавил, а может нет, могу ли его заливать на гит? Я новичок и не знаю на сколько это правильно так делать?

[@zproger]

Это зависит от лицензии, у меня она свободная, можно копировать, изменять, распространять и т.д

[@aleksandr7043]

@@zproger понятно, спасибо за объявление

[@Lines115]

@@zproger Почти всегда без лицензии! (С ней нужно танцы с бубном танцевать 10000 лет) P.s. Вроде бы...

[@vladyan01]

В чем суть парсинга, никак не допру. Если я читаю данные с файла XML например, это можно назвать парсинг?

[@יאי]

А где заказ взял не подскажешь?

[@zproger]

Телеграмм

[@amsgh1338]

Мне интересны видео про парсинг!

[@zproger]

Спасибо, учту. Если наберем активность, продолжу снимать, заказов таких много)

[@limfeer]

Тема парсинга интересна, но к сожалению, у Вас получилось затянутое вступление и слишком быстрое написание кода. Мне как новичку хотелось бы, чтобы Вы больше комментировали код. Так же было бы интересно сравнение разных библиотек для этой цели.

[@TERMINATORM3XORG]

Даёшь парсер Дискорда!

[@catcodder5402]

Где брать заказы?

[@ko-prometheus]

Продолжай снимать. Занимался ты анализом десятков , сотен функций непрерывных гладких, одновременно??

[@ihormelnykov3087]

Красава

[@zproger]

Благодарю

[@pro100ya3]

Ничего не понял но очень интересно 😂

[@zproger]

:D

[@_SPIRICH_]

Что за трек на фоне?

[@aleksandrdemidov6058]

сколько времени было потрачено на задачу?

[@zproger]

Точно не помню, но где-то минут 40

[@ДенИнг]

Было интересно, за прокси спасибо, но лайк ставить не буду, нет главного - сколько заплатили за задание? за что заплатили? за выходной файл, или вместе с парсером?

[@antonmanin3521]

у хабра есть rss, кажется, это будет куда проще чем то, что в видео

[@zproger]

А почему бы и нет)

[@murz2000]

Некоторые аспекты прав на интеллектуальную собственность не раскрыты.

[@keno-rf1km]

нене, снимай, очень информативный контент

[@zproger]

спасибо, учту 😎

[@luka63003]

ЕЩЁ!

[@zproger]

окей 😎😎

[@irwe3514]

Я наблюдал что многие смотрят про создание ботов телеграмма/Дискорд. Парсинг того ж биткоина, видеокарты, скидок

[@Azimjonm2333]

Круто, но очень быстро объясняешь😅. Для новичков таких как я сложновато понять.

[@zproger]

Спасибо, исправлюсь

[@ВячеславСуворов-ж2к]

мо ло дец!

[@zproger]

Спасибо

[@Alienvlg]

Непонятно. Если это обучение, то почему нет объяснений, если это для знающих, то почему видео называется "Обучение парсингу на Python".

[@100ksmurf-8]

Не хватает базовой информации: 1. Сколько стоил проект? 2. Сколько времени потрачено в итоге? Я думаю ВСЕ (или почти все) хотели бы это знать, чтобы понимать, что можно заработать с фриланса, если брать такие проекты.

[@HerringNice]

Заработать новичку без партфоллио на фрилансе это чтото невероятное. Доход будет примерно 500р за проект который в 5 раз сложнее того что в видео...

[@Fryderyk_Franciszek_Chopin]

Я перестану снимать на эту тему. Понятненько. Рекламодатели онли.

[@zproger]

Ну да, вы же лучше знаете)

[@ABtonatiza]

Самое сложное это понять зачем это все нужно делать парсить и тд

[@zproger]

У каждого разные цели, но потом эти данные обрабатываются и например выводятся на сайт, либо же используются как входные данные для другого софта

[@Lines115]

Видео класное как урок, но я уже смотрю 1 python-ютубера, у него почти каждое видео это - "Парсинг на python", и скорее всего парсинг, не как урок, но смотреть интересно! :/ P.s. *НЕ РЕКЛАМА* Этот ютубер - PythonToday *НЕ РЕКЛАМА* P.s.s. Ссылка на канал: www.youtube.com/@PythonToday

[@zproger]

Я думаю все знают этот канал, но все же спасибо за ссылку

[@deus7204]

Плюсую хороший канал, мужик прям по полком все движения разжевывает. Благодарю ему взял свою первую работу, да и вообще развился интерес к практике) Z тоже молодец)

[@Lines115]

@@zproger Я думаю что не все P.s. Спасибо за ответ

[@ФилипМорис-т6н]

Сделай Парсинг с баном по ip от частоты запроса

[@karandalliik]

Сколько за такой простой заказ заплатили ? Где биржи, где такие заказы, по парсингу, постоянно ? CSS селекторы мощнее всего ! Они укорачивают любой код по парсингу многократно!!!

[@Inhuno]

Ничего не понял, не учил питон, но интересно

[@zproger]

Благодарю