8000р за вечер на фрилансе | Обучение парсингу на Python | Proxy, Requests, API, JSON, CSV

[@Zer-st6qv]

Умение завернуть в 10 минутный бесплатный ролик практики из месячного платного курса...Потрясающий канал, автору респект и спасибо за труд!👍👍👍

[@rianoneq]

Найс месячный платный курс, в котором инфы на 10 минутный ролие

[@ProycnexBiz]

@@rianoneq пхахаххаха )

[@PythonToday]

Большое спасибо за фидбэк!)

[@dimamihalev2986]

@@PythonToday зачем тебе прокси? Есть библиотеки которые даже клаудфларе защиту обходят, ты просто не знаком

[@gooddwarf7805]

@@dimamihalev2986 напиши название, полезным будет

[@buninow]

Пару месяцев назад даже не понимал как такое возможно вообще, но теперь уже предугадываю действия) все благодаря твоим видео, ты делаешь людей образованнее, дорогой Автор! 🫡 Спасибо тебе 🤝

[@PythonToday]

Большое спасибо! Рад что видео интересны и полезны)

[@Ivan_Makar]

Я вот тоже сейчас не понимаю как это вообще возможно ))

[@manik7777]

Шикарные видео. Понемножку вливаюсь в программирование и когда наступают моменты "опускания рук" - Ваши видео - элексир. Больших Вам успехов!!! И большое СПАСИБО!!!

[@nurtynybek4419]

Автору огромное спасибо! Благодаря навыкам, которые он показывает, я уже начал свою предпр. деятельность по сбору данных! Материал доносит понятно и без напряжений, приятно смотреть уроки. Ну и конечно кивающий под бэксаунд, котофей! Мои любимые моменты ))))

[@PythonToday]

Большое спасибо за фидбэк!)

[@sergeyu4214]

Сразу лайк. Потом просмотр.

[@doublebubble9823]

Мощно, мужик! 😍 Хотелось обвинить в слишком быстром темпе, но ты предусмотрительно отправил на видосы-предыстрию 👍

[@sarsavbuk]

Где ж ты был пару месяцев назад. Так красиво, и главное, ДОСТУПНО объяснил всё то, что было необходимо для моей учебной практики в вузе. Но благодаря ролику теперь задумался о фрилансе в этом направлении, спасибо за обучение!

[@PythonToday]

Благодарю за фидбэк! Рад что видео интересны)

[@SooonsVeles]

Дружище очень позновательно) Сам Бэк работаю с битриксом больше и на пыхе. Подчерпнул для себя полезной инфы)

[@FlintRid]

Я даже и не знаю что ещё написать) спасибо за очередной огненный ролик с тонной информации! Всё логично и просто, надеюсь, что, когда-нибудь и я смогу так же легко видеть решение проблем)

[@PythonToday]

В видео всё просто) Спасибо за фидбэк!

[@rrahll]

Подписался на телегу ;) Канал офигенный, честно говоря.

[@Alexey.np88]

Спасибо за видео, с нетерпением ждем каждого выпуска. Отличная подача материала 👍

[@PythonToday]

Благодарю за фидбэк!

[@rrahll]

Очень крутой видос! Спасибо)

[@ВадимФлерко-в7ж]

Буду начинать с твоих уроков обучение! Очень интересно!

[@PythonToday]

Спасибо за фидбэк!

[@РикСанчес-в6ц]

@PythonToday Шикарная подача бро, интересно

[@davidbrown2117]

Шикарный контент, Автор просто молодец!!! Успехов и процветания каналу!!!

[@PythonToday]

Огромное спасибо за фидбэк!

[@tellator]

Спасибо за видео, было интересно посмотреть, как выполняются реальные проекты

[@PythonToday]

Благодарю за фидбэк!

[@vigauss1889]

Лайк за полезный контент и крутую подачу без воды. Коты топ))

[@baurkussainbekov1675]

Как всегда топовый контент, спасибо !

[@PythonToday]

Благодарю за фидбэк!

[@ivantrofimov6966]

Шикарное видео, хоть парсингом и занимаюсь давно, но всё равно нашёл для себя много интересного

[@PythonToday]

Большое спасибо за фидбэк! Рад что полезно.

[@SkveerBoy]

Ещё не успел посмотреть, так как на работе ) ну уже лайк однозначно!))))))

[@PythonToday]

Большое спасибо за поддержку!

[@SkveerBoy]

@@PythonToday не за что! Серьезно помогаешь людям хорошо)) я сам учу python пол года, и очень хорошо помогает твои советы и уроки!)

[@birdwatcher_channel]

Спасибо. Писал для Windows и всё получилось)

[@PythonToday]

Рад что видео полезны!

[@СеменХеруимов]

Каждый новый ролик сродни теплу душевному

[@PythonToday]

Благодарю!

[@ВалентинГерасимов-б9п]

Спасибо огромное! Очень помогли!

[@АлександрИтяксов-л2р]

проработал все уроки из данного плейлиста!!! PythonToday - спасибо тебе за такую большую и интересную практику! Всех благ тебе! теперь попробую взять свой первый заказ на фрилансе, надеюсь у меня все получиться а параллельно буду смотреть другие твои видосы на ютубе и NetStalkers ты, с котиком из видео, самые крутые айтишники во всем ютубе!!!!!!!

[@PythonToday]

Благодарю за фидбэк! Всё обязательно получится, главное практика и выше нос!

[@adgadfgadgagrg701]

Александр Итяксов, кстати, как сейчас на фрилансе обстоят дела? Кол-во заказов там, цены и т.д. Всё получилось?

[@1244188]

Как у вас с заказами, получилось? Я несколько заказов успешно завалил😢

[@miyamura_izumi_yuji]

@@1244188 как так?

[@warpmaster]

В питоне есть специальный метод str.translate для преобразования одних символов в другие, работает молниеносно. По факту это базовая реализация команды tr из GNU. По поводу replace не нужно проверять наличие символа в строке, т.к. он не вызывает ошибки, если символ не был обнаружен. Ну и я бы всё-таки поискал способ сохранить без модификации, кодировку поменять или ещё что-то. Способ, который приведён в видео требует 4 прохода по строке и весьма громоздкий, решение точно не из лучших. Ещё мне не понравилось, что в переменную result добавляются списки, хотя рациональным решением тут конечно было бы использовать кортежи, потому что строчки после этого не изменяются. При использовании кортежей получаем 10x выигрыш по скорости и приличный выигрыш по памяти.

[@tarlock4089]

А еще можно было разбить на функций все, а не писать в одной. + делать функцию main() и вызывать в ней одну функцию, а саму main вызывать в if name... - это жестко

[@warpmaster]

@@tarlock4089 Тоже хотел написать, но коммент и так большой получился) Никто бы не стал читать

[@Katar1x]

@@tarlock4089 это не "жестко" - это правильно

[@polopolur]

10:29 правильнее написать "в течение", т.к. "в течении реки" разве что можно сказать, а тут у нас идёт течение времени, т.е. не буквальное значение выражения

[@PythonToday]

ок

[@SergeiVodolagin]

Видео очень крутые и информативные! Благодарю!) Есть вопрос - на 4:42 ты говоришь, что нашел ОДИН ВЕСЬМА ИНТЕРЕСНЫЙ ЗАПРОС. Но как ты понял (по каким признакам) что это тот самый?

[@blackcatdevel0per]

5:53 спасибо за сайт, теперь знаю где удобнее смотреть json 😁

[@dmitriysavinov9906]

Полезное видео! Кот как всегда рулит! :)

[@PythonToday]

Благодарю за фидбэк!

[@KoBeP3000]

Спасибо большое автору за проделанную работу, как всегда кратко и по существу

[@AlexPraiD]

Спасибо огромное за практику!

[@PythonToday]

Большое спасибо за фидбэк!

[@hanckhanck8376]

ну вот, годнота, а не какие-то там сериальчики)

[@KeyserTheRedBeard]

tremendous video PythonToday. I killed that thumbs up on your video. Maintain up the very good work.

[@PythonToday]

Thanks a lot! Really appreciate it

[@k1slov]

Лайк автоматом! Делаю дипломную работу (бот парсер [14 сайтов] + [несколько тг каналов] + [вывод данных в эксель] Спасибо тебе за творчество и практику!!!!

[@DS-wg5nc]

Не могли бы вы поделиться своим успехом, мне нужно примерно тоже самое, только для личных целей

[@rianoneq]

@@DS-wg5nc а че там сложного, пишешь парсер, бота, парсер запускакшь по крону а инфу кидвешь в бд, а бот просто инфу из бд берет

[@DS-wg5nc]

@@rianoneq к сожалению, для меня это тёмный лес

[@PythonToday]

Большое спасибо за фидбэк! Рад что интересно)

[@k1slov]

@@PythonToday У меня такая проблема появилась. Купил на proxy6 прокси, но один из сайтов при подключении выдает ошибку (Tunnel connection failed: 502 Bad Gateway). С другим сайтов все работает отлично. Прочитал, что можно сделать fake_useragent или поднять прокси на VPS сервера. Есть какие-то предложения?

[@Ostap..Bender]

Лайк и комент, за полезный контент!

[@bayan_8115]

Лайк за крутой контент!!!!

[@Interes.history]

круть! знал бы такое 7 лет назад когда парсил вручную сайт кафешек...

[@СергейФурса-л8щ]

Видео супер👍

[@хххххх-д8о]

Ты умница, спасибо огромное =*

[@3TimeT]

Когда в универе учился, писал прогу что парсит сайты с выгрузкой csv файлов на google disk для препода Интересно было)

[@artshur9445]

Ролик познавательный, изложено понятно

[@sergeyf6402]

Пушка!

[@rustemmiftakhov1644]

Супер полезно!

[@vadimzamilov1229]

Прикольно. Я сам с помощью стаковерфлоу и прочих "интернетов" смог научиться парсить сайты архивов и т.д. Но благодаря этому каналу стал больше внимания уделять именно чистоте кода. А то некрасиво получалось :)

[@PythonToday]

Спасибо за фидбэк! Но над "чистотой" мне ещё работать и работать, сам учусь)

[@khnykaq8823]

Пипец, курю первый букварь, как далеко мне еще плыть. Спасибо за труд

[@PythonToday]

Дорогу осилит идущий, главное практика! Спасибо за фидбэк!

[@blackcatdevel0per]

8:53 советую научиться пользоваться регулярками, я их тоже не понимал, но как-то раз когда редактировал один патч для ядра linux в редакторе kate(входит в рабочую среду kde) были удобно расписаны символы для регулярных выражений и спустя час мучений я смог понять их работу чтобы посмотреть в патче только на добавленные изменения и наоборот

[@asmr_codster]

Классное видео. Не знаю насчёт 8тысяч. На фрилансе и за 1000 рублей несложно такой заказ найти

[@zverocold392]

Надеюсь я когда-то начну понимать это))))

[@PythonToday]

Конечно, главное ковырять что-то ежедневно, прогресс обязательно придет

[@asdfgh6906]

Очень круто объясняешь

[@AleksejBelkin]

Почему на этом канале еще нет 1 000 000 подписчиков?

[@tjmaxx27]

Хорош!

[@yalmeme]

не понял зачем заменять B и Y и причем здесь виндоус кодировка. просто надо сохранять файл в кодировке utf-8, нет? она отлично открывается где угодно.

[@fgdsfgsdfgsdfg8433]

мне кажется, что это не настоящие заказы...

[@АзаматханАрифханов]

Ну вообще смысл видео в том, что "О, у них все в жсонке хранится. Повезло-повезло"

[@АзаматханАрифханов]

Хотелось бы посмотреть, как парсить реально подгружаемые сайты

[@leo_need]

@@АзаматханАрифханов динамические 😉. якщо шо

[@AlexKonon1990]

А Что за музыка играет на фоне? очень очень интересно

[@ИсабарАндабеков-ч5х]

Шеф, не подскажите где вы берёте такие заказы? Или фриланс биржи в целом

[@kekman1093]

Ну есть предположение что нигде и такого заказа не существует в природе, ибо зачем платить кучу денег за то, что можно сделать руками за полчаса?

[@gaben_aTan]

Благодаря вам написал парсер одного питерского гос. портала , осталось взятые данные в excel перекинуть :)

[@PythonToday]

Рад что полезно! Спасибо за фидбэк!

[@nikitapotasev8453]

Привет, случайно наткнулся на видео, сделано неплохо, но слишком уж простой случай) Хотя для новичков самое то. Какую биржу посоветуешь на данный момент где такие заказы падают?)

[@PythonToday]

Приветствую, давно не сижу на биржах, не подскажу.

[@luispakvard5681]

А это весь заказ или там еще требовалось как то обработать данные? И еще какойто код который не вошел в видео был?

[@DepechLyot]

Магия какая-то прям!

[@blackcatdevel0per]

3:12 просто посмотри в инспекторе на запросы сайту, обычно данные подгружаются через rest api и запросом к нему можно это не трудно спарсить и без selenium))) Главное при большом парсинге про заголовки и возможно прокси не забыть

[@elakc1362]

Очень интересная тема

[@Alexeyalexeev.]

Начал смотреть твой канал т.к хочется начать писать код и вот пытаюсь разобраться что как делается . И главное что мне нравится это вставка с котом) очень круто придумал))))

[@PythonToday]

Благодарю!

[@laifodes2805]

ты лучший!

[@georgestatefield]

Технично!

[@nokerka]

В devtools если нажать на кнопку fetch, то покажутся только нужные запросы, без всяких картинок и is файлов.

[@Interesnaianayka]

Привет,в какой программе ты пишешь код?

[@PythonToday]

Привет, vscode

[@Interesnaianayka]

@@PythonToday спасибо)

[@WCoder]

Здравствуйте. Классный ролик. Может след. ролик будет про telegram web bot? Сейчас ни где нету туториал видео про такой телеграм бот.

[@TaranenkoS]

Что бы юникод сохранялся в текстовый файл, нужно при открытии файла указать кодировку UTF-8: open(...., encoding='utf8')

[@PythonToday]

Не забыть добавить разделитель и обработать перенос строки. Да и на разных полушариях разделители в винде разные :/

[@yana-9735]

Поясните плиз почему обратили внимание на запрос analizy2?

[@leo_need]

Это скорее опыт годами, поэтому и не рассказал. А нам всем не понятно ((

[@DashaZakella1001]

супер, но как мне кажется уже идут повторы. Давай лучше возьми какой ни будь сложный сайт с динамической подгрузкой данных из js скриптов. Очень интересно твое решение

[@royalea9354]

Selenium

[@DashaZakella1001]

@@royalea9354 на силениум плохо реагируют сайты , плюс еще драйвера надо ставить хромовские

[@PythonToday]

Благодарю за фидбэк. Каждый сайт индивидуален, и требуется свой чемоданчик с инструментами. Как заметили ниже, бывало так, что без селениума не обойтись.

[@DashaZakella1001]

@@PythonToday согласен. давно что то не было у вас про парсинга на селениуме :)

[@darksniper407]

Драйвера хрома? В это случаи селен уместен, ссылка одна, API быстрее.

[@alex_pro_fpv]

Дядя спасибо на инфу

[@PythonToday]

Пользуйся сынок

[@noid6556]

А у тебя есть где то видео по настройке VS Code под разработку на python? Все вот эти подсказки при написании, линтер, дополнения итд

[@danila5627]

Если возникают проблемы с кодировкой, при записи в csv файл на винде, то нужно использовать кодировку UTF-16. Эта кодировка решает проблему и с корректным отображением кириллицы и с символами не входящими в cp1251. Сам раньше костыли с replace писал :)

[@TheMorpheios]

Utf-8 то чем не угодил? Ексель нормально его жрёт

[@danila5627]

@@TheMorpheios если записываешь в csv, то не определяется кириллица

[@MrTrevolta]

Пишу на винде на пайтоне в PyCharm. Очень даже приятно. Проблем с кодировками не возникало. Вообще замечаю, что у меня намного меньше траблов встречается, чем у моих коллег с lin и тем более mac осями.

[@leo_need]

питон и макось это боль) Да и по опросам профильных сайтов около 70% питонистов используют винду

[@ivernik]

Прямо скажем, в ролике показан очень относительный скрепинг. Повезло, что сайт сразу по одному запросу отдает готовый json, по которому нужно просто пробежаться циклом. Вот если бы вся информация подгружалась динамически... :) И неужели эта работа стоила 8000 руб.?

[@SuperHost97]

@@Survivalminercaft Так фриланс так и работает. Человек, которому нужна услуга и который сам так не умеет пришел к чуваку с нормальными отзывами и заказал, сказав, например, что готов заплатить в пределах десятки за работу. В чем проблема?

[@VladStone]

4-20 Пользуюсь Хромом, делаю также как и вы, но после того как страница прогрузилась и очищаю вкладку, далее начинаю гулять по группам, то всё равно какие-то запросы появляются. Почему так может быть?

[@dfdbn9368]

почему ты греческие буквы приравнивал к обычной латинице? по идее можно было просто указать способ кодировки, например uncoding-utf8

[@曾玮-d8z]

потому что этот умник взял чужой код и тупо перепечатал, при этом не печатая лишь строки комментариев. Откуда ему знать как что-то исправить, если исправления в чужом коде не были заложены

[@dfdbn9368]

@@曾玮-d8z та ну, может и его, бывает ошибся

[@曾玮-d8z]

@@dfdbn9368 не бывает! Каждый знает что код пишется снизу вверх. Сверху в низ его можно только втупую переписывать

[@alekssss8009]

@@曾玮-d8z код снизу вверх (для небольших проектов) пишут люди с ограниченным пространственным мышлением). А ещё, эта ограниченность коварно скрывает от носителя, что есть отдельная процедура создания видеоконтента, если претендуешь на качество))

[@曾玮-d8z]

@@alekssss8009 Aхаха. Удачи! Линейный друг.

[@oreal4045]

Привет. Спасибо за помощь. Но мог бы ты подробнее рассказать как использовать proxy. Куда какое IP?

[@anonimusfile1506]

Лайк за кота)

[@shahovandrei]

Подскажите, заказчику Вы отправляет только сам питон файл или папку с файлом и виртуальным окружением?

[@PythonToday]

Всё зависит от ТЗ. Когда только файл с результатами, кто-то просит .py файл, завернуть в бота и настроить, запилить веб интерфейс и т.д.

[@shahovandrei]

@@PythonToday Понял, спасибо!

[@ko22012]

Поэтому питон так любят, он простой и позволяет делать такие вещи.

[@Katar1x]

Подскажи биржу фриланса, где брал заказ? Ну или в принципе куда залетать лучше всего на he сегменте (для начала)

[@irismetkhaimov6125]

как так можно писать с первого раза и всё работает?))))) а как же часы мучений в поисках некорректно поставленной точки с запятой или перепутанной переменной)))))) Контент топ, СПАСИБО!!!

[@PythonToday]

Большое спасибо за фидбэк! Можно было растянуть на 1-2 часа как многие видео. Но всегда это раздражало, идея в максимально полезных и коротких видео)

[@ares946]

Ультра топ!

[@roberttitov]

Видос - кайф...

[@killerfreefire3727]

Можешь более информативно рассказать на каком фрилансе бывают такие заказы или кинуть ссылку на видео где ты упопоминаешь его плиз )

[@wydiwys]

Да ни на каком, это просто "желтый заголовок", я уж действительно ожидал увидеть задачу с selenium, эмуляцией браузера, выполнением js скриптов и прочего, но - как обычно все закончилось на подгрузке json и его парсинге.. Эх...

[@rikygoxd5472]

@@wydiwys ага, я хз почему ютуб мастерам так нравится из раза в раз учить хомяков парсить json))

[@killerfreefire3727]

@@Survivalminercaft спасибо за инфу

[@ShooterStar]

@@wydiwys селениум легче чем распаршивание Json

[@DedArchi]

Привет. Менторством случайно не занимаешься?

[@PythonToday]

Приветствую, балуюсь. Контакт в описании канала.

[@БорисАзазовский]

Где вы находите такие простые задания за такие большие деньги? Я за пару часов могу сотню подобных парсеров написать

[@multi_proger]

Здравствуйте! А можете попробовать olx спарсить? Там защита мощная от парсинга стоит. Ни selenium, ни bs не получается

[@okey6594]

Не понял зачем использовал прокси, объясните, пожалуйста!

[@АлексейДроздов-л8р]

Автор в начале ролика сказал, что были проблемы с прогрузкой сайта(бывает сайт сам тебя блокирует по тем или иным причинам), поэтому и использовал прокси, которые обозначают тебя для сайта "другим"/новым пользователем, будто ты заходишь из другой страны.

[@okey6594]

@@АлексейДроздов-л8р спс

[@MrCheaterzzzz]

А где берете заказы на парсинг?

[@jshuckbot]

добрый день, объясни пожалуйста куда нужно подписаться, для закрытого контента? и как там его много?

[@AndRe-nz7mc]

Для греческих символов файл нужно сохранять в кодировке UTF. Явно указать при записи и чтении файла.

[@david_it]

Привет! А продолжение по голосовому ассистенту будет или только на патреоне смотреть?

[@andreevnikito]

Вот у меня вопрос , у меня json при клики выдает ответ ошибку что такого не существует, а в панели разработчика я все данные вижу , как тогда быть

[@DagestanShop]

на какой бирже вы работаете ?

[@composter7247]

Хорошая робота, но можно как-то парс сайта с редиректом?

[@PythonToday]

Благодарю за фидбэк, что такое "Сайт с редиректом". Если происходит редирект куда либо, доставай ссылки и все.

[@denisfomin1502]

Отличное видио! А что это за тема в vscode?

[@PythonToday]

Спасибо за фидбэк. Тема night owl

[@denisfomin1502]

@@PythonToday, спасибо!

[@graf8047]

На какой бирже ФЛ платят 8к за такой парсер?

[@АлександрОреховский-щ1п]

ни на какой. Если и платят за такой, то рублей 500

[@graf8047]

@@АлександрОреховский-щ1п 2-3к за такой платят, я на фл работаю как раз по парсерам. Но не 8к явно

[@АлександрОреховский-щ1п]

@@graf8047 изи бабки тогда

[@АлександрОреховский-щ1п]

@@graf8047 а за парсер какого-нибудь exist ру, к примеру, где миллион прокси понадобится на большое кол-во запросов и динамическая подгрузка идет, сколько?

[@Mr25Alexandr]

@@graf8047 на какой оболочке актуально сейчас писать? Почему селениум не хвалят?