Секреты парсинга на Python | Как зарабатывать больше на фрилансе | Парсинг сайтов

[@deus7204]

Красавчик, человеческое спасибо, с уверенностью скажу - ты старался и стараешься не зря, ты пробудил огромный интерес у многих людей, интерес к программированию! Здоровья твоей семье, живи вечно, всего самого хорошего тебе и твоей семье!

[@PythonToday]

Огромное спасибо за теплые слова дружище! Взаимно! Здоровья и успехов тебе и семье 💪

[@the_huge_knight]

Dominic Toretto: "Ты сказал семья?"

[@ВладиславАлабушев-л4л]

​@@the_huge_knightbandaleros

[@Данил-о3з3д]

​@@the_huge_knight ты чепес

[@LoLKeK09]

@@the_huge_knight 😂😂😂

[@rrahll]

Лучший, спасибо! Скоро будет 200к. Очень давно тебя смотрю) всегда лучшие объяснения и качество)

[@PythonToday]

Только учусь) Большое спасибо за поддержку!

[@Zer-st6qv]

Огроная благодарность за то, что тратишь свое время и делишься полезной и интересной практикой! 👍

[@PythonToday]

Спасибо за поддержку!

[@mr.hellcat2448]

Спасибо автору !!!

[@TrueLimonov]

Я почти неделю не мог вытащить данные с сайта , не проходил защиту. После этого видео всё получилось , думаю комментарии излишни. Большое спасибо

[@maria_zhuzha]

Спасибо, вы сэкономили мне кучу времени! Посмотрев видео я поняла, что такое программирование - уж точно не моё, хотя не так давно всё же (по подсказкам с ютуба) написала работающего бота для биржи, но это скорее было мучением, чем удовольствием. Пойду дальше ковырять свои микропроцессоры и писать код под "железо". Питон - интересно, но когда смотришь со стороны))

[@jerrysimon7687]

Здравствуйте! Подскажите, пожалуйста, как Вы создали бота для биржи? У меня проблема с парсингом цены на золото в унциях (XAU/USD) в реальном времени с биржи. Я создаю телеграм-бота, у которого можно постоянно узнавать с помощью одной кнопки актуальную цену на золото в унциях с конкретной биржи с помощью парсинга, но никак не могу реализовать этот нюанс. Есть предложения?

[@maria_zhuzha]

@@jerrysimon7687 Здравствуйте! У меня получалось подключиться к двум биржам: OKX и Kucoin. Там это открытые публичные данные и прямо есть пример запроса по паре монет и документации по АПИ. В вот на московскую биржу меня не пускает, с другими тоже пока не разбиралась.

[@smoozz1e19]

@@jerrysimon7687 могу помочь (не за бесплатно)

[@David_USA]

Большое Вам Спасибо! Очень хочется больше видео по Python!

[@dmitrikamenev7677]

Спасибо огромное, благодаря твоему видео удалось прочитать лимиты для Яндекс API JavaScript API и HTTP Геокодер для своего скрипта. Еще раз огромный респект!

[@PythonToday]

Благодарю за фидбэк! Рад что полезно

[@Liberhaim]

При открытии файла *html у меня возникали проблемы с кодировкой. Проблема была решена указав принудительно его кодировку. with open("rez1.html", "w", encoding='utf-8') as file:

[@sapila]

спасибо, помог!

[@prok0l346]

Спасибо, огромное. Сильно помогли. На работе таск был в бэклоге ваш видос помог исправить ситуацию.

[@PythonToday]

Рад что полезно! Спасибо за фидбэк!

[@doublebubble9823]

Давай ещё по парсингу, материал огонь! 🔥

[@MrAnon1199]

Видео класс, давно пользуюсь этим методом, кстати подсмотрел я его у тебя в одном из прошлых видосов по парсингу. Рекомендую всем, таким способом даже многие сайты с серьёзно защитой от парсинга не догадывались что орудует скрипт) Но я предпочитаю сразу json данные с Бэка так скачивать, если они есть конечно.

[@PythonToday]

Всё верно) Молодцом! Большое спасибо за фидбэк и поддержку! Рад видео помогают 👍

[@MrAnon1199]

@@PythonToday спасибо большое за приятные слова и за твою работу!)

[@ВикторИгнатов-м9е]

@@PythonToday вот про скачивать json с бэка тоже был бы годный контент

[@ВикторИгнатов-м9е]

сори, понял что вопрос глупый))) Ведь для этого нужно таким же методом искать *.json...

[@MrAnon1199]

@@ВикторИгнатов-м9е такой уже есть. Пересмотри ролики. Не могу сказать где именно.

[@сенясамовар]

PythonToday, спасибо за видосы, очень классные! Но есть пару просьб - увеличивай пж размер кода в редакторе, не очень читабельно на малых мониторах и комментируй урок пж не так быстро как печатаешь - с усвоением написанного и быстрой озвучкой мозг бывает не справляется, уменьшаю скорость видео)))

[@vigauss1889]

Спасибо что делишься знаниями!

[@PythonToday]

На здоровье друг) Главное чтоб было полезно!

[@unaibekovbakhyt6517]

Спасибо, очень нужные вопросы раскрываешь).

[@PythonToday]

Спасибо за фидбэк и поддержку!

[@jackmetropolitan7845]

Топовый контент, топовая подача! благодарность!

[@PythonToday]

Большое спасибо за поддержку!

[@quickliker]

Спасибо за видео! Хотелось бы узнать, как парсить характеристики товаров, когда у всех они разные, и в разном порядке? Есть ли видео на канале с объяснением этого?

[@Данил-и4н5м]

Если увидишь, расскажи , пожалуйста, как ты сделал такое отображение в девтулс? Что у тебя подписывается запрос картинкой как бы Get и тд

[@romanpopov6912]

firefox? В chrome по другому, ну и не первый get запрос.

[@Сергейкакака-щ4ш]

А что если сайт жмот. и пишет в файле html {"status":"wait"} и всё

[@ШурікМакедонський777]

Дружище, ты меня очень сильно выручил, благодарю за видео))

[@PythonToday]

Благодарю за фидбэк!

[@ШурікМакедонський777]

@@PythonToday у меня есть вопрос, как парсить с помощью rest api?

[@TheRindzinnew]

Здравствуйте. Благодарю. Все супер!

[@PythonToday]

Приветствую, спасибо за фидбэк!

[@Konkomadero]

либо это уже не работает, потому что мне после сохранения response в html выдаёт просто загрузку, то есть когда я открываю его, то там просто страница loading и символы вместо анимации прокрутки, либо просто я что-то не так делаю

[@aleksandrkovtun6206]

Здорово! Благодарю за прекрасный практический материал!

[@PythonToday]

Благодарю за фидбэк и поддержку!

[@WardeG]

видео интересное, но вот как парсить сетевые пакеты в селениуме это очень будет интересно посмотреть т.к таких видео попросту нет(

[@РомаПлетнев-о1р]

А есть такая возможность у телеграмм ботов. Их можно как нибудь спарсить или вытянуть данные?

[@СергейКрылов-ь6у]

Смотрю все видео, лучший канал. Было бы круто если бы выложил что-то с fingerprint защитой. Или где нужно через моб апи ломиться. Сбермегамаркет показался очень сложным.

[@asmr_codster]

Спасибо за видео! Видно, что видео проработано!

[@andreevnikito]

У меня тот же вопрос если json не открывается сам по себе , выдает что данных нету , а вот сами данные есть

[@mihail_krash]

А яндекс как запарсить? он при определенном количестве запросов выставляет капчу...

[@АлександрПылаев-в1о]

яндекс я не парсил. Но парсил гугл выдачу множеством реквестов. Там я использовал прокси сервер с ротацией. Может и с яндексом так же прокатит.

[@1998MrEldar]

Отличный урок! Могли бы сделать видео о том, как обходить 403 Cloudflare? К сожалению, этот метод не помог. Пытаюсь написать небольшой парсер для озона, маркетплейса.

[@МаксМаисеев-ч3з]

Тоже пытаюсь парсер для озона написать и тоже не выходит, если решил проблему отпишись пожалуйста

[@ЕгорКонстантинов-н5к]

​@@МаксМаисеев-ч3з После загрузки страницы в одном из div есть атрибут data-state, в котором массив items и там есть название, цена, цена скидкой и т.д., все что вам потребуется. Я так думаю, что понадобится библиотека - эмулятор браузера, после чего вы сможете получить контент страницы и далее по dom элементам вытащить нужный атрибут в json и распарсить

[@ВикторСавицкий-з1к]

Огромное, тебе спасибо. Говорю уже не первый раз

[@PythonToday]

Большое спасибо за поддержку!

[@dmitriysavinov9906]

Довольно интересная информация. Спасибо за ролик!

[@PythonToday]

Спасибо за фидбэк!

[@stalkerclearsky787]

Подскажите, пожалуйста, в каком запросе можно цены на товар выловить у dns? А так, видео - супер! Всё работает, спасибо)

[@ЕгорКонстантинов-н5к]

В браузере можно посмотреть, f12 и во вкладке network

[@ii3246]

я правда копировал готовое чуть не там, но тоже так сделал на пером парсере своем.😁а реативные сайты проверяли? где чисто ajax.

[@КонстантинБублей]

Спасибо большое за видео! Очень полезное, интересное и что самое главное понятное для новичков

[@PythonToday]

Большое спасибо за фидбэк!

[@MrDehim]

Огромное спасибо, как всегда на высоте

[@PythonToday]

Большое спасибо за поддержку!

[@snipemods6183]

Просто топ как всегда огромное спасибо просто с удовольствием и жду твое видио

[@PythonToday]

Большое спасибо за поддержку!

[@mistakeinurement7155]

Отлично и крайне полезно, парсинг на питоне - это гибкость и мощь👍

[@PythonToday]

Благодарю за фидбэк!

[@gandrew8102]

подскажите, начал делать парсер АлиЭкспресс, и спустя время столкнулся с ошибкой 429( слишком много запросов) как можно обходить эту проблему?

[@victor4006]

Если куки убрать - то перестаёт работать, но как тогда работать с парсером, не используя куки? Ибо тогда приходится каждый раз обновлять их содержимое вручную

[@Vladimir_F609]

Для этого существует метод requests.Session() в библиотеке requests

[@Vladimir_F609]

Далее делаешь запросы через переменную этой сессии, например: session = requests.Session() session.get(URL)

[@Vladimir_F609]

Почитай документацию библиотеки Requests, есть хорошая на русском языке

[@victor4006]

@@Vladimir_F609 спасибо

[@nohtyp_gniyduts838]

хороший ролик, спасибо, как бы еще решить вопрос с куками после авторизации, если примерно через 30-40 минут сайт закрывает авторизацию и снова просит логинов паролей

[@ЕгорКонстантинов-н5к]

Написать запрос авторизации, далее получить токен и подставлять в заголовки запроса. Т. е. настроить cron (не знаю как питоне, я js), чтобы он логинился каждые 30 минут и сохранял токен в переменную, которую вы будете передавать с запросом

[@СергейФурса-л8щ]

Есть вопрос, я хочу парсить сайт, параметры поиска товара будут всегда разны (в зависимости от того что выберит пользователь в телеграмм боте), соответственно и ссылки, и страницы будут постоянно меняться. Есть ли смысл, повторить всё как на видео, но только с главной страницы? Будут ли куки, прокси от главной страницы полезны для подстраниц сайта? Заранее спасибо

[@NoName-sd8xg]

Большое спасибо за ценную информацию, отдельный респект за краткость и отсутствие воды

[@PythonToday]

Большое спасибо за фидбэ и поддержку!

[@haris4527]

Как получить и выполнить первый заказ? Где бы его найти вообще Вроде как у самого получается парсить, парсил за логином, парсил Вайлдберриз, ну заказы хз где взять

[@schmoopiegrob8758]

Привет, сталкивался с защитой от ботов "F5"? Подскажи как обходить, если да🙃 Задолбало видеть запись The requested URL was rejected. Please consult with your administrador.

[@PythonToday]

Привет, не сталкивался

[@diatm1506]

Если рассмотреть одну страницу то легче на js через консоль спарить одной строкой даже 600 записей с инфинити скролом (если ram позволит) и в json легко конвертировать. Тут даже цены не будет api у них странное в product_buy названия, цена и тд, картинки отдельно не понятно как формируются

[@МадинаГасановна]

Можно ли запустить live сервер в pycharm ?

[@Gleb-lq7ld]

вау, действительно качественный контент

[@PythonToday]

Благодарю!

[@НиколайБардаков-б5щ]

способ конечно сработал. капчу обойти удалось. Но что делать, если в полученном response так и не удалось найти никакой информации, которую можно было бы спарсить?

[@Ричард_великий]

класс, но больше бы инфы для чего можно было бы это использовать как для начинающих прогеров не ясна цель использования данного ресурса и парсинга

[@stylelifedeal.wyndace]

Слушай, а попробуй записать сравнение httpx и requests, а так же selectolax + bs4, на скорость, удобство настройки параметров всяких и т.д. Я думаю, что тема очень интересная, т.к. чем проще и быстрее сможешь собирать данные, тем легче тебе будет :Р

[@Ackerman___Levi]

что это ?

[@codimcocos]

Приветствую, хотел бы узнать, можно ли хранить данные для сайта(в моём случае задания для учеников) в json файле, и отдавать их оттуда при запросе на сайте? Безопасно ли это, и стоит ли так делать?

[@PythonToday]

Приветствую. Думаю лучше хранить информацию в БД

[@catstyle1101]

Круто, спасибо. еще бы видос как обойти cloudflare2 без selenium...

[@КирюшаИзКриуши]

С Авито такое не работает: пустую страницу мне дали обозначив, что у меня проблемы с интернетом

[@movie-serials]

Подскажите пожалуйста. Парсил сайт обьявлений при клике пару раз на "посмотреть телефон" в модальном окне показывался телефон. Если больше раз кликать на просмотр тел. Появляется окно регестрации. Как можно обойти это???

[@LeetsGoAI]

очищать куки

[@RichZLeX]

Привет, можешь написать, на каких фриланс биржах лучше и удобнее искать заказы?

[@Dvoini]

открываешь гугл, пишешь в нем ФРИЛАНС и на первых 5 можешь искать, все нормальные, чем дороже оплата за месяц тем выгоднее проекты

[@Maximilianisimus]

было видео как спарсить сайт у которого исходный код это js, а весь Html css генерируемый? если нет, можешь показать как-бы ты решил такую проблему?

[@rg99999]

Selenium web driver

[@genoc1de]

Добрый вечер. Не могли бы вы мне подсказать, вот если я хочу развиваться в сфере "Информационная безопасность" ( пентестинг ), какой язык программирования стоит начать учить, самым первым ?????

[@PythonToday]

Здравствуйте, если мы говорим про веб пентест, думаю для начала нужно изучать сети.

[@genoc1de]

@@PythonToday А если мы говорим про пентест в целом, я понимаю что там нужно учить сетевые протоколы, криптографию и т.д. Если брать конкретно язык, в каком языке присутствует, больше инструментария для данной деятельности????

[@reddmon7213]

а как дальше цены получить?

[@alqueswan7164]

Почему нет кнопки х100 лайкосиков! Это оч интересная инфа. К сожалению ее актуальность для меня сейчас малозначительно. Вот если бы год назад я это знал))) Как говориться - я был бы другим человеком))

[@PythonToday]

Большое спасибо за фидбэк! Надеюсь другие видео будут полезны)

[@serheyjankowsky6899]

Если можешь , сделай видос , со скачиванием видео с сайта , для усложнения задачи , пусть будет одно дефолтное видео , а другое с otp ключом которое рендерится в , и привязано к домену

[@DefAir_]

Кто может объяснить в чем суть этого метода, когда его применять? Вообще ничего не понял(

[@АндрейЕвгеньевич-ы1й]

Скажите пожалуйста что за браузер используется в начале?

[@PythonToday]

firefox

[@АндрейЕвгеньевич-ы1й]

@@PythonToday спасибо, давно собирался начать изучать питон ) смотрел и смотрю все видео в захлеб) но тут не выдержал) начал! Очень крутой контент! Крепко жму руку. Вы делаете большой вклад в эту культуру

[@ВладимирИвлиев-у3ъ]

Коллеги, подскажите, пожалуйста, как спарить информацию с ЯндексМаркета? Он меня банит сразу, ничего не помогает. Может кто подсказать рабочий метод с selenium?

[@tev1kx]

Какой IDE ты используешь?

[@PythonToday]

vscode

[@akbaralixoliqov5221]

не могли бы вы объяснить бизнес-логику в ваших следующих видео?

[@pungushe]

Спасибо. Очень полезно

[@samloik]

Как автоматизировать получение необходимых для получения контента cookies идентификаторов типа qrator_ssid? Не возможно запустить парсер, которому нужно постоянно передавать вручную извлеченные из браузера ключи. Selenium эту страницу не прогружает, уходя в бан по ip на некоторое время. Есть какие то методы обхода?

[@samloik]

qrator_ssid активен не долго, получается в результате работы js кода на странице из qrator_ssjr отправленного сервером.

[@foiztm5860]

Я спарсил сайт с товарами. На странице должно быть 20 товаров, но в файле только первые 10. И так на каждой странице

[@ЕгорКонстантинов-н5к]

Поищите параметр limit, попробуйте увеличить (подобрать) с 10 до максимально возможного количества

[@Puchmeow]

а можно прямо для ограниченных вывести на экран нажимаемые кнопки

[@bairshirapov3449]

Сайт ДНС совершенно не сопротивляется парсингу. Его можно спокойно парсить даже в Экселе. Более того с их сайта прайс можно тупо качать в формате Эксель. Лучше покажите пожалуйста как парсить Авито - вот он хорошо сопротивляется. Все туторы годовой, и более, давности не работают. Заранее спасибо! UPD: Пардон, посмотрел видео дальше, и кажется понял основную мысль. Тем не менее было бы ооочень здорово за отдельное видео по парсингу Авито. Спасибо за видео-урок!

[@kript0nn4104]

привет, наверное не по теме видео но хотелось бы спросить и получить ответ на вопрос я написал тг бот но при выключении пк он перестает работать, я слышал что бота можно закинуть на сервер что бы он работал, в обще подскажите пожалуйста на какой сервер его лучше закинуть?

[@КайлБатлер-ч1б]

Я тебе больше скажу, не только при выключении пк твой под умрет, но и при остановки скрипта. Есть видосы на тему деплоя бота на сервер, открывай и смотри

[@КайлБатлер-ч1б]

бот*

[@zonikxizt4095]

так же сохранил сайт , но вместо кириллицы символы какие то , как это исправить?

[@PythonToday]

Если работаете в windows используйте параметр encoding='utf-8' при работе с файлами

[@zonikxizt4095]

@@PythonToday пробовал , все так же

[@saikonohack]

Хотелось бы узнать как парсить те данные которые подгружаются скриптами, и желательно не используя селениум

[@PythonToday]

Но ведь скрипты не подгружаются просто так, это тот же запрос

[@saikonohack]

@@PythonToday Проблема в том, что я пытался найти запрос который отправляют js скрипты с сайта, и понял что они никуда его не отправляют. Они просто как то подставляют данные, но как - вообще не понятно. я могу отправить в тг например показать что там происходит

[@savannah633]

​@@saikonohackпривет, нашёл как они отправляют запрос за данными? Тоже вижу, что данные - есть, запроса за ними - нет...

[@saikonohack]

@@savannah633 загружают скриптом

[@БурулсунАбдраимова]

Здравствуйте! как найти id код сайта помогите пожалуйста!

[@russiantime778]

А selenium эти проблемы разве не решает?

[@avdosy9365]

Здравствуйте. Делаю всё по вашему методу и возникает проблема. На записанной html странице вместо русских символом ����������. Кодировка utf-8, как это можно победить? И ещё вопрос, когда просто обращаюсь гет запросом к сайту requests.get(url), при попытке сохранить данные в html файл, выдаёт ошибку: Traceback (most recent call last): File "G:\Python Project\parser dns\123123.py", line 9, in file.write(x) File "C:\Users\Максим\AppData\Local\Programs\Python\Python311\Lib\encodings\cp1251.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode characters in position 20692-20695: character maps to Пробовал добавить в строку with open("result.html", "w", encoding='utf-8') as file: чтобы кодировалось в utf-8, но получаю html файл, который имеет 40 строк кода и попросту не работает. Если не сложно, помогите разобраться. Заранее благодарен

[@alexserpuhov9901]

я правильно понимаю что на patreon можно только через ВПН попадать?

[@PythonToday]

Если вы из России то да, для подписчиков из России доступна оплата по картам на сайте

[@alexserpuhov9901]

@@PythonToday подскажите плиз сервис для potriona

[@СерТарнум]

Кто знает как можно спарить элементы из Frame с помощью requests в интернете ничего не могу найти

[@game-maker258]

А какой у вас линукс ?

[@PythonToday]

Kali

[@zipsit23156]

я уже всё перепробовал, как спарсить сообщения в чате на сайте?

[@ЕгорКонстантинов-н5к]

Что за сайт, могу глянуть

[@zipsit23156]

@@ЕгорКонстантинов-н5к , Bongacams

[@diatm1506]

Чем этот метод лучше чем Selenium например? Если был бы бесплатный proxy + selenium + bs4 то можно эмулировать полностью клики переходы прокрутку время рандомное посещения и тд для сбора инфы и дальнейшей обработки)

[@rebuilderowner78673]

Селениум это изначально тормозной способ с использованием огромного количества ресурсов. Конечно все зависит от проекта. Что то маленькое можно и им собрать, если бот должен работать постоянно и на сервере, то селениум сильно дорогой и медленный.

[@Влад-щ8е7щ]

Лучшего гайда не существует!

[@jolen-th8df]

лучший канал про python

[@PythonToday]

Большое спасибо за поддержку!

[@jija1413]

Охренеть. Просто охренеть. Спасибо!

[@PythonToday]

Спасибо за фидбэк!

[@Det3ct]

Как спарсить мегамаркет? Получаю только лоадер вместо страницы

[@ЕгорКонстантинов-н5к]

Скорее всего контент скриптом формируется и будет нужна библиотека casper на js и далее по dom элементам пройтись

[@try4355]

Спасибо тебе за все видосики

[@PythonToday]

Благодарю за фидбэк!

[@sergeyf4256]

Хотел бы посмотреть как Авито таким образом спарсишь)

[@2173045]

парни подскажите как так быстро разворачивает локальный сервер. Нажимает кнопку' go live' это плагин или что ?

[@savannah633]

Расширение live server для vscode

[@2173045]

@@savannah633 да спасибо я потом сразу нашел )

[@СабБас-щ3я]

А как открыть инструмент разработчика?

[@GidesPC]

ctrl+shift+i, либо в контекстном меню

[@lord_of_the_hell4233]

Парни, кто может помочь? В запросах network у меня есть только тип document, html нет и я не знаю как толком спарсить днс)

[@montecristo31]

А насколько много таких заказов на парсинг? Просто мне всегда казалось что это - что то более экзотическое, и что так особо не заработаешь.

[@movie-serials]

Часто бывает, круто когда с европы заказчики

[@ivantarabukin1676]

Спасибо! Лучший!

[@PythonToday]

Спасибо за фидбэк!

[@ВячеславТараканов-б9и]

Дельное видео. Только название нужно не секреты, а "самый первый шаг в парсинге". Ведь секреты то где здесь?

[@music-ai-creator]

Ищу способы обхода капчи клауда для Парсинга. Помогитеееее

[@sergeybarmaley125]

Спасибо тебе крутой парень !!!

[@Frensski]

Бро пожалуйста сними плейлист про библиотеку requests

[@virgilrs9927]

Обычно во фрилансе каждый салага умеет писать парсеры, а вот требования заказчика могут быть самыми неадекватными и сложными

[@Proem24]

Ты лучший 👍👍👍👍👍

[@KereellOlorin]

Да, простой и удобный инструмент для работы.

[@Альтернативнаямедицина-в9й]

Кто знает, как собрать с Яндекс маркета?