Обучение парсингу на Python | Парсинг CloudFlare | Фриланс, Selenium, CloudFlare

[@QueryTuner]

Long, long time ago I learned russian language in school. Now I use your channel to try to keep track with russian language in IT area. I still understand a lot .. some remaining stuff gets more clear when seeing the code. Thanks a lot and keep going. Greetings from Germany.

[@PythonToday]

Thanks a lot! Really appreciate it!

[@ahmed-Alziyadi]

"Я напишу этот комментарий через переводчик" Спасибо большое, я много понимаю из твоих роликов, конечно есть язычный барьер но Вы объясните лучше всех 🤝🤝

[@PythonToday]

Большое спасибо за поддержку!

[@justforfun-yc4xz]

@@PythonToday Запиши пожалуйста урок как работать с определенным Гугл Профилем 🙏🙏 Очень полезно будет для новичков. Пару таких видео нашел, через undetected_chromedriver люди открывают, но у меня не работает, что только не пробовал 🥵 У меня открывается профиль, но почему то функция get() не открывает страницу.

[@12fricker]

@@PythonToday а как обойти cloudflare если скрипт запускается на heroku?

[@tigerwatt6302]

Здравствуйте. Обычно комментарии не пишу, но вас я решил поддержать, потому что вы бесплатно делитесь такими крутыми знаниями. Спасибо за ваши видео, благодаря вам я уже пишу работающие парсеры, пока что для проектов моих друзей и знакомых, но дальше больше. Большинство скилов я приобрел из ваших видео. 🔥

[@PythonToday]

Большое спасибо за поддержку и фидбэк!

[@vasilyi6582]

Класс) кстати, хотелось бы побольше видео по парсингу с использованием селениум, особенно с запусками цепочек действий

[@PythonToday]

Большое спасибо за фидбэк! Если будет заказ, обязательно выложу видео. Ушел сейчас с головой в другое направление)

[@shortvideos9955]

​@@PythonTodayВ какое?)

[@КравченкоЕвгений-к3ы]

Спасибо большое дорогой друг, я долго ждал видео на базе обновленного Selentium. У тебя был курс но уже устарел! Очень помогаешь, самые информативные уроки на русскоязычном пространстве. Благодарю!

[@PythonToday]

Большое спасибо за фидбэк и поддержку! Да не так-то он и устарел, есть какие-то методы, но Python, как и Selenium прямо говорит что нужно заменить, всё максимально понятно) Достаточно загуглить

[@Zer-st6qv]

Большое спасибо за практический и полезный материал, и за посты в телеге) Еще бы обзоров побольше на утилиты, понимаю что на ютубе вряд ли, но в приватке по возможности. И больше пентеста друг, большое тебе спасибо за то, что освещаешь эту тему с практической стороны ❤ С нас поддержка)

[@PythonToday]

Да, учусь полным ходом, со временем совсем тяжело. Конечно будем делать больше видео по пентесту) Спасибо за поддержку дружище!

[@dimamihalev2986]

@@PythonToday для обхода Клауда есть либа клаудскрапе, пользуйся и не гемори с селеном

[@ВасилийДельцов]

@@PythonToday Я бы добавил, что один и тот же код на разных компах работает по разному. На одном работает, на другом нет. Отличие только в версии Chrome.

[@partizanbanec8305]

Не зря выкладываешь ролики :)

[@deus7204]

Красачик, и Сане спасибо) Благодарю за полезный контент!

[@PythonToday]

Надеюсь Саня прочитает) Большое спасибо за фидбэк и поддержку друг!

[@asmr_codster]

Спасибо за то видео! Искал ответ именно на этот вопрос, правда никаких cdc в консоле я не нашёл и не получилось зайти на озон. Хотелось бы ещё по playwright

[@9-337]

Сработало респект бро через сколько времени а до сих пор работает

[@ВолодимирПисьменний-ы2э]

Все сделал как в коде но не пускает , что то изменял в коде ?

[@greweno_o6882]

В моем случае сработало, спасибо тебе и Александру очень выручили!

[@set1qs]

Вау! Просто вау ) завтра буду тестить!

[@set1qs]

Вот я и потестил твой код ) супер! Все работает! Канал просто пушка!

[@rinatyagafarov5328]

Прям супер вовремя. Тоже встрял с капчей из-за этого. Благодарности нет предела! 🔥🔥🔥

[@cheba8067]

Огромное спасибо, с вашими уроками можно пентагон взломать

[@ЕрмолинНикита-у7м]

Hallmore, кощак и ПАРСИНГ!!!)))) Обожаю!))) Поддерживаю ребят в комментах. Можно побольше про selenium?

[@bugimen30]

Благодарю за видео. Для себя код пришлось поменять, может кому-нибудь будет полезно. from selenium import webdriver import time import undetected_chromedriver options = webdriver.ChromeOptions() options.add_argument('--no-sandbox') options.add_argument('start-maximized') options.add_argument('enable-automation') options.add_argument('--disable-infobars') options.add_argument('--disable-dev-shm-usage') options.add_argument('--disable-browser-side-navigation') options.add_argument("--remote-debugging-port=9222") options.add_argument('--disable-gpu') options.add_argument("--log-level=3") try: driver = undetected_chromedriver.Chrome(options=options) driver.maximize_window() driver.get('anycoindirect.eu') time.sleep(40) except Exception as ex: print(ex) finally: driver.close() driver.quit()

[@211mm2]

Просто лучший, благодарю.

[@kevinflynn4867]

Спасибо ! Очень полезное и интересное видео !

[@_egr1k]

ЭТО ПРОСТО ЛУЧШЕЕ ВИДЕО Искал решение этой проблемы на протяжение месяца, а тут это видео. Огромное спасибо автору и Санечке, который рассказал об этой теме. Огромный +реп

[@PythonToday]

Большое спасибо за поддержку!

[@rusik-pusik]

Санечка вообще красавчик,походу раньше в Cloudflare работал ))))

[@catdonut94]

Спасибо большое Вам за видео, а Александру за информацию.

[@PythonToday]

Благодарю за фидбэк!

[@ЕвгенийВоронов-в8в]

спасибо. первый раз решил попробовать автоматизировать на озоне и сразу проверка такая. помогли твои действия.

[@PythonToday]

Рад что полезно, спасибо за фидбэк!

[@bulik1384]

каааааааееееееееееееееееф!!!! огромное спасибо, как же это мне помогло)

[@PythonToday]

Рад что полезно! Спасибо за фидбэк!

[@guitar_hedonist]

Действительно работает ) Спасибо!

[@PythonToday]

Рад что полезно, спасибо за фидбэк!

[@accidiet]

Благодарю Вас - это для меня актуально

[@antonyincognito1256]

Удивительно полезный канал)) мне очень нравится!!! Продолжайте в том же духе)))

[@PythonToday]

Большое спасибо за поддержку!

[@samloik]

Супер!!! Наконец то заработал!!!

[@jiper100]

Канал бомба! 👍

[@PythonToday]

Большое спасибо за поддержку!

[@Никита-м8р2г]

работаю на компанию у которой стоит подобная защита, буду пробовать. Не знал об этих функциях

[@vigauss1889]

Молодец! И Сане большое спасибо 😀

[@maksbms2655]

Ещё было бы интересно посмотреть настройку selenium под максимально быструюработу, тоесть облегчить его полностью

[@axelrod4840]

ну сам видос оч полезен, спасибо)

[@ЮрийХохряков-о5я]

Очень круто, спасибо!

[@PythonToday]

Спасибо за фидбэк!

[@Дмитрий-я6щ9ц]

Супер! Спасибо огромное за твой труд! Александру тоже спасибо)

[@PythonToday]

Большое спаисбо за фидбэк!

[@ПомлПорито]

Very Nice!! Really help me!

[@gaben_aTan]

Спасибо за вашу работу. Хотелось бы увидеть ролик с использованием библиотеки dash.

[@igordobrynin3684]

как раз то что нужно мне сейчас

[@PythonToday]

Надеюсь было полезно!

[@ДанилЕфимов-г9п]

Отличный урок. Впрочем, как всегда. Спасибо за труд!

[@PythonToday]

Большое спасибо за поддержку!

[@AndrzejShchetinin]

Стянул это видео, как и учил мастер)

[@vengr3020]

как обычно круто!!!!!!!!!!!!!!!!!!

[@PythonToday]

Большое спасибо за фидбэк!

[@zakirovio]

отлично! надо попробовать в --headless режиме) буквально пару дней назад мучался, когда в оконном режиме сайт впускает, в безголовом же выскакивает заглушка. Оказывается, в режиме --headless нужно было изменять user-agent. В безголовом режиме он выглядит как chromeHeadless Browser 109.4.36.... Нужно попробовать, как у вас в видео,

[@vornedmort7318]

Здравствуйте, сейчас столкнулся с этой проблемой, в headless режиме не возвращается разметка, которая видна при запуске и следственно невозможно произвести клик по чек-боксу для прохождения проверки. Вы эту проблему смогли решить? В оконном режиме кстати проверка проходит на ура.

[@zakirovio]

@@vornedmort7318 не знаю нужно разбираться

[@ДенисС-б9е]

Отличный контент, для полной феерии ещё бы подмену webRtc, не удаление, а подмену

[@АлексейПетров-э6ч]

Сейчас таким образом обойти защиту CloudFlare не получается. может кто подскажет какие есть актуальные варианты?

[@АлексейКомаров-ф8к]

Ух ты, спасибо. Я то привык пользоваться undetected chromedriver

[@anatolyiredko9817]

Существует ли на данный момент рабочий метод обхода CloudFlare? Потому что этот метод перестал работать с начала августа 2023 года(

[@mikhan8458]

Есть, seleniumbase.Driver(uc=True)

[@ИгорьКатц]

Нашли?

[@-USER_NAME]

​​@@ИгорьКатцкак вариант использовать версию Chrome такую же как и в видео 109.0.5414 Ну или import undetected_chrondriver as uc options=uc.ChromeOptions() options.add_argument("--disable-blink-features=AutomationConrolled") s=Service("/usr/../../chromedriver") driver=uc.Chrome(service=s, options= options) driver.get(url)

[@ma1lor208]

​а вы нашли?

[@БелыйКит-ы1э]

​@@ma1lor208 а вы нашли?

[@Кху_Ям]

круть, спасибо, как раз нужен был такой способ

[@PythonToday]

Рад что полезно, спасибо за фидбэк!

[@АлександрПлатонов-м1э]

Больше спасибо!

[@music-ai-creator]

Уже не работает, есть новые способы клауд обойти?

[@RichZLeX]

Привет, хотелось бы ещё видео на эту тему, с нюансом, как обойти капчу при парсинге)

[@rkpstam]

Используй установку плагинов с антикапч , к сожалению придётся сделать либо повторно запускаемый экземпляр браузера, либо установку плагина при каждом запуске.

[@Proborder]

@@rkpstam *Зачем? Скачиваешь расширения, закидываешь, подключаешь... Капча сама обнаруживается и решается.*

[@rkpstam]

@@Proborder В любом случае расширение должно устанавливаться при каждом запуске(либо быть изначально установленным, при подключении к существующему браузеру)

[@maksbms2655]

@@Proborder Что за расширение, не подскажешь?

[@rusik-pusik]

можно и без расширений обойтись

[@Ybuotue]

Ну всё, Озон держись.

[@nashalnika]

Впечатляет

[@mrbuslov]

Вау, очень круто!!

[@alexqwe8567]

шикардос спасибо

[@sinsgames9758]

Хотелось бы увидеть подобное для лисы

[@burner_off]

Привет, у тебя в описании указан неверный репозиторий. Перекидывает на scrap-lifetime, а нужен selenium_cloudflare.

[@ИмяФамилия-ы4е2ф]

Прикольный метод. Такое в привате можно курсами толкать, тыща рублей за интенсив по обходу клоудфлера 😀

[@PythonToday]

Благодарю за фидбэк!)

[@rackman7413]

Буду пробовать, а то я неделю бьюсь над тем как запустить парсер мегамаркета на сервере

[@SkyGorVlad]

переписал код 1 в 1 но все равно капчу не пропустило, кто может помочь?

[@SvyatoslavR]

Ех, кто б подсказал как бороться с LavaMoat в MetaMask) а видос крутой

[@internetmifu]

можно чаще видео делать!!

[@amnyam_cut]

Было бы круто обзодить на реквестах, но лучше чем открывать браузер и експорировать кукисы в реквест сессию я не находил

[@_test_test]

огонь, спасибо за инфу

[@PythonToday]

Спасибо за фидбэк!

[@circuit55]

Есть ли другие методы CloudFlare?

[@somebytouchedmyspagget9183]

Прекрасное видео, очень помогло при парсинге ozon! p.s в описании видео стоит не та ссылка на код проекта.

[@PythonToday]

Большое спасибо за фидбэк! Рад что полезно!

[@ВасилийДельцов]

@@PythonToday в описании видео стоит не та ссылка на код проекта.

[@АндрейФоминых-т2й]

Мне сейчас не помогает, может еще какая хитрость, которая в видео не описана?

[@FlintRid]

Как всегда спасибо за топовый контент. Вот бы ещё знать как обойти затупы авито при использовании селениума или реквеста)

[@k3l3vr444]

Парсить хромдрайвером не тру. Показал бы как использовать барп, и сделать на чистом реквесте\айохттп

[@jackpeterson541]

как определить стоимость заказа (парсера)?

[@корокоро-ч8щ]

Спасибо за Ваш труд. Очень полезные штуки узнаем. У меня вопрос. Наверное у вас видел про псевдо элементы парсинг. Можете на которым видео... Если честно сказать вроде все Ваше видое просмотрел так и не могу найти.

[@dmitriynekrasov3098]

Можно без танцев с бубном со скачиванием и установкой путей до драйвера. Есть пакет undetected_chromedriver, все тоже самое, но проще

[@PythonToday]

Пробовал обойти cloudflare с помощью данного модуля?

[@dmitriynekrasov3098]

@@PythonToday да, все обходится, сайт загружается. Было это месяца 4 назад. Сомневаюсь, что сейчас что-то поменялось

[@PythonToday]

Возможно зависит от сайта, или версии cf, т.к обновляют. Насколько помню пробовал uc, но не смог пройти

[@PythonToday]

Осенью ещё, может что-то обновилось в лучшую сторону для UC

[@alexchto]

Uc легко обходит клауд

[@vinehard5008]

Канал огонь!!!!! Рекомендую!!! Подскажите адекватную фриланс биржу?!

[@vladislavsatilin1699]

Спасибо за отличный ролик! Друзья, посоветуйте биржу фриланса. Хотел бы сам потренироваться что-то парсить, но чтоб за это и копеечку получать

[@romannetos556]

Спасибо за ваши видео. Скажите вы выполняете заказы? Как можно с вами связаться?

[@pungushe]

Спасибо круто

[@chimchimsterschannel161]

Прикольно

[@iprahka]

Не совсем понял почему бы просто вместо selenium в чистом виде не использовать undetected chrome driver? У меня лично Клауд не палит его и вроде как попроще решение или я чего-то не понимаю?

[@sergeyiv6401]

Подскажит пожалуйста, как данный обход/подход совместить с парсингом большого количества ссылок, которые генерируются мною лично для определённого сайта? Т.е. то что вебдрайвером селениума мы обходим единичную проверку CloudFlare это замечательно, но как дальше не попадать на эту же проверку, когда ссылок в работе большое количечство? Я имею ввиду, что может можно как то по типу requests.session сохранить свой "статус пройденной проверки" и дальше работать в обычном режиме?

[@Typical_Type]

у селениума есть свои таимауты, как условные так и безусловные , можно без таима . интересно было бы посмотреть пример на фаерфоксе , а то селениум 4 версии с фаервокс как-то запутано иницируется

[@maxq3339]

Спасибо большое

[@PythonToday]

Благодарю за фидбэк!

[@OLEGAROS]

Крутой материал!

[@ДаниилГусевский]

Ты же вроде показывал библиотеку fake-selenium, которая обходила cloudflare, она перестала работать или не в ней суть?

[@stoparb357]

видимо в той библиотеке и используются эти опции

[@fanaticexplorer]

А как вы так кастомизировали консоль vscode-а?

[@gru8299]

Приветствую, подскажите, терминал zsh? Как называется тема, где взять?

[@devopsmethodology]

Привет. Спасибо за отличное объяснения. Но на windows почему то не получается обойти эту капчу (. Несколько раз пересматривал

[@laifodes2805]

пытаюсь зайти на озон с этим кодом и у меня становится не кликабельной кнопка войти / выдает ошибку, так что их сайт как-то иначе отлавливает что я роботизировано захожу(

[@samloik]

Как получить доступ к сайту через тор соединение? Не получается проити tls рукопожание... (((

[@DonNwN]

У меня в браузере при вводе windows.cdc... , не 3 элемента, как в видео, а 5. Новые 2 это window.cdc_adoQpoasnfa76pfcZLmcfl_Object и window.cdc_adoQpoasnfa76pfcZLmcfl_Proxy Их нужно удалять ?

[@RudchykVladyslav]

Привет, получилось заставить код работать? У меня просто продемонстрированный метод не работает(

[@DonNwN]

@@RudchykVladyslav В каком плане не работает, не получается обойти cloudfare ?

[@DonNwN]

@@RudchykVladyslav Посмотри уроки по Selenium (В частности про webdriver), я нашёл способ обойти защиту с помощью selenium-stealth

[@RudchykVladyslav]

@@DonNwN да, но я уже нашёл другой способ который его обходит

[@АндрейФоминых-т2й]

Парни, а с Ozon пробовали? Stealth тоже не помогает.

[@ItsGame228]

попробуйте undetected selenium, там уже все настроено)

[@olzhasabetaev5672]

в nodejs/golang есть библиотека cycleTLS, которая шаманит с шифрами, что бы установить нормальный TLS handshake, что позволяют пройти сквозь cloudflfare, возможно на python можно реализовать такое же решение

[@PythonToday]

К сожалению пока не в курсе

[@kirillnazarov1982]

Спасибо! А на Playwright как подобное сделать?)

[@settips]

Как сохранить страницу теперь? Можно ли python поставить на крон?

[@schmoopiegrob8758]

Привет! Спасибо за видео! Сталкивался ли с защитой 'F5'? Если да, подскажи как с ней бороться)) Устал видеть "The requested URL was rejected. Please consult with your administrador."😑

[@ШавоАрмянов]

что делать если в Fetch/XHR в Response нету ничего а просто цифра 1, я пытаюсь на другом сайте сделать это

[@onermaster]

Спасибо. А что лучше использовать, вариант из видео или undetected_chromedriver. Заранее спасибо.

[@zipsit23156]

последний не работает.

[@everything_is_simple8]

Рабочий нужен

[@Moms-kitchen400]

Это visual Studio?

[@Anonim-im6ln]

👍👍👍

[@archibald3544]

Жаль у меня не обходит все равно cloudflare на сайте chatgpt, его вообще можно как то обойти?

[@kkplay2980]

Как пройти проверку я не робот от яндекса?

[@НикитаМинин-ъ4б]

Скачал версию Chrome 114.0.5735.90 и к ней ChromeDriver и этот метод работает, там в параметрах window.cdc_ также как в видео, но начиная с версий 115 и более данный метод уже не актуален. Если у кого-то получилось, дайте обратную связь.

[@vladmagdenko178]

Всем привет. При попытке парсинга столкнулся с такой проблемой: "You are using an outdated browser version and can not use all features of this website. Please update your browser." Вот это все было в такой обвёртке "

[@paradiseledi]

Вот это топчик!

[@artyomguynullin7648]

а можно использовать undetected-chromedriver и webdriver-manager и не городить "огород", но как я понял автор не ищет лёгких путей