Обучение парсингу на Python | Парсинг без обнаружения | Парсинг CloudFlare | Selenium, CloudFlare

[@thomsher-c8j]

СПАСИБО, БОЛЬШОЕ! сегодня столкнулся с этой проблемой, и сразу увидел твое видео, повезло) думал до утра просижу в поисках решения

[@PythonToday]

Спасибо за фидбэк, рад что полезно)

[@lexuskeksus]

Еще не успел посмотреть видео, а лайк проставил) Спасибо!

[@хххххх-д8о]

СПАСИБО за ТРУД!!! ВСЕГДА ЖДЕМ!

[@PythonToday]

Большое спасибо за поддержку!

[@casper0man]

Спасибо за твои усилия, ведь донести довольно простым языком до, не всегда продвинутого зрителя довольно сложно. Смотрел разных ребят, но как то всё больше на тех жаргоне, у тебя просто и доступно. Скромное пожелание, если попадётся проект по силениуму с авторизацией в всплывающем окне браузера, а не сайта, обозри этот нюанс

[@PythonToday]

Благодарю за фидбэк. Посмотри ролик по аутентификации tiktok kzbin.info/www/bejne/mGWlp6OHpbB9h9E , там писал подобный код.

[@MrAdAmGaMeS]

куки попробуй передать

[@arkptz1607]

Если ты про отдельное окно браузера, driver.switch_to.window(driver.window_handles[-1]), если про то, которое окошком вылезает (как прокси обычно просит авторизацию в браузере) то driver.switch_to.alert.accept()\decline()

[@programm_ing9097]

3:31 я всегда использую input как паузу, с ним можешь выключить когда хочешь

[@SereginSF]

Приятно смотреть как работаешь и стоит осознание того, что бы дойти до полного понимания того, что ты делаешь придется много и долго пахать. ))

[@PythonToday]

Сам учусь) Практика наше всё 💪 Благодарю за фидбэк!

[@donaldboo3674]

Спасибо за урок! Не раз натыкался на подобную проблему, а всё было так просто

[@PythonToday]

Спасибо за фидбэк!

[@АлексейАнт-в6г]

Большое спасибо за интересные и полезные видео! Каждый новый ролик жду с нетерпением!!

[@PythonToday]

Большое спасибо за поддержку! Если из РФ то самое время устанавливать VPN)

[@tungsteniac2344]

Гениальные видео, одно за другим. Ультра-годнота.

[@usertwgetrukwwr9669]

если годнота то надо лайкосы ставить и комментов по три штуки писать что бы алгоритмами ютуба видосы лучше продвигались, тогда годноты будет еще больше

[@rustamakhmullaev5697]

С нетерпением ждём новые видосы. Спасибо за отличную работу👍👍👍

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@usertwgetrukwwr9669]

@@PythonToday Почему вы используете хром а не фирефокс, вы его выбрали потому что пользуетесь хромом или он лучше для селениума?

[@shustriy1980]

Единственный реально толковый канал из всех на кого подписан

[@PythonToday]

Большое спасибо за поддержку!)

[@PoulBull]

Есть другие еще каналы тоже толковые. Писать сюда не буду. Но PythonToday конечно талант!

[@libertycool8946]

Спасибо большое за полезное видео)) Сталкивался с такой проблемой, помогло то что открывал сразу 2 вкладки и как ни странно все работало)

[@PythonToday]

Благодарю за фидбэк!

[@royalea9354]

Привет. Я долго мучился с детектом селениума и остановился на модуле селениум стелс. Хорошая штука, всегда помагает😁

[@fvvdres.pro1007]

Ссылочку... на документацию

[@BorisVP1967]

@@fvvdres.pro1007 Комментарии со ссылками Ютуб удаляет автоматически.

[@Dreamer_78]

Спасибо очень интересные, полезные видео на вашем канале желаю вам успехов и процветания вашему каналу!

[@PythonToday]

Огромное спасибо за фидбэк и поддержку!

[@Keefear]

Спасибо. Всегда очень интересные и понятные видеоуроки 🔥👍👍👍

[@PythonToday]

Благодарю за фидбэк и поддержку!

[@ОмегаДок]

@@PythonToday а у меня парсится раз в 15 секунд через тор и клауд не банит)))

[@adidaspumovich9890]

очень полезный и хорошо разжеваный урок - спасибо

[@PythonToday]

Спасибо за фидбэк!

[@ismoilnarziev9333]

Спасибо ... очень понравилось!! 👏👏 просто супер 😎

[@PythonToday]

Благодарю за фидбэк!

[@АрсенийФролов-п2ж]

Привет. Ты очень крутой чел. Посмотрел почти все твои ролики. Очень нравится, Продолжай снимать.

[@PythonToday]

Благодарю за поддержку! Рад что видео помогают)

[@night_niker]

Искал, как авторизоваться в гугле через селю, в итоге последний коммент на SO меня привёл к этой либе. Радости не было предела. Думал, что она не сильно популярная, а оказывается, уж как год у тебя был по ней видос)))

[@АлександрПилипенко-к1с]

Всегда жду, когда уже кот начнет колбаситься :)

[@PythonToday]

😀 Благодарю за интерес)

[@maxbrenson21]

Сударь, Вы великолепны, как всегда:)

[@PythonToday]

Большое спасибо за поддержку!

[@TheReiter4]

Спасибо, как всегда - бомбически!

[@PythonToday]

Большое спасибо за фидбэк!

[@Tommy7417]

Спасибо, ждём новых роликов.

[@PythonToday]

Спасибо за интерес!

[@ГасанИсмаилов-н6и]

Чувак, спасибо! То что нужно!

[@PythonToday]

Надеюсь полезно!

[@ГасанИсмаилов-н6и]

@@PythonToday Ага, сначала затупил, но потом вкурил почему отлетает селька при работе этой либы. Надо циклить в конце действие, чтобы программа не завершалась с ошибкой сразу. Он тут уходит в подобие многопотока, который останавливается при отключении программы

[@tracylo4132]

Полезный контент!

[@PythonToday]

Благодарю за интерес и поддержку!

[@IvanTarazevich]

Спасибо уважаемый!!! Вы молодец.

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@ИльяКуприн-н9д]

Спасибо за контен ты красавчик )

[@georgestatefield]

Информативно и доступно!

[@nikitapotasev8453]

Спасибо за видео! Крайне полезное вышло, но так и грызет любопытство, как же оно там всё хитро написано в исходниках

[@PythonToday]

Спасибо за фидбэк!

[@vigauss1889]

Оперативно)) Большое спасибо труд за труд, подписался на все соц.сети, будем на связи 👍

[@PythonToday]

Благодарю за поддержку!

[@dasndja7990]

ураааа!! новый видос!!!))

[@КотКакос-г6я]

Спасибо огромное) Лучший🥰

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@key9en]

После того как мой парсер уперся в клаудфлэйр думал его жизнь окончена xD помогли!!

[@PythonToday]

Рад что видео помогают, пользуйся!

[@irystonifyrt]

Спасибо, за урок! Можешь рассказать, как обходить проверку на бота в браузере

[@danidi1]

Хотелось бы видео о сборке вебдрайвера для доступа на сайт госзакупок по эцп. Это браузер Хромиум гост + расширение крипто про. А так же хорошо бы ещё добавить расширения СБИС, Госуслуги. Для того чтобы сработала авторизация по ЭЦП российского ГОСТа шифрования

[@apexnuts9785]

Спасибо за контент, за парсинг, за всё

[@PythonToday]

Спасибо за фидбэк и поддержку!

[@otkatyarzV]

Как всегда топ

[@PythonToday]

Большое спасибо за фидбэк!

[@Crossfire-fd8gy]

ну поглядим))) первок видео

[@ymb_812]

Спасибо большое

[@PythonToday]

Благодарю за фидбэк!

[@SkveerBoy]

Сделай видео, например как передавать post данные из файла) или вот на selenium все понятно а как например это делать через reguests and bs4! авторизовываться входить какую нить информацию) я думаю не один буду благодарен

[@АлиханЮсупов-ч3и]

Брооо, ты лучший, топи дальшее☺☺☺ Можешь снять видео как добавить расширение хром через селениум?😇

[@User-Vladimir513]

Круто👍

[@deus7204]

Большое спасибо!

[@ЕрмолинНикита-у7м]

Прикольненько!)

[@Zer-st6qv]

Это просто кладезь полезной информации, а не канал! Большое спасибо, что делишь опытом! Если блокировка все таки произойдет, будешь перезаливать видео на ру хостинги или продолжать вести канал?

[@PythonToday]

Благодарю за фидбэк и интерес! Думаю буду дублировать в РУ соц сети, возможно начну вести канал на английском, с русскими субтитрами. Время покажет, что нас ждет. :/

[@bankr0t.]

@@PythonToday Конечно на английском с русскими субтитрами лучше чем на рутубе по талонам смотреть))

[@tungsteniac2344]

@@PythonToday А бастион не подойдет?

[@sviteribuben7245]

Отличное решение!

[@PythonToday]

Благодарю за фидбэк!

[@Vladesina4568]

ох как эта одна строка выручает по сей день)

[@vecstongo]

меня детектит.....

[@alexanderlazaev7423]

Очень хороший!

[@СлаваМорозов-м3й]

Вот красота!!!!

[@СергейСавенков-э7о]

Приветствую! Выдало ошибку с An attempt has been made to start a new process before the current process has finished its bootstrapping phase.

[@ЕвгенийРожков-и9о]

А за это спасибо!

[@tokosotomimo14]

undetected chromedriver не работает всё так же не пускает на сайты с такой защитой.

[@xjpfxei]

Супер, из всего что смотрю, только твои, бывает, сохраняю в избранное) А насколько реально написать бота под Линукс без графической оболочки под Яндекс капчу?

[@settips]

Добрый день! Хотел написать в ЛС, но контактов не нашел. Возник вопрос, возможно ли скачать страницу с сайта, которая защищена cloudflare? Есть python с selenium, но нет webdriver и вообще есть только фоновый безголовый режим.

[@narig89]

Привет. Подскажи, пожалуйста, для pafy как открыть url ссылку. Пишет: sign in to cofirm you're not a bot

[@dierakramov8438]

Gooo!

[@badgearlogo]

Вопросец, пишу приложухуна диплом, чтобы собирала библиотеку в одном приложении с нескольких сайтов. Во первых: т. к. беру с пиратских сайтов такой метод сбора инфы легален и целесообразно ли использовать селениум и парсинг в целом для этой идеи? Во вторых в теории на андроид такое сработает?

[@jw200]

7:17 уже не работает это. Пишет что робот, решайте капчу. и так до бесконечности. вообще не пропускает

[@xakristl8]

ага:(

[@timofejserebrennikov]

почему сейчас cloudflare блокирует аналогичный код на данном сайте? и как обойти

[@vitalii_myt]

При старте нового проекта для парсинга или мониторинга сайтов на изменения лучше сразу использовать undetected-chromedriver или начать с bs4?

[@ВиталийНиколаенко-с3з]

как теперь стать патрионом, оч нужен код из видео об аудио помощнике?

[@belekabbas]

почему дает ошибку на 12 строке "NameError: name 'driver' is not defined" когда использую undetected_chromedriver

[@platoga]

Первый метод у меня сработал точно так же как и у тебя. Браузер запускает, но висит на CF или требует капчу. А второй метод не работает, не открывает браузер. Пишет "NameError: name 'driver' is not defined", хотя сделал всё точно так же и даже код взял с твоего git hub, чтобы исключить ошибку в коде. Может ли в undetecter_chromedriver быть драйвер под linux, который не работает на винде? Может кто-то из зрителей пробовал повторить за автором и у вас на винде всё работало или так же как и у меня не работало?

[@notOnlyPython]

топовый метод

[@klyuchnikow]

Прикольно, спасибо! А есть способ обойти капчу?

[@y5rdg]

Спасибо

[@vitalii_myt]

На stackoverflow в ответах я находил библиотеку cloudscraper, которая по заверению разработчика проходит проверку CloudFlare, но в моем случае - не помогло.

[@КаналСтилта]

Да, на обычном selenium это можно тоже реализовать, минус undetected-chromedriver заключается в том, что он не поддерживает chrome версии ниже 112, следовательно он не работает до 10 винды, так как chrome на винде ниже чем 10 перестал автоматически обновляться

[@saitoha1]

Если знаете как можно ваши контакты?

[@BonVoyageWorld]

Lets say how it is, I Love You 😁

[@everything_is_simple8]

И как сейчас актуально? А что за заголовки отправляются которые дают возможность обойти защиту

[@MIRO067]

как с undetected chromedriver подключить прокси? хоть убей, все кажется перепробовал, ничего не работает

[@parpermeter]

и второй вопрос) может пора автоматизировать комментарии ;)

[@starlight969]

Подскажите можно заказать скрипт для конкретного сайта?

[@Redings_]

Можно использовать undetected_chromedriver либр делать запросы через куки

[@dd-pe5dp]

супер

[@Technomax2007]

Спасибо, но вот второй пример у меня не работает, выдает такую ошибку "File "C:\PycharmProjects\Parser_WB\1.py", line 13, in driver.close() NameError: name 'driver' is not defined" - код такой же как на видео, один в один, при том что веб драйвер этой библиотеке не нужен Undetected-chromedriver

[@fox_hipe]

Добрый день, хотелось бы узнать, решили ли вы эту проблему. У меня тоже выдаёт, что нужен путь к драйверу, уже и понижал версию селена, ничего не помогает

[@MultiBigkush]

Спасибо за видео! Сделай в следующем видео, пожалуйста, как парсить номер телефона на авито без селениума. Сам через json пробовал парсить, действительно номер вытянуть удается, но факт в том, что спарсенный номер отличается от, что указан в объявлении. Как то авито видит, что через json обращение идёт (надо через мобильную версию делать, там номер указан текстом в json), как то нужно обойти их систему

[@figaro2440]

Так кто вам мешает работать через мобильный авито, мобильные хэдеры передайте драйверу и будет парситься мобильная версия авито.

[@agentsmit09]

Для обхода Cloud flare лично я юзал pyppeteer

[@bubunduc5682]

Здравствуйте, чтобы писать без обнаружения, использую undetectable chomedriver, просто совет, так так долго с обнаружением мучался

[@РоманЩурин-р9н]

Привет. Есть ли возможность в селениуме эмитировать человекоподобные движения мышки? Чтобы курсор к элементу пододвигался плавно, а не резко

[@igrovojimpotent]

Нет

[@usertwgetrukwwr9669]

Для капчи?

[@zvasiaify]

Конечно. Можно хоть по пикселю сдвигать. Но по моему опыту это мало на что влияет

[@dmitrys777]

Реализовывал такой алгоритм для SlimerJS. Имитация событий мыши на JS. С использованием кривых безье, случайных промежуточных точек, изменением скорости движения и промахов перед кликом, когда мышь чуть уежает дальше. В Вебвизоре было красиво, от действий человека не отличить.

[@bobr_dobr256]

А зачем селениум тут, юзай любую другую библиотеку где есть такие фичи

[@mohirbekkomilov]

про nodriver можеш делат видео

[@AlexanderRich777]

спасибо. а для Java или Node.js есть что-то похожее? сейчас как раз актуально.

[@ЯПослезно]

добрый день, можете, пожалуйста, показать как в undetected_chromedriver загрузить гугл расширение в виде crx файла, ибо метод как в селениуме не выдает ошибки в консоле, но расширение не загружается?

[@wowlav]

запуск твоего кода не проходит проверку и сайт не открывается

[@kazakovsergey58]

Стоит Mint. Сколько не бился так и не заработало. Может сам путь до хрома прописать куда надо или ещё что. Подскажите пожалуйста.

[@bugsexplorers9847]

Как сделать такую-же цветовую схему как у тебя на видео? Все установил и написал код с видео, а в ответ - Process finished with exit code 0 и больше ничего. Страница с проверкой не открывается. Как исправить?

[@SleepMashine]

по певрой ссылки я человек тиам где вин вводить там не пускает просит чтоб я нажал что человек

[@GamerGDS]

собственно... а как парсить то? как брать html код со страницы?

[@bibsybum]

👍👏

[@islommirzayev4201]

Ё привет. Покажи процесс создания ссылки переходя по который ты получаешь IP(не свое а чужое)

[@illuminate3151]

Как называется песня у тебя на фоне?)

[@whywhywhywww]

У меня пишет что driver может быть неопределена, как это исправить?

[@chill-n-gameX]

Когда пишу такую конструкцию он пишет ошибку nameerror name driver is not definded

[@saimon774]

не подскажешь как прокси с логином в этот код добавить ?

[@SuperUndead22]

А в vscode можно собрать исполняемый файл? Если нет то чем вы пользуетесь? Если да то как)

[@PythonToday]

В каком смысле исполняемый файл? Думаю это зависит от языка который используешь, а не от IDE.

[@SuperUndead22]

@@PythonToday ну exe-шник

[@bagi4618]

@@SuperUndead22 вызови следующую команду из директории файла: pyInstaller -F -paths=“C:\Users\User\AppData\Local\Programs\Python\Python310\Lib\site-packages” -i “icon_name.ico” main.py

[@bagi4618]

Где путь указывается до site-packages, чтобы библиотеки и сам питон не пришлось устанавливать для работы с твоим приложением, а -i и имя - это добавление иконки (находиться должна в той же папке, что и исходник

[@alr_ks]

Сегодня не работает, есть рабочий способ?

[@ieru4578]

Привет, помоги пожалуйста, почему из за except или же exception выдает ошибку, из за этого не могу код написать, помогите плез

[@invas3]

Доступ к закрытому контенту можно получить только через patreon? Не могу придумать как провести оплату подписке, так как проживаю в РФ и paypal не работает(

[@PythonToday]

В течении недели добавим оплату по картам для подписчиков из РФ. Благодарю за интерес.

[@agegon8514]

привет, твои видео очень полезны, они где-то ещё сохранены, кроме ютуба? Желательно, что не заблокируют) Именно видео

[@PythonToday]

Приветствую, пока не решил. В любом случае анонсы будут в telegram. Буду развивать netstalkers.com/private

[@ВячеславАрефьев-с4я]

с ддос гуард что делать?