Обновленный Selenium и работа с прокси | Python, Selenium и proxy | Подмена IP адреса

[@jaxa_473]

Никогда не встречал такого талантливого и дружелюбного программиста как ты.Привет из Узбекистана! Большой фанат

[@PythonToday]

Большое спасибо за такие слова и поддержку!

[@Zer-st6qv]

Ууу, этому городу нужен такой герой 😅 здоровья тебе друг, пускай твое дело живет вечно. Это лучший канал с практикой по питону!

[@PythonToday]

Большое спасибо за поддержку!)

[@virus8727]

мужик, ты просто топ!!! мало того что я узнал о парсинге из твоих видео, так я еще и учился парсить по твоим видео. главное не останавливайся!!!

[@mylife-ej8et]

Точно годно, очень долго искал решение данной проблемы, у вас на данный момент самое лучшее что я увидел

[@PythonToday]

Благодарю за фидбэк!

[@MaxBelikov]

Молодец, спасибо! Ещё бы полноценный скрипт с ротацией прокси плюс юзер агент и хождение по вкладка ❤

[@cryptohyde]

это вы уж как нибудь сами соизвольте

[@hollowknight7180]

Огромное спасибо! Я несколько дней назад бился головой об этот proxy в selenium, сгорел и бросил. Было крайне неприятно, что я такую простую тему не могу понять. 😅 Ещё не смотрел, но уже доволен, что вы разобрали эту проблему. 😀

[@PythonToday]

Благодарю за фидбэк! Рад, что полезно

[@_alexandro_80]

Актуалочка! Спасибо, дорогой автор.

[@PythonToday]

Спасибо за поддержку!

[@sergdef1]

Ура!!! Selenium!!! Можно попросить у вас уроки по playwright. Если у вас будет время и желание сделайте пожалуйста пару уроков с данной playwright фреймверком. СПАСИБО ЗА ВАШ ТРУД!!!! ВЫ ПРОДОЛЖАЕТЕ МЕНЯ МОТИВИРОВАТЬ И НЕ ОПУСКАТЬ РУКИ В НИШЕ НАПИСАНИЯ КОДА!!! СПАСИБО ВАМ!!!!!!!!!!!

[@vigauss1889]

Спасибо за обновленный видос!

[@oybekabduraimov1786]

Спасибо за информацию! Ассалому алайкум! из Узбекистана!

[@PythonToday]

Спасибо за поддержку!

[@Importol]

Периодически вспоминаю ваш канал, когда на работе требуется что-то спарсить 😂 Очень полезно !

[@PythonToday]

Спасибо 😀 Рад, что полезно и порой помогает)

[@ПавелГорюнов-п3в]

Супер видео, реально мне уже твой каанал не раз помог по работе! Продолжай!

[@PythonToday]

Спасибо за поддержку!

[@deus7204]

Хорош 😎

[@cppexplorery]

Спасибо тебе большое 💪

[@whosane9923]

Ппц как раз сейчас ебу... С драйвером😂😂😂 смотрим видео) сервис по проки реально годный, пользуюсь больше 3 лет

[@PythonToday]

Спасибо за фидбэк! Надеюсь было полезно)

[@bunkervk]

Подскажите пожалуйста, как сейчас отключить обноружение работы браузера под управлением драйвера именно для firefox???

[@ApacerPhilips]

Спасибо, мы растем вмемте с тобой🎉

[@ДенисСелецкий-н6д]

Спасибо за Ваш труд! Я только учусь и очень часто пересматриваю Ваши видео, для закрепления изученного. Не могли бы Вы сделать ролик по библиотеке Playwright, крайне мало по ней информации в интернете, а в ру-сегменте почти нет вовсе.

[@alexbokuto5353]

Спасибо за урок

[@PythonToday]

Спасибо за фидбэк!

[@s1a89n5]

Приветствую ! Очень благодарен за твой труд! Напиши пожалуйста, что у тебя за сборка пк, т.к при работе с речевыми модулями не запустился даже 1 вариант исполнения)

[@PolyuhovSA]

спасибо

[@solumtu]

А будет обновленная версия по деплою на сервер? Очень нужно! Потому что куча каких-то ошибок, с которыми пытаюсь бороться уже несколько дней(

[@TerraIncognito1]

Ты лучший!!!

[@parpermeter]

Думаю пора записать видео о pipx а может и poetry сравнить все за и против.

[@JeanPaulMore]

нет в планах записать ролик о DrissionPage в ближайшее время? краткий обзор, плюсы\минусы

[@МихалычЛермонтов]

Столкнулся с проблемой, что Chromium требует manifest версии 3, вторая версия действительно считается устаревшей. Может кто-нибудь переделать расширение с прокси под третью версию?

[@gaben_aTan]

Чего только с помощью селениума не делал. Благодаря автору. Очень классная библиотека. WhatsApp кстати закрыли элементы , теперь селениумом фотки не скачать. Печалько. Если в режиме разработчика нажать на область с фотками то элементы раскрываются, но селениум через find_element () не находит , задачка 🤔

[@-USER_NAME]

Не совсем помогает прокси этой компании хватает на три запроса . Затем я улетаю в бан надолго . Нужно штук 10 проксей сразу подключать и плюс свой ip тогда скорее всего будет отлично😂. И да спасибо большое тебе за видео, отличный материал.

[@EmpireOfTheGood]

Имба

[@CyberBrain362]

Спасибо автору, очень круто! Посоветуй плиз поставщика мобильных проксей

[@Iskh1kMamasaliev]

Спосиба за вдио

[@PythonToday]

Спасибо за фидбэк!

[@KOT3prod]

Ребят, все что могу сказать, не юзайте селениум, юзайте playwright, это на много мощнее библиотека, больше функций с работой разными модулями на html(чтобы в селениуме выбрать что то в списке, будл добр писать скрипт на js ибо он не умеет такой список выбирать) и так же он не использует основной обраузер, из за чего не надо будет постоянно обновлять драйвер каждый месяц и в принципе браузер можно в прогу запихнуть и все.

[@ihorsuvorov5187]

Привет! нужна помощь. После запуска выдает ошибку о несовместимости версий ChromeDriver для Selenium Manager.

[@gamespay9430]

Ааа, так вот почему мне путь не надо было указывать как в прошлых роликах😅, а я то думаю, зачем это делают, может там какой то особенный драйвер😂

[@PythonToday]

Надеюсь было полезно)

[@Crazy_MoT]

Привет! Заменит ли этот способ антидетект браузер типа АДС или Долфин? Вроде есть ещё ряд параметров, которые подменяют эти браузеры типа Canvas и WebRTC (я хз что это, но в видосах говорят важно)

[@alekseysivchik]

а что делать если пишет что atomurl работает только с ChromeOS?

[@ramzbew5674]

Это конечно рабочее решение, но для решения бизнес задач бесполезное. Если к примеру авторег какой-нибудь соцсети делать, то весь трафик сожрет мусор, который хродрайвер подгружает.

[@Евгений-ж1я9х]

как загрузить скрипт с обновленным selenium на удаленный сервер? помоги пожалуйста не получается никак

[@user-bh7sj4rc5x]

Спасибо, уважаемый автор! Подскажи пожалуйста что сейчас использовать вместо undetected_chromedriver если selenium не проходит проверку на бота? Буду очень признателен. Undetected_chromedriver к сожалению уже не работает.

[@spoletaev]

DrissonPage, а лучше - SeleniumBase

[@user-bh7sj4rc5x]

Спасибо!@@spoletaev

[@neydygdrg1836]

Посоветуйте ресурс либо книгу по ООП.

[@rostiinvest3898]

Задачка: как по SSH тунелю соедениться? Есть контейнер как через него в интернет уходить?

[@rostiinvest3898]

BeautifulSoup законектил, а селениум никак. Помоги

[@Overdozer954rr]

Если есть уже подписка на vpn сервисы, где так же на выбор любые страны то будет работать тоже? Просто указывать свой новый IP адрес? Протокол :8000 всегда будет?

[@cryptohyde]

арендуешь сервер в какой нибудь буркина трининабаде и весь трафик гонишь через него

[@Overdozer954rr]

@@cryptohyde то есть AWS тоже подойдёт?

[@cryptohyde]

@@Overdozer954rr по-моему как раз про aws и впн было видео на ютубе совсем недавно

[@kitoboynaya]

Кто хочет научиться писать крутых торговых ботов? Обучаю бесплатно! :)

[@Roman-o6w1c]

А есть актуальные методы обхода Cloudflare?

[@spoletaev]

SeleniumBase

[@Roman-o6w1c]

@@spoletaev Да, действительно, благодарю. Надо потестить. Жаль, конечно, что не асинхронный, как Playwright.

[@glebgreat]

А зачем нужен плагин?

[@мммм-у3р]

пожалуйста, объясните мне, зачем вы используйте selenium с таким костыльным подключением проксей, если есть playwright?

[@cryptohyde]

его реально изучать нужно а про селениум из каждого утюга вещают

[@rostiinvest3898]

❤ можно запилить антидетек браузер как дольпи Ант? Очень круто будет. Очень прошу.😢.

[@loxlox3944]

Проблема только в том, что дефолтный селениум палится на раз два со всеми его подменами. Есть пара библиотек, которые пытаются это исправить и у них почти получается, но всё же, пупитер лучше(

[@tosick4]

Подскажите кто знает, как теперь скрапить ozon? Undetected chromedriver срабатывает только в windows, но если включить headless режим(для linux), то выдает лишь "just the moment"...

[@borcoy]

Подскажите, пожалуйста, как хотя бы на windows скрапить ozon?

[@tosick4]

@@borcoy undetected chromedriver справляется в режиме headless=false.

[@borcoy]

@@tosick4 , Большое спасибо!

[@leoworker1752]

Это древний костыль. Не понимаю, почему разрабы не внедрят аутентификацию из коробки.

[@iolar_si]

Зип файл! Файл Зиплер! XD Простите...

[@gskgsk5463]

Где кот?!

[@zwloader]

Жалко Firefox не было

[@PythonToday]

Там есть какие-то проблемы с проксями? На канале есть видео, как минимум через selenium-wire работало всё ранее

[@gaben_aTan]

Firefox driver криво работает, хромдрайвер лучше

[@zwloader]

@@gaben_aTanя фанатик firefox

[@zwloader]

@@PythonToday как я знаю selenium-wire не поддерживает Remote WebDriver, а это грустно

[@ivankislitsin7861]

Короче как всегда "И вуаля, ниче не работает"

[@nadirkhansabyr7612]

1

[@BosyakUSA]

Откуда ты тут? БОТ?

[@back_to_life0]

У селениума 3 минуса катастрофическим 1. Он сука очень медленный 2. Адово жрет ресурсы проца и оперативы если запускать много запросов 3. Нельзя в одном браузере управлять сразу 5 вкладками, курсор только один... Эти минусы делают его последним чем можно воспользоваться при парсинге.

[@LazyBramble]

Альтернативы?

[@back_to_life0]

@@LazyBramble смотря какая задача . Лучше обычные запросы прямые .., не всегда это можно Но селениум такое себе дело... Альтернатив нет ,, просить ним что то часто пиздец, единственное что плюс, это открыл браузер и слушаешь сайт или просто обновляешь страницу))) Но сука он всеравно очень много жрет ресурсов даж в безглавом режиме

[@мммм-у3р]

@@LazyBrambleplaywright, pyppeteer (или puppeteer для Node js)

[@ЗахарИгнатьев-е3э]

Госпади Ну когда ты начнёшь писать с ООП код Так и будешь эту чушь с функциональным программированием годами преподносить?!

[@PythonToday]

Покажи как нужно. Это лишь мое хобби, делюсь тем, с чем столкнулся. p.s нахрена тут класс и ООП в целом? Или посыл в том, что любую функцию, нужно оборачивать в метод и писать под её работу класс?

[@whosane9923]

Секта ООП))) В каждую дырку хотите засунуть )))) Как хочет так и пишет

[@gaben_aTan]

Ооп годнота, но на больших проектах. В данных роликах функционального программирования достаточно 😊

[@ЗахарИгнатьев-е3э]

@@PythonToday Там всё будет ещё проще, если это всё засунуть в класс В __call__ запустить метод main и обработать прерывание работы кода А в main вся логика И всё И дети будут учиться ООП, а не писать эту вечную чушь с функциями Щас влезаю в крипту и, ты не поверишь даже, постоянно смотрю код разный от разных каналов кодеров по очень сложным активностям Код пока что не понимаю А часто вижу как эти дебилы, работая с проектами у которых на выхлопе 1, 10, 100 к $ и больше - пишут всё через функции, создают тонны папок и доп файлов с методами, которые можно в одном классе очень аккуратно прописать, abi контрактов суют прямо в класс для выполнения действий над контрактом, называют что-то как "мульти поток" а потом в комментариях доказывают что такое есть в природе и Гвидо об этом знает. И ещё очень, очень много разного смешного. Это обыденность уже. Я уже точно знаю, что напишу лучше, когда добавлю solidity и работу с python web3 ещё более насытив всё опытом. И мой код уже в мелочах лучше. И я дилетант и ни где за 3 года не работал. А тебя смотрит толпа детей и ты задаешь тон кому-то на годы вперёд. Если до лета 2022г смотрел и было интересно. Летом 2022г более плотно подсел на ООП и прошёл всё, что было под рукой. А зимой, в начале 2023 , уже писал с ООП код на 4к строк и 3 класса и всё это месяц поддерживал, расширял, совершенствовал. И теперь это норма. И теперь смотрю твой канал и вижу, что так будут шаги назад или топтание на месте. Я не осуждаю, не критикую, не выпендриваюсь. Но если ты сам решил тормозить - то это будут и дальше именно то, что ты людям преподносишь. Это твой выбор. А лично мне похвала людей, которых я не знаю и не узнаю - не нужна. Я умею давать себе ось и разрешаю давать оценку себя только себе. Чтобы из программирования не делать инстаграмм, где не пойми кто тебя нахваливает просто так.

[@ЗахарИгнатьев-е3э]

@@PythonToday Вот я выдал мысль) Ты мне первый раз ответил) Спасибо)

[@Radik1337Blr]

всё бы ни чего, но автор упускает факт что при наличии уставновленого хрома этот код работать не будет... будет ошибка: The chromedriver version (114.0.5735.90) detected in PATH at /usr/bin/chromedriver might not be compatible with the detected chrome version (122.0.6261.111); currently, chromedriver 122.0.6261.111 is recommended for chrome 122.*, so it is advised to delete the driver in PATH and retry для её ликвидации нужно использовать отдельный менеджер webdriver_manager и переавать его следующим образом: from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.chrome.service import Service as ChromeService driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install())) автор конечно может меня поправить, чему буду очень рад :)

[@PythonToday]

Всё замечательно работает с установленным хромом. Думаю у вас конфликт версий с вебдрайвером о чем и говорит ошибка.

[@ИгнатСуликов]

@@PythonToday как использовать socks5 прокси?

[@iolar_si]

@@ИгнатСуликов proxies = dict(http='socks5://{ip}:{port}', https='socks5://{ip}:{port}')