Парсинг сайтов на Python - ЧАСТЬ 2 - Selenium

[@vladimir-monin]

Нам нужно больше автоматизации! Отличное видео, спасибо! Полез в телегу, искать исходники плеера :)

[@vladimirberezhnev8124]

Ура! Как же я ждал видео по Selenium)

[@Salomon_li]

Очень интересно, Так держать!!! Мы за открытый исходный код!!!

[@mypersonal_channel]

Просто представьте, как с помощью простого кода можно упростить себе жизнь!

[@DD-mo4rp]

Ты очень крут! Спасибо тебе огромное за труды!

[@aioncheaters]

Спасибо за видео! Как всегда классно!

[@conquer-y5e]

Какой голос радостный стал. Меньше запинок, музычка повеселее. Однозначно стало приятнее смотреть видео

[@lefort6943]

Спасибо за разбор селениум, эта тема очень интересна! Спасибо за ваш труд

[@MICROFARAT]

Питон всегда популярен, а главное актуален, как и всё программирование в общем. Так что ждёмс подобного

[@MICROFARAT]

@@joly3122 Ух, не знаю. Дяде Торвальдсу он не понравился.

[@MICROFARAT]

@@joly3122 Не буду спорить о том, что технически ржавый хорош, но одни из важнейших аспектов - это популярность и оплачиваемость, тут я предпочту плюсы. Хотя для общей базы, как по мне, раст годен

[@AndriiKrymskyi]

Спасибо, полезная прикладная информация всегда большой плюс автору за помощь людям.

[@AntonGorbachevDev]

Не нужно использовать sleep(), там есть специальный метод implicitly_wait, в котором можно задать максимальное время ожидания элементов. Скрипт будет ждать появление нужного элемента и как только он появится выполнять действие. Sleep() не надёжен, он делает скрипт медленее, а так же может приводить к ошибкам

[@nullnull295]

у меня был скрипт на autoit который конвертировал файлы, там ставил слип, на работе щапустил штук 10 вроде ок. Поставил на ночь, утром прихожу, на компе просто лютый трешняк... он проскочил этот момент и клацал по всем файлам по скрипту, что-то создавал\открывал\удалял. Это меня научило нигде слип не использовать

[@theban2517]

sleep хорош в автоматизации тго, что не хочет быть автоматизированным - напримеи сайт смотрит на время между вводом/кликами и впринципе поведение юзера. С рандомизацией sleep такое можно обойти

[@alecsandr1980]

Спасибо тебе, увидел ответ который искал... Давно не работал с Selenium но понимал что, что-то подобное есть. Я не сторонник sleep()... )))

[@DR0B1LK4]

Мы ждали и мы дождались! Просто отлично, ждём 3 часть. Пойду чтоли сделаю ещё один парсер)

[@MrIlumas]

Треугольник, продолжай делать похожи видосы, это очень интересно, познавательно и популяризирует программирование

[@lichcraft_official]

Люблю автоматизацию!

[@vityz5012]

Спасибо за уроки!

[@Mike_Shinoda]

Большущее тебе спасибо за контент!! Ты лучший 😁👍

[@nick91819]

Сделай видио про vpn на linux

[@muromez]

Спасибо большое за замечательные видеоролики ☺️ очень сильно вдохновляешь ✊

[@shvi2392]

Привет. Парсер для постоянного мониторинга товаров в магазинах (dns, онлайн трейд, ситилинк) с уведомлением, если цена в магазине стала ниже той, которую мы сами задали. Можно ещё дополнить функцией автоматической покупки.

[@tablenkov4993]

Спасибо, видеокарт теперь точно не будет.

[@elonsibir5029]

1. Pashalka: metka mesta. Ti molodes chto podnimaesh problemu 21 veka. 2 Причин, по которым забирали людей, никто не знал. Но это могло коснуться каждого. Поэтому в каждом доме на такой случай у двери висел пакет с вещами первой необходимости. Однажды пришли и за мной. Меня как учителя забрали в лагерь преподавать китайский язык и учить заключенных пропагандистским песням. В камере был бетонный пол, стены и пять видеокамер под потолком. На 16 квадратных метрах ютились 20 человек. На заключенных была униформа и наручники. Все они были наголо обриты. В лагере я также работала в больнице, где стала свидетелем, как заключенным давали медикаменты без надобности, может, проводились эксперименты, чтобы, например, сделать женщин бесплодными. На одном из собраний была свидетелем, как охранники насиловали молодую женщину на глазах у 200 заключенных. Тот, кто проявлял сочувствие к ней, сам становился объектом унижений и пыток в «черной» комнате с электрическим стулом, где меня тоже мучили, пока не потеряла сознание. С тех пор, как я побывала в лагере, я порой не могу даже сама взобраться на кровать. В камере я слишком долго спала на холодном бетонном полу, и теперь у меня ревматизм. В свои 43 года я стала больным человеком, хотя до лагеря была совершенно здорова», - рассказывается в книге "Die Kronzeugin" (Главный свидетель) немецкой писательницы Александры Кавелиус и Сайрагуль Сауытбай о «лагерях» в Синьцзяне. Представьте, что вы были заключены в лагерь для интернированных или приговорены к тюремному заключению на годы только на основании: вашей этнической принадлежности; вы путешествуете, живете или учитесь за границей; количество детей у вас; твоя религия; наличие WhatsApp на телефоне; или ваши звонки друзьям и родственникам за границу. Такова реальность 2 миллиона мужчин и женщин, задержанных в Синьцзяне с 2017 года. Свидетельства, собранные Amnesty International, дают фактическую основу для вывода о том, что правительство Китая совершило преступления против человечности в Синьцзяне. Цюаньго превратил весь регион в полицейское государство с блокпостами между городами и внутри городов - между районами, с сетью камер с функцией распознавания лиц, с обязательным сканированием ID для входа в дома и торговые центры. Всюду - полицейские в форме и штатском. Насильственное изъятие органов в Китае производится по отношению к представителям этнических, языковых или религиозных меньшинств, содержащихся в разных регионах, причем им зачастую не сообщают причин задержания или отсутствует ордер на арест", - говорится в заключении 12 экспертов, наиболее популярными органами для изъятия являются сердце, почки, печень и роговица глаза, а применяется эта мера к членам запрещенного движения Фалуньгун, уйгурам, тибетцам, мусульманам и христианам. 180 правозащитных организаций и 27 стран(Канада, Дания) признали политику Kитая геноцидом и преступлением против человечества 21 века. Утечка документов подтверждает жестокость - "China cable " Почему они скрывают лагеря? Почему они сажают в концлагеря всех? Почему они оплачивают гос пропаганду и сильно закрывают инфоповод конц. лагерей? Больше 1200 скрытых лагерей. Студенты, композиторы, работники СМИ исчезают в лагерях. Массовая стерилизация женщин, массовое системное rape, сбор ДНК а после насильственное извлечение и торговля органами, медицинские эксперименты, массовые пытки, принудительное рабство, 2 млн человек. Канада и 22 стран Запада признали что это преступление против Человечества. Посмотрите в глаза бежавших женщин, прочтите и посмотрите интервью Турсынай Зияудун, Сайрагуль Саутбай, Гульзира Ауелхан, Анар Сабит, Гульбинур Седик. Людей надо спасти.

[@tablenkov4993]

@@elonsibir5029 это всё конечно ужасно, но причём тут оно?

[@ЮрийФеренчук-ф2в]

Приветствую! 🤚 Как и обычно, ролик получился информативным. Спасибо за видео. 🙂. 👍👍👍

[@InfoVideoCenter]

Мы теперь знаем как ты набрал на прошлом видео 53К просмотров :)

[@Crisis2424]

Так ещё нужны прокси или ip адреса свободные

[@cranberry888]

@@Crisis2424 Я думаю что в подобных шутках не обязательна определенная правдивость/аутентичность))

[@Crisis2424]

@@cranberry888 в первые сутки или час у Ютуба - не важно с какого айпи вроде просмотры

[@elonsibir5029]

1. Pashalka: metka mesta. Ti molodes chto podnimaesh problemu 21 veka. 2 Причин, по которым забирали людей, никто не знал. Но это могло коснуться каждого. Поэтому в каждом доме на такой случай у двери висел пакет с вещами первой необходимости. Однажды пришли и за мной. Меня как учителя забрали в лагерь преподавать китайский язык и учить заключенных пропагандистским песням. В камере был бетонный пол, стены и пять видеокамер под потолком. На 16 квадратных метрах ютились 20 человек. На заключенных была униформа и наручники. Все они были наголо обриты. В лагере я также работала в больнице, где стала свидетелем, как заключенным давали медикаменты без надобности, может, проводились эксперименты, чтобы, например, сделать женщин бесплодными. На одном из собраний была свидетелем, как охранники насиловали молодую женщину на глазах у 200 заключенных. Тот, кто проявлял сочувствие к ней, сам становился объектом унижений и пыток в «черной» комнате с электрическим стулом, где меня тоже мучили, пока не потеряла сознание. С тех пор, как я побывала в лагере, я порой не могу даже сама взобраться на кровать. В камере я слишком долго спала на холодном бетонном полу, и теперь у меня ревматизм. В свои 43 года я стала больным человеком, хотя до лагеря была совершенно здорова», - рассказывается в книге "Die Kronzeugin" (Главный свидетель) немецкой писательницы Александры Кавелиус и Сайрагуль Сауытбай о «лагерях» в Синьцзяне. Представьте, что вы были заключены в лагерь для интернированных или приговорены к тюремному заключению на годы только на основании: вашей этнической принадлежности; вы путешествуете, живете или учитесь за границей; количество детей у вас; твоя религия; наличие WhatsApp на телефоне; или ваши звонки друзьям и родственникам за границу. Такова реальность 2 миллиона мужчин и женщин, задержанных в Синьцзяне с 2017 года. Свидетельства, собранные Amnesty International, дают фактическую основу для вывода о том, что правительство Китая совершило преступления против человечности в Синьцзяне. Цюаньго превратил весь регион в полицейское государство с блокпостами между городами и внутри городов - между районами, с сетью камер с функцией распознавания лиц, с обязательным сканированием ID для входа в дома и торговые центры. Всюду - полицейские в форме и штатском. Насильственное изъятие органов в Китае производится по отношению к представителям этнических, языковых или религиозных меньшинств, содержащихся в разных регионах, причем им зачастую не сообщают причин задержания или отсутствует ордер на арест", - говорится в заключении 12 экспертов, наиболее популярными органами для изъятия являются сердце, почки, печень и роговица глаза, а применяется эта мера к членам запрещенного движения Фалуньгун, уйгурам, тибетцам, мусульманам и христианам. 180 правозащитных организаций и 27 стран(Канада, Дания) признали политику Kитая геноцидом и преступлением против человечества 21 века. Утечка документов подтверждает жестокость - "China cable " Почему они скрывают лагеря? Почему они сажают в концлагеря всех? Почему они оплачивают гос пропаганду и сильно закрывают инфоповод конц. лагерей? Больше 1200 скрытых лагерей. Студенты, композиторы, работники СМИ исчезают в лагерях. Массовая стерилизация женщин, массовое системное rape, сбор ДНК а после насильственное извлечение и торговля органами, медицинские эксперименты, массовые пытки, принудительное рабство, 2 млн человек. Канада и 22 стран Запада признали что это преступление против Человечества. Посмотрите в глаза бежавших женщин, прочтите и посмотрите интервью Турсынай Зияудун, Сайрагуль Саутбай, Гульзира Ауелхан, Анар Сабит, Гульбинур Седик. Людей надо спасти.

[@cranberry888]

@@elonsibir5029 к чему это тут?

[@piotrekmilan]

Сначала не хотел смотреть, но потом при просмотре что все самое сладкое внутри.😊 Правду говорят не оценивайте по обложке

[@CITNM]

Спасибо за видео, было интересно

[@ВаняБразилец]

«Ахаха жалкий борец за свободное по, мы поправили алгоритмы и ты снова на дне ютуба» А видос то классный)

[@selainro1791]

Класс, как раз Python учу)

[@iznuritel]

видос супер👍

[@МаксимКарелин-и8в]

Спасибо, как всегда топ!

[@kot_boris3703]

Приятно, что качество видео подросло

[@ЮрийФеренчук-ф2в]

Однозначно лайк, комент. Видео класс. 🙂 👍👍👍

[@takiekakmi7532]

+1 тема по которой теперь хочу написать прогу. Вот только когда это ещё будет... Маленький апгрейд - все переписать под asyncio, а бд - использовать psql.

[@neponiatniichell9508]

Блин, вот это спасибо большое автору

[@landforix2524]

О, 2 часть!

[@АлександраДолгушина]

Спасибо за видео.

[@CITNM]

Рассказываю о том, как начать свою путь в Кибербезопасности. Озвучиваю книгу по криптографии и шифровании на Python. Присоеденяйтесь!

[@СергейСмирнов-ь8у]

Супер. 👍

[@nightsdragons4327]

Как-то поздно пришло уведомление о данном "новом" видео 🤨

[@darylsavitsky5970]

Подскажите пожалуйста, что за ОС на борту стоит?

[@cordestandoff2358]

Ухты ж блин) он ос меняет иногда для ролика (не обзор ос), сам говорит что где то каждый месяц просто меняет, иногда дебиан для видосов. Наверное дебиан, но далеко не уверен)

[@ИльяСавченко-ъ6й]

Спасибо!!!

[@Crisis2424]

Геотег у видоса шикарный))

[@АнтонВидович]

Можешь рассказать про обход Google Capcha?

[@ghchvxghxyvhchdfifty9147]

Привет ! Пожалуйста сделай видео про BSD системы !

[@cordestandoff2358]

Есть уже опенбсд, но мне твоя илея нравится)))

[@dennpetreus8423]

На чём это всё можно реализовать, винда явно не подходит? Благодарю Треугольник, снимай побольше.

[@dennpetreus8423]

@@Nomikama благодарю

[@individualist_blog]

Локация не простая. Отличный контент, как всегда. Расскажи как сделать подобный парсер для работы из под учетки.

[@user-ej1zu]

Парсинг сайтов на Python - ЧАСТЬ 2 - Selenium

[@bogdansvinarenco2587]

про zenno poster что скажите?

[@zuckercall]

Показал бы как делать проверки на нажатие кнопок

[@ВАсяОбломов-я9н]

ЧТ мне кажется, что с каждым роликом твой голос становится всё веселее и веселее! Ты начал спать нормальные 7-9 часов?

[@Black_Triangle]

Кофеин)))

[@danichka]

так. три дня назад скачал питона. сегодня написал камень-ножницы-бумагу. теперь можно и попарсить сайты. кули не полезть вперед батьки)

[@АлександрТоропов-ц8й]

Очень интересно. С парсингом немного знаком. И недавно столкнулся с такой проблемой, что самой информации, которая отображается на странице в запросе html кода нет. Может кто подскажет как парсить такие интернет ресурсы? Ну и было бы интересно посмотреть как обходить например cloudflare.

[@Alexander-x1n]

Возможно ли парсить данные с высокой частотой запросов но таким образом чтобы оставаться незамеченным для владельца сайта и не попасть под блокировку ip ?

[@clastergaming2503]

Спасибо за топовый контент треугольный брат

[@sergeysergey5409]

Треугольник - растер!;)

[@ФрэизэнХат]

Я уже делал что-то подобное лет 5 или 6 назад. Но вместо Селениум использовал Firefox+iMacros. Вот только это не работало в фоне, а только в среде иксов.

[@RockstarAlexander]

👍👍👍👍

[@ДедМороз-р7д]

Как автоматизировать скрипт на написание новых сообщений с обращением по имени к новым женщинам (которые только только зарегистрировались) и по поиску по определённому возрасту всем женщинам, на всех страницах, на сайте знакомств без риска быть забаненым на сайте?

[@ДедМороз-р7д]

И как привязать ИИ для ответов ? Например OpenAI от Маска

[@IZHGTUmekhanik]

sleep() - один из косяков Selenium, тк одна и таже страница может загрузится менее 1 сек или более 10 сек, а то и вовсе не прогрузится и нет инструментов контроля этих случаев.. Спасибо за видос)

[@AntonGorbachevDev]

Не нужно использовать sleep(), там есть специальный метод implicitly_wait, в котором можно задать максимальное время ожидания элементов. Скрипт будет ждать появление нужного элемента и как только он появится выполнять действие

[@IZHGTUmekhanik]

@@AntonGorbachevDev а это не одно и тоже ? он не дает однозначного ответа что страница прогрузилась. Видел где то реализацию загрузки страницы - 1) отлов конца соединения с сетью 2) все скрипты на странице воспроизвелись 3) отлов ошибок скриптов

[@augustwalter2586]

треугольник путешествует по азии

[@internetnickname8923]

Есть такая штука как Wget, он парсит всё, что находится в инете, поэтому нет смысла шаманить свой парсер)

[@passpass50]

Уже не первый раз слышу об опасности выхода в сеть с адресом СНГ. Чем это обусловлено на твой взялд?

[@hacked5694]

Привет, сними видео про VPN пожалуйста. Никак ничего выбрать хороший

[@черемшинськийбобег]

А как автоматизировать действия в интернете, если браузер не установлен на ос?

[@yanovskiselfdev2665]

Когда запускаю код, браузер включается на секунду и оффается, а в консоли ошибка

[@k3l3vr444]

Попробуй задавать цикл так For i in elements: Pass Все работает без range

[@CornerW]

Вобщем автоматизируешь сканы, и эксплойты по найденным уязвимостями...пишешь различные сценарий...и бац одна кнопка и взлом успешен! (Если есть дырка канеш)

[@Скрытыйтекст]

Можно уроки Пайтона ..я не нашёл в Телеге .спс

[@k2hozyain175]

Красава!

[@laplas3235]

Так можна через try сделать без коментирования в моменте с снг

[@МаксимкаСтрельников]

Привет из Израиля

[@Анонимпоименихлебушек]

Я кажется понял почему у тебя мало лайков коментов и подписок! Люди не любят регистрироваться) (по правилам анонима)))).) Хм... а есть ли в твоём клиенте защита от реферальных и ссылок для аунтификации? И будет ли верси с интерфейсов? Будет ли версия под spyphone? Как много вопросов!

[@ИгорьБогатыренко-ф6щ]

Привет друг, не знаю куда тебе писать, пишу сюда, подскажи пожалуйста как ты обходишь защиту cloudflare в своем боте, заранее спасибо!

[@ДенисВакуленко-о1я]

так нельзя делать.Либо driver.quit(), либо через with запускать.А по канцухе запускать безголовую версию, чтоб не мешала работать.

[@Николай-б5х]

Хорошее видео, но про автоматизацию регистраций на сайтах не сказано как обходить капчу Расскажешь позже?)

[@cordestandoff2358]

Есть расшипееие для браузеров, может можно как то в селениум использовать? Это слишком мелкая инфа что бы у треугольника спрашивать) лучше гугли( а ещё лучше searchx'и)))

[@fro_gus]

Блииин перметум в видео попал😢😢

[@YuriiHordiichuk-x4h]

Лайк

[@agureq-l7g]

Каким редактором он пользуется?

[@Black_Triangle]

kzbin.info/www/bejne/b5SXlpx6oL2Gf6M

[@agureq-l7g]

@@Black_Triangle Спасибо большое)

[@alecsandr1980]

Спасибо за видео. ) Но тайминги (time.sleep(2) и пр.) это зло. Насколько я помню у Selenium есть свои решения, давно использовал это. Походу придется вспоминать. ) Если кто знает подскажите. И еще если знаете, то подскажите, как избавиться от информации "Веб браузер находится под удаленным управлением" (Firefox думаю и в других браузерах подобное), и главное это влияет на парсинг, вторая сторона (сервер) это видит? Всегда все что нужно парсил с помощью reguest и bs4. С Selenium мало работал... P.S. Может только я это заметил. но в вашем коде на notabug есть ошибки и он работать не будет, если не исправить: Chanel.db на Chanelll.db, в разных местах разное название, после первого запуска будет создана база и она будет пустая поэтому ее нужно удалять если править subscribe.txt или при неудачном запуске. И да для России нужно комментировать строки как в видео иначе ошибка. Мой вывод, код написан на ходу, ошибки ни как не обработаны... Код имеет право быть, но.... И очень жаль что я на notabug не увидел файла requirements.txt это многим помогло бы. )

[@ho_OJluGun]

Библиотеки на запросах лучше чем селениум, не тратьте бабки и время на селениум.

[@SannnSanych]

селениум прикольный фреймворк

[@xzablik]

Привет всем ботам, которых ЧТ написал для просмотров, добавления комментариев и лайков под видео, собственно... как и меня А сейчас у меня запланирована функция sleep

[@nikolazzzer7087]

Урок не актуален Ввод не работает и кнопка поиска тоже

[@АндрейСвятой-с4п]

Питай мою тягу полностью

[@puser-yh9lv7kl1h]

доброй ночи, почему у меня ideos[i].text выводит пустые строки ?