Парсинг динамических сайтов | selenium python

[@ssstrolll]

Чтоб ты жил долго и счастливо. Обалденно обьясняешь.

[@marla2043]

Обожаю ваш канал и конкретные примеры на задачах. Спасибо что снимаете видео!

[@qtoxaq]

2 дня мучился с решением проблемы, а тут все понятно объяснили, спасибо большое!

[@ЕвгенийГрищенко-я4к]

Большое спасибо. Ваши видео очень приятно и познавательно смотреть) Вы как будто читаете мои мысли, как только мне что то нужно вы выпускаете на эту тему видео)

[@notproudman]

Вперше на вашому каналі, дуже круті відео, дуже сильно допомогли! Дякую за якісний контент!

[@mrbush1872]

Большое спасибо за очень полезный контент ! Здоровья и успехов ! Отличный преподаватель !

[@gorwar3613]

Крутейший человек, очень доходчиво объясняете.

[@torvic2024]

Здравствуйте! Спасибо за видео! С версии 4.6 (если не путаю) Selenium обзавелся Selenium Manager, который сам управляет драйверами браузера автоматически.

[@kulichevskiy]

о, надо посмотреть это прям упростит процесс

[@TheModerus]

В новых версия качать драйвер ненужно, абсолютно точно.

[@blastblast9897]

Очень круто, спасибо)

[@Scavibor]

Грамотная речь. Хорошая подача. Спасибо)

[@МаксимШереметьев-с6б]

Очень полезное видео. Спасибо.

[@enjoyenjoy6527]

Спасибо тебе. Спасибо большое...)

[@wellplayttv]

Спасибо! Лайк, подписка)

[@asemkrsk]

Спасибо! Познавательно, как называется плагин который делит код по комментариям?

[@afkDog]

Это не плагин, это Jupiter NoteBook

[@The_Establishment]

Спасибо за интересные видео

[@СемейныйархивДашульки]

контент разжован очень понятно. класс.

[@Oreshec]

Благодарю

[@КоролеваЗамков]

Подскажите пожалуйста. Можно ли с помощью selenium парсить сайты, где стоит защита qrator? dns например?

[@Valdemar93]

подскажите, возможно ли сделать так чтобы забирать с сайта новые статьи, закидывать их в openAI и размещать в ТГ канале ? получилось только разместить названия статей, а тексты вообще ни в какую не может

[@danidi1]

Хотелось бы видио о сборке веб драйвера из расширений крипто про и браузера chromium gost, для авторизации на сайте гос закупок

[@R2D2022]

очень интересное и познаватальное видео, спасибо. А подскажите пожалуйста, как вы сделали, чтобы выполнять код не весь а в этих блоках пошагово?

[@egornekr]

тут создается не файл .py , а jupiter notebook. Такое можно быстро в google colab делать

[@R2D2022]

@@egornekr понял, спасибо

[@alexsmitt2140]

вопросик. В документации же написано: Selenium Manager - это новый инструмент, который помогает создать рабочую среду для запуска Selenium « из коробки». Для чего вы ставите отдельно драйвер браузера и заморачиваетесь с версиями?

[@ПавелПрохоров-е9ц]

Раньше надо было отдельно путь прописывать , потом селениум обновился и стало все из коробки браться )

[@gerapodsolnuh]

а он про него не в курсе....а если бы читал комменты...

[@NikolaiKuthnetsov-m9v]

Здесь много багов. Зачем библиотека, когда можно просто импортировать данные файла секретного😂

[@StanislavSiberia]

Алексей, что за компилятор у вас стоит или настройка (26 минута видео), которая ошибки прям коде показывает?

[@bespalove4882]

Добрый день! Подскажите, на какой должности можно работать с такими знаниями?

[@triada777]

Офисным шнырем

[@da-artstudio]

добрый день. Спасибо за видео. По поводу Selenium, сейчас вроде уже не нужно устанавливать драйвера. я не устанавливала и всё работает.

[@kulichevskiy]

Ага, они это в одном из недавних апдейтов добавили, кажется. Красота!

[@zvolev]

Обалденные видео - доберусь до компа и заведу учетку в детском мире 😅. На самом деле хочу залезть в свою учетку в WB и вытащить от туда информации в тг-бота. У них есть официальные api но не для этого раздела... кто нибудь работал с WB? - есть инфа что могут учетку заблокировать если подключаться неофициальный способом - есть у кого опыт работы с WB?

[@kulichevskiy]

Возможно, но маловероятно. Блокируют, когда парсинг мешает работать - либо грузит серверы, либо использует какие-то нежелательные фичи

[@СашаАлександр-е4м]

37:36 Типичная реакция, когда написал какую-то хрень, но она необъяснимым образом работает.

[@zvolev]

И, к стати спасибо за такое видео

[@eddvornichenko]

Подскажите пожалуйста, если на сайте несколько страниц, с которого надо спарсить данные. Как лучше это сделать?

[@kulichevskiy]

Если адреса страниц известны, можно просто в цикле их перебрать. Если нет, то можно их спарсить с текущей страницы, а потом в цикле перебрать. В общем, парсеры так и работают: 1. найди и сохрани все ссылки на страничке 2. перейди по каждой ссылке, найди на этих страничках все ссылки и пройди по ним 3. повторяй, пока ссылки не закончатся

[@Эрик-ш1ы]

​​@kulichevskiy А если у меня около 500 ссылок,ведущие на динамический сайт, по которым нужно перейти и спарсить, есть ли что-то быстрее селениума?

[@kotzimaru]

Я понял как спарсить динамический сайт через добавление chromedriver но как это все засунуть в телеграмм бота и захостить на любом хостинге? Дайте материалы или сделайте видео

[@CyberVampss]

Хромдрайвер под линунс, в коде программы делаешь условие, если винда, запускать екзешник, если линукс или сервера, то линуксовский драйвер. Бота запихиваешь прямо в код, токен + вывод сообщений на свой чат айди.

[@Zloi-ut3ug]

Selenium последних версиях драйвера вроде как не требуют🎉

[@Сергей-у5з6п]

зачётное видео

[@MrSunTrope]

Поджбонькали, пару раз скидыжнули и готово😊

[@bossbossov4037]

У меня, почему-то, вылетает что chrome, что firefox. Запускаю код, потом открывается либо chrome либо firefox как приложение прогружает страницу и закрывается! не могу понять в чем может быть дело! Версия chromedriver и версия браузер отличаются только в конце, на одну цифру, т.е. cromedriver ver: 131.0.6778.69 а у браузера: 131.0.6778.70 ! но где-то видел, что главное, чтобы совпадали первые цифры

[@Chinaoptretail]

Как называется среда в который вы пишите ?

[@timurotube]

VSCode

[@АлександрБухтояров-ф9м]

Вроде бы драйвера уже давно идут в комплекте с Селениумом и не нужно устанавливать их отдельно

[@SergeyLuchin]

Как в Vscode запускать по блокам код?

[@kulichevskiy]

Это просто Jupyter Notebook (jupyter.org/). Формат файла такой. Обычно люди с ними в браузере работают, но я их в VS Code открываю.

[@hellpingpeople]

@@kulichevskiy Есть ли у Вас видео с тюнингом VS Code? Настройка различных линтеров, например

[@kulichevskiy]

@@hellpingpeople неа, но надо бы сделать, наверное

[@sergeysakara4842]

По-моему тут должно быть тысячи 2 лайков

[@fgenich]

Алексей, почему не Pycharm?)

[@kulichevskiy]

Да чет не зашел :)

[@marla2043]

А еще Pycharm отказался от пользователей из России , почему-то недавно а не в 2022. Поэтому с тем что не Pycharm, удачно угадано

[@yuriyzav]

@@kulichevskiyчто за расширение такое, которое позволяет запускать код блоками по очереди?

[@pip_install7496]

Вот и минусы использования не официальной документации. Они могут попросту не обновляться и в итоге ты получаешь не актуальную информацию

[@ИраклийПобедный]

Смысл от видео? Можно просто доку почитать, автор сам не понимает за парсинг ничего.