Парсинг динамических сайтов | selenium python

  Рет қаралды 16,067

Алексей Куличевский

Алексей Куличевский

Күн бұрын

Пікірлер: 62
@ssstrolll
@ssstrolll 6 ай бұрын
Чтоб ты жил долго и счастливо. Обалденно обьясняешь.
@marla2043
@marla2043 5 ай бұрын
Обожаю ваш канал и конкретные примеры на задачах. Спасибо что снимаете видео!
@qtoxaq
@qtoxaq 2 ай бұрын
2 дня мучился с решением проблемы, а тут все понятно объяснили, спасибо большое!
@mrbush1872
@mrbush1872 Ай бұрын
Большое спасибо за очень полезный контент ! Здоровья и успехов ! Отличный преподаватель !
@ЕвгенийГрищенко-я4к
@ЕвгенийГрищенко-я4к 7 ай бұрын
Большое спасибо. Ваши видео очень приятно и познавательно смотреть) Вы как будто читаете мои мысли, как только мне что то нужно вы выпускаете на эту тему видео)
@notproudman
@notproudman 5 ай бұрын
Вперше на вашому каналі, дуже круті відео, дуже сильно допомогли! Дякую за якісний контент!
@gorwar3613
@gorwar3613 4 ай бұрын
Крутейший человек, очень доходчиво объясняете.
@blastblast9897
@blastblast9897 5 ай бұрын
Очень круто, спасибо)
@torvic2024
@torvic2024 7 ай бұрын
Здравствуйте! Спасибо за видео! С версии 4.6 (если не путаю) Selenium обзавелся Selenium Manager, который сам управляет драйверами браузера автоматически.
@kulichevskiy
@kulichevskiy 7 ай бұрын
о, надо посмотреть это прям упростит процесс
@TheModerus
@TheModerus 7 ай бұрын
В новых версия качать драйвер ненужно, абсолютно точно.
@МаксимШереметьев-с6б
@МаксимШереметьев-с6б 2 ай бұрын
Очень полезное видео. Спасибо.
@КоролеваЗамков
@КоролеваЗамков 14 күн бұрын
Подскажите пожалуйста. Можно ли с помощью selenium парсить сайты, где стоит защита qrator? dns например?
@enjoyenjoy6527
@enjoyenjoy6527 3 ай бұрын
Спасибо тебе. Спасибо большое...)
@wellplayttv
@wellplayttv 2 ай бұрын
Спасибо! Лайк, подписка)
@asemkrsk
@asemkrsk 3 ай бұрын
Спасибо! Познавательно, как называется плагин который делит код по комментариям?
@afkDog
@afkDog 25 күн бұрын
Это не плагин, это Jupiter NoteBook
@Oreshec
@Oreshec 2 ай бұрын
Благодарю
@Valdemar93
@Valdemar93 25 күн бұрын
подскажите, возможно ли сделать так чтобы забирать с сайта новые статьи, закидывать их в openAI и размещать в ТГ канале ? получилось только разместить названия статей, а тексты вообще ни в какую не может
@StanislavSiberia
@StanislavSiberia 3 ай бұрын
Алексей, что за компилятор у вас стоит или настройка (26 минута видео), которая ошибки прям коде показывает?
@СемейныйархивДашульки
@СемейныйархивДашульки 2 ай бұрын
контент разжован очень понятно. класс.
@The_Establishment
@The_Establishment 7 ай бұрын
Спасибо за интересные видео
@alexsmitt2140
@alexsmitt2140 5 ай бұрын
вопросик. В документации же написано: Selenium Manager - это новый инструмент, который помогает создать рабочую среду для запуска Selenium « из коробки». Для чего вы ставите отдельно драйвер браузера и заморачиваетесь с версиями?
@ПавелПрохоров-е9ц
@ПавелПрохоров-е9ц 4 ай бұрын
Раньше надо было отдельно путь прописывать , потом селениум обновился и стало все из коробки браться )
@gerapodsolnuh
@gerapodsolnuh 3 ай бұрын
а он про него не в курсе....а если бы читал комменты...
@NikolaiKuthnetsov-m9v
@NikolaiKuthnetsov-m9v Ай бұрын
Здесь много багов. Зачем библиотека, когда можно просто импортировать данные файла секретного😂
@danidi1
@danidi1 7 ай бұрын
Хотелось бы видио о сборке веб драйвера из расширений крипто про и браузера chromium gost, для авторизации на сайте гос закупок
@bespalove4882
@bespalove4882 6 ай бұрын
Добрый день! Подскажите, на какой должности можно работать с такими знаниями?
@triada777
@triada777 5 ай бұрын
Офисным шнырем
@R2D2022
@R2D2022 4 ай бұрын
очень интересное и познаватальное видео, спасибо. А подскажите пожалуйста, как вы сделали, чтобы выполнять код не весь а в этих блоках пошагово?
@egornekr
@egornekr 4 ай бұрын
тут создается не файл .py , а jupiter notebook. Такое можно быстро в google colab делать
@R2D2022
@R2D2022 4 ай бұрын
@@egornekr понял, спасибо
@kotzimaru
@kotzimaru 5 ай бұрын
Я понял как спарсить динамический сайт через добавление chromedriver но как это все засунуть в телеграмм бота и захостить на любом хостинге? Дайте материалы или сделайте видео
@CyberVampss
@CyberVampss 4 ай бұрын
Хромдрайвер под линунс, в коде программы делаешь условие, если винда, запускать екзешник, если линукс или сервера, то линуксовский драйвер. Бота запихиваешь прямо в код, токен + вывод сообщений на свой чат айди.
@Chinaoptretail
@Chinaoptretail 4 ай бұрын
Как называется среда в который вы пишите ?
@timurotube
@timurotube 4 ай бұрын
VSCode
@eddvornichenko
@eddvornichenko 6 ай бұрын
Подскажите пожалуйста, если на сайте несколько страниц, с которого надо спарсить данные. Как лучше это сделать?
@kulichevskiy
@kulichevskiy 6 ай бұрын
Если адреса страниц известны, можно просто в цикле их перебрать. Если нет, то можно их спарсить с текущей страницы, а потом в цикле перебрать. В общем, парсеры так и работают: 1. найди и сохрани все ссылки на страничке 2. перейди по каждой ссылке, найди на этих страничках все ссылки и пройди по ним 3. повторяй, пока ссылки не закончатся
@Эрик-ш1ы
@Эрик-ш1ы 5 ай бұрын
​​@kulichevskiy А если у меня около 500 ссылок,ведущие на динамический сайт, по которым нужно перейти и спарсить, есть ли что-то быстрее селениума?
@da-artstudio
@da-artstudio 6 ай бұрын
добрый день. Спасибо за видео. По поводу Selenium, сейчас вроде уже не нужно устанавливать драйвера. я не устанавливала и всё работает.
@kulichevskiy
@kulichevskiy 6 ай бұрын
Ага, они это в одном из недавних апдейтов добавили, кажется. Красота!
@SergeyLuchin
@SergeyLuchin 7 ай бұрын
Как в Vscode запускать по блокам код?
@kulichevskiy
@kulichevskiy 7 ай бұрын
Это просто Jupyter Notebook (jupyter.org/). Формат файла такой. Обычно люди с ними в браузере работают, но я их в VS Code открываю.
@hellpingpeople
@hellpingpeople 7 ай бұрын
@@kulichevskiy Есть ли у Вас видео с тюнингом VS Code? Настройка различных линтеров, например
@kulichevskiy
@kulichevskiy 7 ай бұрын
@@hellpingpeople неа, но надо бы сделать, наверное
@zvolev
@zvolev 3 ай бұрын
И, к стати спасибо за такое видео
@zvolev
@zvolev 3 ай бұрын
Обалденные видео - доберусь до компа и заведу учетку в детском мире 😅. На самом деле хочу залезть в свою учетку в WB и вытащить от туда информации в тг-бота. У них есть официальные api но не для этого раздела... кто нибудь работал с WB? - есть инфа что могут учетку заблокировать если подключаться неофициальный способом - есть у кого опыт работы с WB?
@kulichevskiy
@kulichevskiy 3 ай бұрын
Возможно, но маловероятно. Блокируют, когда парсинг мешает работать - либо грузит серверы, либо использует какие-то нежелательные фичи
@MrSunTrope
@MrSunTrope 6 ай бұрын
Поджбонькали, пару раз скидыжнули и готово😊
@Сергей-у5з6п
@Сергей-у5з6п 7 ай бұрын
зачётное видео
@sergeysakara4842
@sergeysakara4842 6 ай бұрын
По-моему тут должно быть тысячи 2 лайков
@АлександрБухтояров-ф9м
@АлександрБухтояров-ф9м 5 ай бұрын
Вроде бы драйвера уже давно идут в комплекте с Селениумом и не нужно устанавливать их отдельно
@fgenich
@fgenich 6 ай бұрын
Алексей, почему не Pycharm?)
@kulichevskiy
@kulichevskiy 6 ай бұрын
Да чет не зашел :)
@marla2043
@marla2043 5 ай бұрын
А еще Pycharm отказался от пользователей из России , почему-то недавно а не в 2022. Поэтому с тем что не Pycharm, удачно угадано
@pip_install7496
@pip_install7496 5 ай бұрын
Вот и минусы использования не официальной документации. Они могут попросту не обновляться и в итоге ты получаешь не актуальную информацию
@ИраклийПобедный
@ИраклийПобедный Ай бұрын
Смысл от видео? Можно просто доку почитать, автор сам не понимает за парсинг ничего.
@bossbossov4037
@bossbossov4037 Ай бұрын
У меня, почему-то, вылетает что chrome, что firefox. Запускаю код, потом открывается либо chrome либо firefox как приложение прогружает страницу и закрывается! не могу понять в чем может быть дело! Версия chromedriver и версия браузер отличаются только в конце, на одну цифру, т.е. cromedriver ver: 131.0.6778.69 а у браузера: 131.0.6778.70 ! но где-то видел, что главное, чтобы совпадали первые цифры
Парсим админку Мегамаркета с помощью скрытых API
30:56
Алексей Куличевский
Рет қаралды 74 М.
She made herself an ear of corn from his marmalade candies🌽🌽🌽
00:38
Valja & Maxim Family
Рет қаралды 18 МЛН
BAYGUYSTAN | 1 СЕРИЯ | bayGUYS
36:55
bayGUYS
Рет қаралды 1,9 МЛН
Local GraphRAG with LLaMa 3.1 - LangChain, Ollama & Neo4j
15:01
Coding Crash Courses
Рет қаралды 34 М.
CI/CD - Простым языком на понятном примере
15:29
Артём Шумейко
Рет қаралды 122 М.
Парсинг сайтов PYTHON
33:03
Давайте программировать!
Рет қаралды 12 М.