ПАРСИНГ КОМПАНИЙ В 2GIS | Как написать парсер на selenium (Python)

Рет қаралды 4,432

6 ай бұрын

В данном видео, показываю как легко и быстро можно написать парсер динамических сайтов используя библиотеку selenium на примере сайта 2gis.ru. Ещё давно писал этот парсер для своих целей, а на KZbin не видел обучающих видео по парсингу 2gis.
Курс "Разработка WЕB-парсеров на python" - ipatovprogram.getcourse.ru/we...
Ссылка на код GitHub github.com/pythononpractice/2...
Если вам нужен парсер, или какое-то программное решение - мой телеграмм t.me/ipatov_pr

Пікірлер: 38

@user-ke1jd7ey4w Ай бұрын

Спасибо тебе, добрый человек! отличная работа, без воды, с разьяснениями. Просто ВАУ!

@unobomber3348 26 күн бұрын

А будут видео для гугл карт и яндекс карт?

@alexzir 2 ай бұрын

Удобно смотреть Комментарии на ускоренном видео Спасибо

@ipatov_program Ай бұрын

Если это не стеб, то спасибо))

@IamZAS 6 ай бұрын

А подскажи, куда с крипт дописать отправку HEADERS?

@sash_sv 3 ай бұрын

Ваще крутяк!

@ipatov_program 2 ай бұрын

Спасибо)

@user-be6zk7kp1y Ай бұрын

Спасибо

@amirkhansagyndyk1417 2 ай бұрын

Спасибо, помог

@ipatov_program 2 ай бұрын

Спасибо! Приятно такое слышать)

@user-gg6qc4ny8p Ай бұрын

Артём, а заказать услугу Парсинга можно заказать у Вас?

@ipatov_program Ай бұрын

Да, напишите в телеграмме

@mizolok8608 2 ай бұрын

Првиет , Python version 3.9 does not allow writing union types as X | Y вот такая ошибка , питон 3.10

@ipatov_program 2 ай бұрын

Привет, у тебя в ошибке написано, что используется версия питона 3.9. Наверное нужно правильно указать интерпретатор. Ну и ещё можно из скрипта убрать все операторы "|" и должно работать на младших версиях

@mizolok8608 2 ай бұрын

@@ipatov_program Спасибо за ответ , сделал на питоне 3.12 всё пошло, но почему-то не у каждой компании забирает номер , с некоторых не берёт хотя в карточке он есть

@Freedom-kd5vy Ай бұрын

Спасибо за твое видео, очень полезное! Я не могу спарсить номера, как ты решал эту проблему, ведь даже запустив твой код и ничего там не меняя, он все равно не брал номера.

@ipatov_program Ай бұрын

Пожалуйста, давно видео записывал) уже пофиксили сайт, сейчас нужно переписывать парсер(

@olegonkos Ай бұрын

а какой толк в этой информации?

@DDR4605 3 ай бұрын

Переписал все в слово. Почему то одну карточку нажимает много раз, потом переходит к следующей. Почему так

@ipatov_program 2 ай бұрын

Добрый день! Напишите мне в телеграмм @artmiptv, что конкретно не работает(

@DDR4605 2 ай бұрын

@@ipatov_program да ладно, уже воспользовался готовым решением

@user-pe7kz3hp1i 3 ай бұрын

Все номера телефонов не отображаются =(

@ipatov_program 2 ай бұрын

Добрый день! Напишите мне в телеграмм @artmiptv, что конкретно не работает

@SinchiloMaksim 6 ай бұрын

Бро, не понятно, как ты эту вкладку с кодами открываешь. Подскажи пожалуйста

@IamZAS 6 ай бұрын

Правой кнопкой мышки на сайте, далее на выпадающем меню, внизу выбрать "Просмотреть код"

@user-cx7ct2di2q 4 ай бұрын

Как можно связаться с автором видео?

@ipatov_program 2 ай бұрын

Через телеграм @artmiptv, если ещё актуально)

@tokosotomimo14 2 ай бұрын

зачем так сложно делать? у них же апи есть, который по поисковому запросу отдает json файл со всеми данными об организации и сразу все страницы, нужно только пройтись по страницам и собрать нужные данные

@konstantinsivtsov2402 Ай бұрын

который платный и с ограничениями? Не жадничали бы, их бы сайт и не парсили

@tokosotomimo14 Ай бұрын

@@konstantinsivtsov2402 он бесплатный если внимательно изучить html код)

@tokosotomimo14 Ай бұрын

@@konstantinsivtsov2402 если внимательно изучить html код то можно бесплатно использовать

@user-gh2ml3cf5o 2 ай бұрын

В C# есть подобная библиотека, имитирующая клики пользователя?

@ipatov_program 2 ай бұрын

Да, вроде так же называется selenium) я помню там есть и встроенный вебдрайвер который можно открыть и работать в нем

@user-gh2ml3cf5o 2 ай бұрын

@@ipatov_program ок спасибо👍

@mrartivanov Ай бұрын

таблица не открылась, парсер работает

@ipatov_program Ай бұрын

Возможно что-то изменилось на сайте, и код нужно немного изменить

@IamZAS 6 ай бұрын

А как закрыть фрейм с видео рекламой, которая выскакивает при первом запуске? Ну и пока это окошко не закроешь нажав мышкой на крестик, парсер не работает. Ну и вот такая ошибка в консоле: [17352:17652:1205/181117.424:ERROR:ssl_client_socket_impl.cc(975)] handshake failed; returned -1, SSL error code 1, net_error -101

@ipatov_program 6 ай бұрын

Привет, спасибо, видимо после выхода видео появился баннер с видеорекламой, на гитхабе обновил код, сейчас всё работает.