Парсим сайты конкурентов с помощью Python | Часть 1 | Web Scraping Python

[@Devivl]

Алексей, не являюсь разработчиком Python и JS, но смотрю твои видео с большим удовольствием. Просто как кино. Очень комфортная подача материала, чувствуется даже какое-то соучастие процессу. Спасибо. Круто, когда такой интересный материал подается с отличном картинкой и качественным звуком.

[@epifanovmaxim1]

Леша, у тебя супер канал!пожалуйста, не останавливайся :)

[@Yeyeji-s]

Спасибо за бесценный урок. Жду с нетерпением второй части

[@Yeyeji-s]

А нет, уже оказывается вышло. Бегу смотреть.

[@kulichevskiy]

Там и третья часть вышла :)

[@kulichevskiy]

🔥 Курс про автоматизацию рутины с помощью Python: python.smysl.io/

[@MrSunTrope]

Леша, у тебя такая грамотная речь и внешка киноактера, в кино нужно сниматься))

[@furniture202]

Пришел по настройке окружения, так дальше и остался, смотрю, все, что выходит! Спасибо! Парсить и сайты под логином и капчи - все интересно! а шлифовалок уже больше на сайте =)

[@CineBotCreations]

Интересно - продолжайте пожалуйста) Особенно интересно как работать с случаем, когда данные появляются в всплывающем окне -> Например сайт где по нажатию кнопки "Контакты" всплывает окошко с контактами. Нажатие кнопки отправляет доп. запрос и по сути дополняет главный HTML блоком кода. Спасибо🙌🏻🙌🏻

[@ОляСтогова]

спасибо большое! сейчас занимаюсь изучением самостоятельно, Вас очень приятно и, главное что, понятно!!! слушать. Очень интересно и все получается)

[@nikolaynikolay8019]

Приятно слушать, классные усы

[@Bafmashina]

Усы топ!

[@ИгорьДобровольский-й1о]

а если у сайта защита cloudfare типо того то деать ? как это обойти

[@ГенрихКраус-ч7г]

Было бы славно посмотреть про капчи и прочие трудности, по типу ютуба

[@greenanimal4596]

крутые усы, можно было бы получить данные с json файла и оттуда вытащить пагинацию

[@alexzakr]

Я бы упростил условие для цикла while, посмотрев какой респонсе код выдаёт номер за границей диапазона.

[@kulichevskiy]

Хорошая идея, только там всегда 200 было. Страничка ж генерится, просто на ней нет ничего.

[@alexzakr]

@@kulichevskiy, посмотрел, как делают на форонде на нескольких сайтах. Заметил, что при превышении числа страниц часто возвращают последнюю. Может на этом условие сделать? В целом, очень хочется вас поблагодарить за мега профессиональный контент. Большое удовольствие и польза от вашего канала.

[@Anton-t2c]

а как 403 сайты парсить? только не нужно про хэдерсы их замена не помогает как и замена ип

[@kulichevskiy]

Послушайте, надо разбираться. Вообще обычно подстановка cookie помогает. Возможно, стоит попробовать selenium - там прям логин и пароль ввести можно

[@Anton-t2c]

а как подставить куки в силениум чтобы браузер воспринимал пользователя как пользователя а не силениум чтобы обойти 403? @@kulichevskiy

[@meodep]

Здравствуйте. А парсить цены p2p на bybit или huobi так можно?

[@kulichevskiy]

Думаю да, но, наверное, есть более простой способ. У обеих бирж есть API.

[@kulichevskiy]

(бесстыжее промо) Приходите на курс, там будем учиться работать с API :)

[@bespalove4882]

Добрый день! Подскажите, на какой должности можно работать с такими знаниями?

[@kulichevskiy]

А на какой вы хотите?

[@bespalove4882]

Я не плохо знаю js и python . Умею работать с selenium и pandas. Нравится парсить сайты. Могу работать с бд. На какой должности можно работать с такими знаниями? Аналитика?

[@kulichevskiy]

@@bespalove4882 Например, да. В общем, на какой хотите :)

[@АзизМиров-с1э]

@@bespalove4882 Привет! Можешь взять в работу заказ ?

[@sabirsadykov270]

опачки пошли просмотры👍🏻

[@sledocktv7893]

А когда набор на курс?

[@kulichevskiy]

Я думаю, что продажи откроются через 2-3 недели. Подпишитесь на сайте, я пришлю приглашение на вебинар

[@ГенрихКраус-ч7г]

Что за тема в VsCode?

[@kulichevskiy]

Это Gruvbox :)

[@art_alf-b9b]

где код?

[@cryptohyde]

29:53 max_page последний элемент, зачем мудрить с дальнейшим переводом в интеджер всех элементов для поиска максимального. Ну и комент к концовке - про парсинг простых сайтов контента хоть отбавляй, как парсить сложные сайты?

[@ИгорьДобровольский-й1о]

Cloudflare

[@timapigolev1640]

Доктор кокс?

[@Сергей-у5з6п]

усы это треш какой-то...

[@kulichevskiy]

👨🏻

[@red8mark]

Усы - топ. Не шаришь