Парсинг Динамических Сайтов в Python | Парсер OZON

[@PseudoDev]

Лучшая поддержка канала - поддержка копеечкой 🥺 boosty.to/pseudodev

[@CaptainBab]

Учусь по твоим видосам парсить, офигел от такого малого каличества просмотров и комментов, спасибо за такую подачу и вообще ролики.

[@dyze8847]

занимаюсь автоматизацией сайтов уже +- более года. Посмотрел видео - открыл для себя что-то новое! Совет: можно скрывать присутствие робота на сайте, добавляя заголовки, отключающие "автоматизацию" на сайте. Много раз выручало. Без лишних импортов) Ну тут как кому удобно. Сам придерживаюсь мнению: программист, как художник - свое видение. Для задачи - много методов решения

[@SergeyPopovichevPS]

Шатунов жив и парсит сайты

[@Vladimirelec]

ждал в конце песню про светку соколову, а ее нет... отписываюсь

[@devidbrown8176]

Спксибо за ролик. Очень хорошо рассказываешь и все по делу !;)

[@domafon1083]

Спасибо за видео!

[@ДанилПахолко]

Как сделать бота или exel есть видео???

[@IPCamera-w2x]

Друг, ну какой TSP/IP, камон

[@justmrr3593]

Можешь использовать undetected_chromedriver для парсинга?

[@PseudoDev]

Хм, в первый раз слышу об этом модуле. Выглядит интересно, и в теории можно протестировать

[@ДенисСушков-с1г]

Грузит только 12 карточек(. Не могу понять, как увеличить список до последней карточки в скроллинге.

[@VV-yg1in]

Мильярд тегов, ответ один - regex

[@smollegik]

Это все здорово и методом тыка можно догадаться, а как сделать что бы библиотека соларис обновлялась сама, вместе с хромом? Уж больно это занудо...

[@cryptohyde]

14:22 откуда ссылка нарисовалась?

[@PseudoDev]

Магия монтажа ✨

[@Enial_22]

Пытаюсь спарсить отзывы ,страница грузит все кроме отзывов , в месте для отзывов белое пустое поле , если зайти самому с браузера все норм ,а с селениум вот так

[@tomcherrr]

Пытаюсь сделать то же самое на js с помощью puppeteer-extra-plugin-stealth. Навешиваю всякие псевдо-аттрибуты user-agent, но ничего не выходит. Что такого делает под капотом stealth, что позволяет пройти cloudflare?

[@PseudoDev]

Увидел твой комментарий и полез изучать внутрянку модуля. Без 100 грамм тут не разберёшь, но в репозитории некоторый функционал продублирован на JS, думаю это можете тебе пригодиться - github.com/diprajpatra/selenium-stealth

[@tomcherrr]

@@PseudoDev самое интересное, что на bot.sannysoft.com у меня всё светится зеленым. Мол, я всамделишный браузер. Но если меняю урл на ozon, то сразу посылают нахер...

[@knowledgedose1956]

не понятно, зачем bs4 если уже есть selenium? можно просто при помощи selenium все спарсить, без лишних зависимостей. в целом за видео спасибо

[@hshbidneo]

вебдрайвер уже не нужен для селениума последних версий

[@m94110]

Лучше посмотри в сторону playwright

[@PseudoDev]

Хорошо 👌

[@tina_vor]

Скопировала код прям с гита, упал на всем(

[@MrKim-pt2vm]

Сломался парсер, на всех страницах упал.

[@Lisan22._.]

Так вот из-за кого у нас на складе перебои, гребанные парсиры))

[@PseudoDev]

@@Lisan22._. ХАХАХАХАХА, ну зато теперь понятно почему такая защита от скрапинга стоит 😁

[@cryptohyde]

вы серваки гнилые юзаете... те что амазон ещё в прошлом веке на свалку вывез...вот и перебои

[@Drochuk]

В итоге на бусти будет разбор самого дырявого сайта, чья апишка отдаёт тебе всю инфу без лишних проблем🤡

[@PseudoDev]

@@Drochuk ну, с этой дырявой апишкой нужно ещё разобраться. А это тоже работа)

[@Drochuk]

@@PseudoDev даже не знаю. Если говорить про содержимое в целом - ничего особенного, простейший json. Не более 21 ключа не верхнем уровне. Полезных +- половина. Вот у самого юрл товара (если говорить про парсинг по артикулу) есть свои подводные камни, но я думаю кому нужно - тот разберётся)

[@andreymudrakov3916]

омг...в слове tcp ошибку сделал...в слове из 3 букв..

[@PseudoDev]

🤓

[@ZheKaYT]

У вас такое большое лицо, абсолютно не пропорционально телу..

[@PseudoDev]

@@ZheKaYT что? 😐

[@Drochuk]

@@PseudoDev видимо он предлагает пойти в бобик билдинг

[@tokosotomimo14]

ozon отдает json прямо в html странице, нужно просто указать куки и хедерсы. зачем для этого использовать драйвер?

[@PseudoDev]

Если у тебя есть рабочий вариант такого кода, с удовольствием его изучу. У меня не получилось подобрать рабочие куки и заголовки 🤷‍♂️

[@tokosotomimo14]

​@@PseudoDevДа, есть. Можешь в телеге мне написать

[@tokosotomimo14]

​@@PseudoDevOxFF00FF

[@tokosotomimo14]

O x F F 00 F F Без пробелов, незнаю как еще написать. Всё удаляется 😢

[@kostyakuzmin345]

Ты захотел запилить ролик "как сделать самый медленный парсер в мире"?))) мало того плейрайт, так ещё и бс4)). Такого контента в Ютубе жопой жуй. Лучше бы рассказал, как сделать быстрый и эффективный парсер, который не будет использовать целый браузер и бс4. А если точнее, то браузер нужен только чисто для обхода защиты, вытаскивая куки и дальше делать гет/пост запросы, обрабатывая данные в lxml/selectolax (забудь блять про bs4, это дно it мира и всего программирования, он слишком медленный)

[@PseudoDev]

ок