Зарабатываем на OZON | Парсинг товаров с помощью Python

[@sergdef1]

Мне всегда интересно продолжение. Ваши уроки помогают решить некоторые мои задачки по парсенгу. Вот и сейчас я смог применить ваш пример в своем коде. Спасибо за огромный труд!!!

[@IvanTarazevich]

Благодарю, очень хороший ролик. Много твоих видео помогли мне в работе с написанием кода на python. Крепкого здоровья и ждем как всегда новых роликов уважаемый!

[@PolyuhovSA]

Человечище, спасибо!! Очень ждал данную тематику! Спасибо что ты так здорово подаешь инфу!

[@PythonToday]

Большое спасибо за поддержку!

[@deus7204]

Всегда с удовольствием смотрю твои ролики, очень интересно, а главное понятно объясняешь. Спасибо тебе за труд!

[@Zer-st6qv]

Большое спасибо за твой труд и что делишься своим опытом. Будь здоров!

[@s_time3344]

вот прям недавно вспоминал про твои старые видосы про парсинг и тож думал про озон, а тут видос целый, спасибо!

[@sergeysergeev2180]

Ждём продолжения. И успехов в делах!

[@СергейВасильев-и5п9к]

Огромное спасибо сенсей, благодаря тебе научился парсить!

[@peretz542]

Подскажи пожалуйста, почему сайт при проверке на бота не банит тебя и не подсовывает капчу? это из-за библиотеки undetected chromedriver?

[@ВасилийЕршов-ы4з]

Круто, жду продолжения!=))

[@isok.atyrau]

Продолжайте, как раз нужная тема!

[@ИльяБояринцев-т2з]

Очень интересное видео! Конечно же жду продолжение!))

[@TywuzhereSkina]

Умный человек это делал. Мне до его навыков далеко... Благодарю за видео и за вашу работу!

[@yagohush7414]

спасибо! тема конечно интересна! ждем продолжения!

[@ICastTheBan]

Зачем вы используете селениум для озона, если у них есть api?

[@Jeyw1n]

Ссылку на апи пожалуйста. Нашел только АПИ для селлеров.

[@noname52rus]

благодарю за труд и что помогаешь в ознакомлении с питоном

[@etri]

А зачем парить артикул из страницы, если его можно из url-товара гораздо проще достать?

[@chentsov_ov]

Как в тему это видео!! Как раз хотел решить задачу по парсингу отзывов с определенной карточки, у меня упорно через селениум не выходило)

[@dmitriykonopinskiy3793]

идеи для видео 1) виды блокировок вас сервером при парсинге 2) как парсить на домашнем пк, чтобы не быть забаненым? 3) как бюджетно парсить с сервера? как выбрать сервер, позволяющий парсить (конторы которых парсят будут жаловаться) 4) где взять халявные прокси и как этим пользоваться

[@DreamingDolphing]

На ютубе есть канал конторы, которая зарабатывает исключительно на парсинге. Они говорят, что если нужно качество и стабильность результата, то всегда обратятся к ним, а не левому фрилансеру, который не знает как использовать прокси и выделенный сервер.

[@nurikona]

Конечно ждем продолжения видео про Парсинг🤠

[@tolyachernov7849]

Хочу и жду продолжения!)

[@leolim146]

Отличный урок👍🏻

[@BITWAZACHEKUSHKU]

Вместо того чтобы искать товары и затем руками выставлять фильтры, можно использовать Selenium, чтобы автоматически щёлкать на нужные фильтры, как это делает обычный пользователь Для нахождения нужных элементов фильтра можно использовать соответствующий XPath, class или id элемента, чтобы Selenium мог их найти

[@ДенисАфросин-ы5д]

Круто, очень интересно 👍

[@dmitriysavinov9906]

Спасибо за интересное видео!

[@vadimchecherin5295]

ждем продолжение)

[@PythonToday]

Спасибо за интерес!

[@igora6367]

Непонятно, в чем заработок?

[@fatoldman340]

Как вариант развития, параллельно парсить несколько вкладок, чтобы снизить время работы

[@rebuilderowner78673]

И улететь в бан по ip за частые запросы)

[@_test_test]

я бы предложил искать толькл через xpath локаторы. например лучше искать ссылки не просто через указание клаасса в аттрибутах, а еще и передать, что это должен быть тег "а". избавит от лишних данных и мусора

[@lalalf4535]

Для product_name можно попробовать использовать метод get_text(strip=True). Для параметра сортировки можно использовать либу urllib и с помощью нее сразу передавать название товара и порядок сортировки

[@maximusmax2442]

Спасибо очень полезно!

[@ИванИванов-б8у4и]

А для каких конкретных целей нужен данный тип парсинга?

[@АртёмИвасечкин]

Скидки искать на определённый товар. Можно отстук в телегу сделать, когда найдёт.

[@darktmdarkness6952]

какой именно тип парсинга? Не очень понятно, что вы имеете ввиду. Если забирать данные о первых 10 товарах из выдачи озон? То там все просто - это нужно сейлерам ( продавцам ), что бы понимать есть ли в выдаче их товары, или о том, какие товары в топе выдачи и с какой ценной, или ориентироваться на их цену, выставляя свою и т.д.

[@faltudo]

@@darktmdarkness6952 у продавцов ОЗОН в личном кабинете есть возможность проверять на какой позиции их товар

[@koteanonim1810]

Поздравляю , вы написали самый медленный парсер.

[@nikolaydd6219]

Можно написать на Delphi (или C++), с многопоточностью и прокси. Кому надо - тот додумается)

[@ilyasminik]

Для чего это может пригодиться?

[@leitonk23]

Ага, вот и я посмотрел тоже и сижу такой 🗿

[@Chel1k7]

@@leitonk23 если тебе это не надо, то не значит, что никому не надо)

[@cryptohyde]

стесняюсь спросить ...а сколько времени понадобилось чтобы стянуть 10 товаров? Не меньше минуты... Минута! бро! на 10 карточек! а ресов селениум при этом жранул не хило так

[@RunBull]

у меня как то странно работает, запускаю 1 раз находит 10 ссылок, запускаю 2 раз находит 8 ссылок, 3 раз 12 ссылок и каждый раз по разному

[@gaben_aTan]

Автор начал использовать рефакторинг 👍👍👍👍

[@Redings_]

Прошу обновить плейлист по парсингу! По requests ещё более-менее, а вот по selenium очень сильно устарела информация.

[@TBRAK78]

Рекомендую попросить налоговую, хорошее развлечение :) хотя у них есть API но стоит оно неадекватно

[@markandsvwonick4950]

почему когда открываю файл с данными там просто скобочки

[@mychanel1999]

Недавно смотрел видео где схожую задачу на мегамаркете решали через реверс апи запросов, то есть скрипт опирался на api, почему делается именно через GUI скрипты?

[@konstantin1111]

Очень круто, спасибо! Асинхронная версия будет?

[@leogsa1]

Ребята, спасибо за ваше видео. Очень интересное. Есть пару замечаний, тем более, вы сами попросили - кто знает - помогайте, оставляйте коменты.

[@leogsa1]

Первое: вам надо добавить в пакеты setuptools. Ну и заодно добавить его в команду пип инсталл начиная с python 3.12 distutils удалили из стандартной библиотеки и у пользователей будет вылетать ошибка Module Not Found Error No module named distutils

[@leogsa1]

вобщем, я вам 3 пул реквеста добавил на гитхабе. тут постить код бесполезно. они сносят его за секунду.

[@leogsa1]

Четвертое: вы весь проект делаете в venv. А пользователям про это ничего не сказали. Там всего 2 команды для этого, но некоторые могут запутаться. Пятое, оно же последнее: вы бы в конце показали пользователям, как убрать появление браузера и как перевести его в полностью невидимый режим (headless). Окно браузера с самодвигающейся мышкой - для тестов очень даже неплохо и часто нужно. Но для реальной работы - скрипт должен в фоне там шуршать незаметно, а пользователь сидит за компом и занимается своими делами. А в этом варианте пользователь будет сидеть и грустно смотреть на занятый скриптом комп. Смысл ему от такой автоматизации? Но даже несмотря на всё вышеперечисленное - видео, повторюсь, полезное. Многим новичкам и не только - зайдет на ура. И мне зашло ) Спасибо. Жду новых видео про парсинг.

[@perehov]

У меня уже пол года - год как не работает undetected_chromedriver. Выдает ошибку, у всех все впорядке с ним? Без него не могу запустить хром со своим профилем и расширениями, что создает проблему при парсинге. 1) Подскажите у всех ли работает эта библиотека? 2) может есть другой способ запустить хром драйвер чтобы открывался хром с моим профилем и установленными активными расширениями хром

[@blackout1819]

У меня другой вопрос. Как питон может быть связано с пентестом?

[@olerak]

Подскажите, пожалуйста, кому может понадобится этот парсер на пайтоне?

[@_test_test]

тому, кто готов за это платить

[@СергоИваныч-к2ш]

Лучше курс по анализу данных на степике за 3 рубля 😊

[@alkash3301]

наверно глупая проблема, но все же. пробую написать кое что с помощью selenium и chrome, но при запуске кода он ничего не делает, т.е. не открывается браузер, ничего. с настройкой selenium это вроде не связано, т.к. драйвер есть, путь до него указан верно и все остальное правильно. может кто знает в чем проблема, пробовал искать в инете, ничего не помогло

[@serj-nf7ll]

Не проще api заюзать?

[@bloodyrevenge2324]

Очень хороший код

[@JonathanSulivan666]

На коком языке написано приложение озон для андроида ? Кто знает?

[@Coverast]

Скажи фразу с которой понятно что ты айтишник: скрайпер перегрузил мой самый быстрый ноут.

[@AlexeyRiched]

у меня такая ошибка при запуске TypeError: Binary Location Must be a String, видимо не видит где хром установлен

[@AlexeyRiched]

эту победил а вот эту не могу UnboundLocalError: cannot access local variable 'products_urls' where it is not associated with a value

[@narig89]

А есть парсер Яндекс маркета?

[@rand_name6734]

Пару лет назад, когда начал интересоваться Пайтоном, начал писать парсер комментариев с озона для одной своей идейки, но пока писал необходимость отпала. Так и не дописал((

[@loversoul8206]

Я совершенно ничего не понимаю в веб, объясните, почему используются полные версии страниц, а не их html? Можно ли с такой программой фоном работать, чтобы несколько скриптов одновременно работали?

[@_test_test]

не понял про полную версию страниц. есть несколько вариантов рендеринга информации на странице: client-side и server-side. в случае сервер сайд рендеринга страница подностью формируется и наполняется данными на стороне сервера и когда клиент делает запрос на страницу, то получает ее полностью, включая все данные. в случае клиенского рендеринга, на сервере формируется шаблон страницы с базовой структурой, после этого отправляется этот полу пустой шаблон и пачка джава скрипт файлов. когда юзер запрашивает страницу, то получает и шаблон и начинают выполняться скрипты по загрузке данных. если при парсинге делать только гет запрос на html, то в случае клиент сайд рендеринга получишь страницу без данных. для этого и используется селениум, который запускает отдельную версию браузера, чтобы тот все отрендерил и уже после рендера достал данные. фоном можно, зависит от ресурсов железа, на котором запускается скрипт. каждый инстанс браузера жрет допустим 300мб. вообще хз зачем я это пишу, когда любые вопросы можно задать чату жпт. больше не буду)

[@vinsetdelta]

Можете подсказать как можно сделать на vscode такой же терминал как у автора

[@krone_]

У автора тоже vscode)) Ты же можешь любой терминал поставить и настроить его дефолтным Скорее всего это кастомизированный zsh

[@abracadabra5491]

Подобная регулярка разве не сработает? r"\s*" Или r"\b\[w+ !?.,]\b" с добавлением нужных символов. По факту должен найти слова с пробелом и остальными символами, от пробела до пробела

[@evgeny3489]

каждый раз когда слышу средствАми"", кажеться, чсто сейчас будут говорить про смену финансового номера и заблокированные карты))))) А так хорошее видео))

[@rebuilderowner78673]

КажеТСя...

[@DreamingDolphing]

Numpy произносится "нам-пай".

[@tokosotomimo14]

ozon отдает json прямо в html странице, нужно просто указать куки и хедерсы. зачем для этого использовать драйвер?

[@RunBull]

можно по подробнее ?

[@davidhartman8698]

Проблема такой реализации - тебя настигнет капча, неприменно. Я бы на твоем месте как минимум парсил каждый отдельный товар, загрузив страницу через requests. А вообще по красоте было бы действительно разобраться в том как формируется поисковая строка (можно ручками открыть сразу несколько результатов поиска и посмотреть что общего у этих запросовв ссылке)

[@Sav_moto]

Почему в json файл? А можно в обычный вордовский док. записать данные?

[@ricardo-user]

потому что работать в дальнейшем удобнее либо с json либо с xls файлом, в большинстве случаев данные идут дальше для вывода где-то в дашборде или анализе цен, например. Тут больше от задачи, можно и в ворд и картинкой

[@_test_test]

да хоть в мп3 лол

[@MegaReenat]

Как устранить оишбку? ModuleNotFoundError: No module named 'distutils'

[@Matvei_Cherepanov]

тоже столкнулся с такой ошибкой. Она возникает, потому что в Python 3.10 и выше данную библиотеку удалили из стандартных библиотек. Попробуй обновить или установить setuptools мне помогло.

[@scitech_enthusiast]

А установить её никак самостоятельно?

[@Matvei_Cherepanov]

Она входит в setuptools, поэтому достаточно просто установить/обновить setuptools.

[@ДаняирТоломушев]

а где ты получаешь заказы ?

[@ДаняирТоломушев]

какая платформа ?

[@Jon_Britva]

У меня не работает Undetect_chromedriver, может из-за версии пайтона 3.12? P.S. За скрипт скроллинга отдельный респект.

[@ЯрославСмирнов-р7о]

не совсем понимаю, какой смысл парсить озон(и другие маркетплейсы), если на один и тот же товар для нескольких аккаунтов цифры будут различаться?

[@МишокЧинил]

это почему?

[@ЯрославСмирнов-р7о]

@@МишокЧинил я не совсем понимаю, на какой вопрос нужно дать ответ. Почему маркетплейсы так делают или почему нет смысла парсить 100 разных ценников на один и тот же товар?

[@darktmdarkness6952]

аналитика продавца, судя по тому что тут требуется именно выда из поисковой строки, и первые десять, ценик нужен что бы сопаставить со своим, если такие товары у продавца есть.

[@defuz9766]

Что такое парсинг?

[@blackout1819]

Последнее условие можно не писать. И так будет работать

[@salavatkhidiyatullin2643]

Я, честно, не понимаю, почему, при существовании такой удобной библиотеки, как Playwright, люди продолжают использовать Selenium.

[@PythonToday]

Как минимум потому, что озон блокирует последний месяц Playwright, во всякой случае мои парсеры. Вы пробовали сами?

[@gaben_aTan]

Я даже и не знал о такой библиотеке, селениум надежен и проверен временем 👍

[@exdevil3832]

Думал как раз пересмотреть свой код на playwright

[@vlatto6383]

Дружище, как я тебя понимаю. Использовать до сих пор селениум, это быть позорником в it

[@vlatto6383]

Обойти подобные блокировки не составляет особого труда. Слава богу fingerprint с этим помогает

[@andreifes1702]

Братан я за тебя

[@filmmoments5133]

здесь RPA очень бы пригодился

[@mcalexson]

лайк если орнул с юзера "kali"

[@AlexeyRiched]

мне нужен такой же только для яндекс маркет

[@SwenOwn]

Python знаю, как написать парсер - знаю, не знаю главного - нахрена? 😅 Хоть не в тему программирования, но как на этом можно заработать?

[@billybonka5153]

Вот мне тоже это интересно. Гуру программирования, подскажите, как вы зарабатываете на этом?

[@iscanderkov9656]

Тоже теряюсь в догадках. У меня одно объяснение, что парсить озон это просто как пример. Больше чем для курсовых работ студентам или для тестирования при приеме на работу я не нахожу в этом пользы.

[@Vanga-LDPR-aka-ZHIRINOVSKY]

Действительно, зачем это всё нужно? Если хочу что-то купить подешевле то есть фильтры, если продать то теги.

[@SeoLemma]

Например одни продавцы мониторят цены других продавцов, что бы вовремя скорректировать свои )

[@iscanderkov9656]

@@SeoLemma это можно штатными фильтрами делать

[@YaBatya1337]

Чет медленно, а что можно использовать для более быстрого парсинга?

[@ricardo-user]

предполагаю - многопоточность

[@dydai]

Друг, у тебя в описании написано "пупулярный"

[@yagohush7414]

все правильно. "популярный" - от "попа", "пупулярный" - от "пуп".

[@rebuilderowner78673]

​@@yagohush7414😂

[@MrKim-pt2vm]

Как отзывы выттягивать?

[@СергейШульга-ю5ю]

Так же само.

[@Markus0]

​@@СергейШульга-ю5ю Есть "так же", есть "то же самоЕ". А то, что вы все в одно смешали - это ужас

[@MrKim-pt2vm]

@@СергейШульга-ю5ю дай ссылку на свой github с кодом

[@MrKim-pt2vm]

​@@СергейШульга-ю5юне получилось

[@Otgonbayarin]

Не пойму для чего вообще нужны парсеры, если на самом сайте существует поиск товаров и то, что нужно можно быстро найти?

[@vimp1]

Чтобы можно было создать таблицу с инфой по товарам, с чем дальше можно работать, формируя свое предложение

[@disclip5219]

Привет, можешь помочь нам? Разработать автоподнятие на сайте Фарпост( доска объявлений). Как можно с вами связаться через соц. Сети?

[@soundze]

Напишите мне, помогу

[@Электрочайник]

Почему все программисты делают ударения не там, где нужно? Меня давно интересует этот вопрос. Они все говорят "стрОку", вместо "строкУ". А в этом видео автор пошел дальше. Вместо "удобной средЫ" у него "удобная срЕда"

[@davidola1814]

Я конешно не знаю но как меня учили работать с селениумом ты все обворачивпешь в трай экзепт и в файнали пишишь драйвер клос

[@davidola1814]

Может автор создаст дс серв кстати?

[@Bodhi-c3v]

Комментарий под видео

[@andreifes1702]

После 2 ой минуты я устал ржать и ушел

[@_test_test]

мне не хватило в начале контекста, почему не забрать данные по апи

[@darktmdarkness6952]

потому что в браузерном апи, тебя блокнут по tls-fingerprint, и обычному фингерпринту. топовые парсеры озонов и прочих, работают с мобильным апи, но как писать такие парсеры, никто никогда не раскажет, ибо это и есть самый прибыльный хлеб разработчиков.

[@easychanel787]

@@darktmdarkness6952а в чем проблема? Вытащить из андроид приложения апи?

[@funhistory-x8x]

Боже. Я думал почему у меня завершался сам по себе скрипт на селениуме, когда я автоматизировал отработку проект. Работал в авг около 4 часов в худшем случае и падал, а автор говорит, что у него с ожиданием от селениума тоже падает. ХМ

[@johnconnor632]

А с приложения api не даёт?

[@johnconnor632]

Чекнул. Там apk, над поковырять, разобрать генерации заголовков

[@_test_test]

кстати не понял прикола, что многие парсеры маскируются под запросы с моб приложения. единственное что приходит на ум - там нет куки и проще авторизация

[@johnconnor632]

@@_test_test в 90% случаев там открытое API, т.е данные получаешь в JSON. Если не отдает данные, запускаешь frid'у, обходишь ssl pinning и получаешь желанный доступ к api

[@Ира-е7ю]

все изучите на курсе яндекса, но работу не найдете))

[@andreifes1702]

Зачем это все ? Когда есть гпт !

[@dronovdmitry]

Гпт это для автора видео А видео чтобы монетизировать просмотры

[@ПодлыенарезкиЕгора]

Не представляешь как ты вовремя. У меня через пару дней будет тестовое задания для устройства на работу парсер для маркетплейсов. А тут ты с роликом. Я голову ломал как работать с динамично изменяющимися тегами и класами

[@Raizen-r3y]

нейросети просто существуют

[@PythonToday]

Знаете нейросети которые решают такие задачи?)

[@jacobguitarrero5233]

Я просил Llama 3.1 написать парсер Сделала, но косячно как-то Пришлось в ютубе искать И ваше видео как вовремя)

[@chentsov_ov]

@@PythonToday ChatGPT не смог собрать отзывы)

[@rebuilderowner78673]

Вот так всегда, пишешь проги и знаешь как это делается - нет клиентов, а тут у чела уже есть работа почти а он хз с какого края подойти...

[@user-bu3hzj734e4r]

Почему в видео, как заработать миллион, рекламируют курсы за 1т.р.? Хотя, о чем это я.. 😅

[@tudupidupu]

Диверсификация

[@alexsmitt2140]

озон, как и яндекс, а теперь как и вайлдериз - подконтрольные государству площадки и заработать там не удастся, т.к. где государство наложило свою руку - там будет деградация. Почему спустя годы, автор всё так и остался на уровне парсеров страниц в интернете? Где мотивирующие ролики по обходу блокировок, создание чего-то уникального....у вас же и так уже куча роликов про парсеры и боты вк...пора расти дальше, а не питаться постоянно молоком. дизлайк.

[@rebuilderowner78673]

Не хочется токсичить но соглашусь, парсеры это не так то и уровень программирования, собирать инфу... Ну такое. Вот создать сервис какой то полезный, объяснить простыми словами, вот дело

[@leogsa1]

Вы серьезно? я вам оставил развернутый комент про 5 ошибок в вашем скрипте и вы его сразу снесли? Вы ж сами просите - "помогите. исправьте. напишите в коментах"

[@PythonToday]

Комменты не удаляю, у ютуба ведь свой фильтр. Видимо что-то не понравилось :/

[@leogsa1]

@@PythonToday может быть. там были куски с кодом - может вирусом посчитал... попробую тогда еще раз )

[@leogsa1]

@@PythonToday не, это нереально. я уже полчаса сижу пытаюсь это отправить - оно сразу моментально удаляется. я уже и цитаты кода максимально заменил и сократил - всё равно. Ну ил ладно. Странно. Под видео о коде нельзя писать код... Вот это они перегнули с защитой.

[@leogsa1]

@@PythonToday Я вам 3 пул реквеста на гитхабе отправил. посмотрите, что я имел в виду.

[@evilLincoln]

Вроде Ютуб трет комменты где хеш есть похожий на id видео Ютуба. По крайней мере сам это замечал

[@rofl6233]

А для чего вообще нужно парсить маркетплейс? Может кто рассказать в чём тут заработок? 🙄

[@darktmdarkness6952]

чей заработок? Если автора, - то в выполнении заказа по написанию скрипта для парсинга. ЕСли заказчика, то скорее всего он продавец, и ему нужно вытягивать информацию для каких-то своих целей. В ручную он тратит на это кучу времени, проще автоматизировать. И да топовые и быстрые парсеры макретплейсов стоят дофига и пользуются достаточно большим спросом.

[@Сергей-у6ю6ф]

зачем нам это нужно не подскажите? парсинг товаров

[@Studio-d4g3g5]

Бесполезный парсер, быстро перестанет работать потому что озон часто меняет структуру и названия html элементов, + очень медленный

[@NHL4]

Подскажите, пожалуйста, а как это можно исправить? Писал парсер для сайта "зоозавр" такая же проблема была, что названия элементов часто менялись, чуть ли не каждый день

[@rebuilderowner78673]

​@@NHL4по элементу в массиве а не по имени его вызывать и все

[@_test_test]

аттрибуты динамичные - это да, но вот структура то та же самая) можно использовать xpath и идти по индексам вглубь

[@Планынадень-и1ж]

На озоне столько роботов...и выкупают кучу всего...плохо что магазин не борется против роботов..им плевать..

[@Toki-]

Если плкупают - хорошо, остальное плевать. Я б также глаза закрыл на это, выгодно ж)

[@tosick4]

Неужели за эти данные кто- то платит?

[@darktmdarkness6952]

да, но не за данные а за скрипты, которые это делают и делают быстро.

[@MrQuazar]

Нельзя так скачать библиотеку, запустить скрипт пойти попить чайку, а по приходу обнаружить: что взял все виды импотек, продал всю недвижку, и задонатил все бабки ВСУ и оформил заказ на прекурсы на свой домашний адрес? 😂

[@quickliker]

Вместо print лучше используй logging Разницы почти никакой, но это хороший тон, и показывает твой профессионализм