Парсинг: Как собрать данные с динамических сайтов? Практический урок на примере Wildberries

  Рет қаралды 36,749

The ParseHub

The ParseHub

Жыл бұрын

В этом видео я научу вас парсить динамические сайты, используя популярный онлайн-магазин Wildberries в качестве примера. Мы будем использовать язык программирования Python, библиотеку Requests для отправки HTTP-запросов и Pydantic для структурирования данных. Код будем писать используя ООП.
Погрузитесь в мир веб-скрапинга и узнайте, как получить ценные данные с сайтов, которые обновляются динамически
Приватные прокси за 99 руб: proxy6.net/?r=54545
Купон на скидку: SdSq8wCwJA
proxyline.net/?ref=212089
Купон для скидки: EYvdLcmgSy4tUcBP5uk
Поддержать канал:
yoomoney.ru/to/410014382689862
или
2204 1201 0103 5539
Контакт для связи: sergeichopolovich1989@gmail.com
#python #parsing #scraping #request #json #wildberries #pydantic #ооп

Пікірлер: 141
@the_parse_hub
@the_parse_hub Жыл бұрын
Исходный код: github.com/Duff89/wildberries_parser В видео есть ошибка: sale - это процент скидки, а не количество продаж
@user-vn2nx1yq9e
@user-vn2nx1yq9e 11 ай бұрын
я автору ролика уже говорил об этом
@user-gi2ud6od8o
@user-gi2ud6od8o 10 ай бұрын
Подскажите как выручку считают сервисы аналитики?
@the_parse_hub
@the_parse_hub 10 ай бұрын
@@user-gi2ud6od8o Приведите пример такого сервиса, посмотрю
@user-er7dv7ej3i
@user-er7dv7ej3i 9 ай бұрын
Предположу что сравнивают остатки товаров у продавцов за какой то промежуток времени и высчитывают разницу@@user-gi2ud6od8o
@user-vc1lw7wd2u
@user-vc1lw7wd2u 5 ай бұрын
Можете подсказать как считают кол-во продаж товара различные сервисы аналитики по типу mpstats, sellmonitor и тд, спасибо большое:)@@the_parse_hub
@lalfit4866
@lalfit4866 Жыл бұрын
Вау, это очень круто, продолжай в том же духе!🎉
@paleface_brother
@paleface_brother 11 ай бұрын
Это я удачно зашёл, большое спасибо!
@clandast2136
@clandast2136 Жыл бұрын
Спасибо большое за видео, очень помогаешь, продолжай дальше.
@Loony666Noob
@Loony666Noob 11 ай бұрын
Очень крутой контент! Спасибо огромное за наглядный пример, лайк и подпишусь обязательно! =) 🔥
@non5309
@non5309 10 ай бұрын
приятная подача, хороший материал, спасибо за видео!
@qevinskvad9012
@qevinskvad9012 11 ай бұрын
Канал просто супер. Ты крутой мужик
@user-bb4tk8ve5f
@user-bb4tk8ve5f 11 ай бұрын
ВАУ наконец то нужное видео на ютубе
@hikabu2965
@hikabu2965 11 ай бұрын
Спасибо!!!!!не мог написать код для парсера динамического сайта, наткнулся на твоё видео и все получилось!🎉🎉🎉 Спасибо тебе,жду следующих уроков
@the_parse_hub
@the_parse_hub 11 ай бұрын
Рад был помочь
@dominiquediaz7506
@dominiquediaz7506 7 ай бұрын
Спасибо дружище, очень интересный парсинг, попробую такое на js написать
@user-uj5oq2vv4f
@user-uj5oq2vv4f Жыл бұрын
Привет, Минск комары 🤗красава 🤗😎
@promanplayer8064
@promanplayer8064 11 ай бұрын
Круто, думал как-то заняться парсионгом, но так руки и не дошли
@sainco3036
@sainco3036 11 ай бұрын
👍
@diatm1506
@diatm1506 6 ай бұрын
Pandas тоже норм для работы с данными. Спс за pydentic. Интересно если ещё и по asus gigabyte, asrock пройтись или по всем брендам которые там есть)))
@MrYtkonos
@MrYtkonos 5 ай бұрын
Отличное видео, очень не хватает таких подробных разборов на конкретных примерах, спасибо большое! А можно парсить сразу в гугл таблицу?
@the_parse_hub
@the_parse_hub 5 ай бұрын
Спасибо! Парсить сразу в гугл-таблицу конечно можно, нужно переписать методы сохранения в моём проекте. Если сами не сможете, попросите Chatgpt, он должен справиться
@AydarSadrtdinov
@AydarSadrtdinov 11 ай бұрын
Доброго здравия. Подписался, очень интересно и доходчиво объясняешь. Спасибо. Одна просьба: плохо слышу - напиши пожалуйста каким пакетом IDE пользуешься, а то чувствую мой блокнот++ не особо будет удобен при изучении питона. Спасибо ещё раз.
@the_parse_hub
@the_parse_hub 11 ай бұрын
Спасибо. Использую Pycharm
@latyp3116
@latyp3116 10 ай бұрын
Приветствую! Написал парсер для вб по данному примеру для каталога товаров, при открытии csv файла обнаружил, что на каждый объект приходит в среднем около 4000 объектов с одинаковым id и другими атрибутами. Есть ли возможность в конечном файле видеть только уникальные объекты, не применяя запросы и или фильтры (для файла xls)?
@the_parse_hub
@the_parse_hub 10 ай бұрын
Скорее всего один товар может быть в разных категориях, наверное из-за этого такое случается. Как вариант, можно использовать set при сохранении или хранить список всех уже сохранённых товаров. Также можно сохранять в БД с уникальным полем id
@user-er7dv7ej3i
@user-er7dv7ej3i 9 ай бұрын
Спасибо за подробный разбор, как для новичка (учу питон месяца 2) , реализация через классы пока кажется довольно сложным. Еще столкнулся с проблемой, пишу на vs code и там модуль pydantic не работает, пишет что устарела функция .parse_obj (или может я не верно импортировал?) попробую без него разложить json по ключам , но уже завтра )
@the_parse_hub
@the_parse_hub 9 ай бұрын
Попробуйте вместо .parse_obj использовать .parse_raw
@user-er7dv7ej3i
@user-er7dv7ej3i 9 ай бұрын
К сожалению такая же ошибка, эту функция перечеркнута в vs code, уже пробовал и без вириальной среды и все равно получаю вот такую ошибку: PydanticDeprecatedSince20: The `parse_raw` method is deprecated; if your data is JSON use `model_validate_json`, otherwise load the data then use `model_validate` instead. Deprecated in Pydantic V2.0 to be removed in V3.0. В любом случаи ваш урок был очень полезным для меня, попробую написать это по своему, с помощью функций, и модулей с которыми я уже знаком. Тут главное, что я понял ту идею парсинга, где все можно через api и json вытащить. @@the_parse_hub
@the_parse_hub
@the_parse_hub 9 ай бұрын
@@user-er7dv7ej3i всегда можно установить какую-то конкретную версию, например так: pip install pydantic=2.0
@user-er7dv7ej3i
@user-er7dv7ej3i 9 ай бұрын
Спасибо, помогло, установил версию pydantic==1.10.8 , как у вас на гитхабе указанно, все заработало. Теперь для практики напиши парсер пользуясь тем, что изучил на данный момент.@@the_parse_hub
@Fgu-ynP-3vbzI-56
@Fgu-ynP-3vbzI-56 9 ай бұрын
Благодарю - бесплатная версия PyCharm для этих целей подойдет?
@the_parse_hub
@the_parse_hub 9 ай бұрын
Конечно
@Zdravmag
@Zdravmag Жыл бұрын
Здравствуйте, каша в голове) пазл не складывается) без class - ов тоже самый код можно написать? В других видео про парсинг их не пишут. Спасибо за урок
@the_parse_hub
@the_parse_hub Жыл бұрын
Добрый день. Где-то классы пишут, где-то нет, это уже выбор каждого. Но если Вы будете работать программистом в компании, код без классов будете писать довольно редко. Я очень хочу записать урок про базу ООП, т.е просто донести суть, без лишний деталей, но всё время откладываю этот момент
@Loelir
@Loelir 10 ай бұрын
Спасибо! Это очень круто! А что учитывать в коде при парсинге раздела "Компьютеры и моноблоки" на Вайлдберриз? Я учусь на аналитика данных, и у меня горит диплом, потому что не получается собрать id, название, цену, количество продаж, рейтинг компьютера, продавца, рейтинг продавца, технические характеристики, диагональ компьютера.
@the_parse_hub
@the_parse_hub 10 ай бұрын
Спасибо! Для начала посмотрите вторую часть данного видео kzbin.info/www/bejne/oWSzZZ-or9-rpKs&ab_channel=TheParseHub, там идет сбор всех товаров одного продавца, заодно увидите где там рейтинг находится. Количество продаж, насколько я помню, идет отдельным запросом
@Loelir
@Loelir 10 ай бұрын
@@the_parse_hub написала вам на почту
@somebody5186
@somebody5186 11 ай бұрын
Здорово. А для просмотра кода на сайте нужна именно версия ПРО или обычного F12 достаточно ? А то получить эту ссылку с каталогом не получилось. Я только делаю первые шаги в этой области. Спасибо.
@the_parse_hub
@the_parse_hub 11 ай бұрын
Для просмотра кода на сайте нужен обычный браузер . А если Вы имели ввиду PyCharm, то бесплатной версии хватит с головой. Ну а если захочется большего, а денег нет, всегда можно побыть пиратом
@Dan-by1rd
@Dan-by1rd 10 ай бұрын
Решил тоже сделать парсер, наткнулся на ваш ролик, один из самых толковых на ютубе. Не подскажете как спарсить картинки?
@the_parse_hub
@the_parse_hub 10 ай бұрын
Спасибо! Буквально через пару дней выйдет новое видео про WB, там я затрону все вопросы про которые спрашивали в комментариях (про картинки тоже будет)
@the_parse_hub
@the_parse_hub 10 ай бұрын
Вот видео про это: kzbin.info/www/bejne/eGnRqYGBbraIZsU
@Dan-by1rd
@Dan-by1rd 10 ай бұрын
@@the_parse_hub спасибо
@user-gw4ve2uz7b
@user-gw4ve2uz7b 2 ай бұрын
Как сделать, чтобы питон сам вписывал в поисковую строку сайта нужное нам слово (например название товара) и только потом собирал инфу?
@the_parse_hub
@the_parse_hub 2 ай бұрын
Для таких целей можно использовать эмулятор браузера, к примеру selenium или playwright, но гораздо правильнее будет проанализировать запросы. Вот например запрос по слову "nike", дальше думаю сами разберетесь: search.wb.ru/exactmatch/sng/common/v4/search?ab_testing=false&appType=1&curr=byn&dest=-3626404&query=nike&resultset=catalog&sort=popular&spp=30&suppressSpellcheck=false&uclusters=0&uiv=2
@ruvensambora
@ruvensambora 5 ай бұрын
всё очень доступно и подача класс! хотелось бы парсер розетки и хотлайна увидеть)
@Loony666Noob
@Loony666Noob 2 ай бұрын
Правильно понимаю, что один раз используя curl запрос мы автоматически получаем хедеры и параметры запроса, с помощью которых делаем запрос на API -> получаем JSON ответ и просто разбираем его. А если вдруг понадобится парсинг 50 страниц, то просто добавляем в словарь params параметр page и потом его инкрементируем и посылаем также запросы, разбирая данные от json словарика. Верно? А если заказчик захочет спарсить другую категорию, то curl запрос видоизменится же и парсер перестанет работать? В таких случаях заказчик за небольшую копеечку может попросить его починить для другой категории или как это всё происходит на фрилансе? (Новичок, ни разу не брал заказов еще, интересны эти моменты =) )
@the_parse_hub
@the_parse_hub 2 ай бұрын
1-я часть - суть поняли правильно. 2-я часть про заказы, здесь всё зависит от конкретного заказа. Кому-то нужно регулярно парсить какой-то один конкретный магазин\категорию\бренд и т.д. , кому-то нужен универсальный парсер, типа такого: kzbin.info/www/bejne/fp-pfXl4lpekjJI , где почти любую ссылку вставил и получил результат. По-разному бывает
@Loony666Noob
@Loony666Noob 2 ай бұрын
@@the_parse_hub Ага, понял, спасибо большое за разъяснение!
@EvgeniySakharov
@EvgeniySakharov 5 ай бұрын
Здравствуйте. Вопрос автору ролика: Как можно посчитать дату доставки из этого json? В нем есть вот такие строки: 'time1': 22, 'time2': 74, 'dist': 1352,. Я так понимаю именно они отвечают за дату доставки. Получается приблизительная дата, но это ни то. Ни могу понять, как посчитать. Что касается ролика, подписан давно. дифирамбы петь не умею, буду краток - СУПЕР! Через ваши ролики начал понимать ООП. Огромное спасибо и куча + к Вашей карме..
@the_parse_hub
@the_parse_hub 5 ай бұрын
Спасибо! Насчет даты доставки: глубоко в этом направлении я не копался, да и задачи у меня такой не было. Но, насколько я помню, там в js скриптах (что-то типа delivery_service.js) можно найти функцию вычисления даты доставки, на вход функция принимает 2 значения (часы и дни), делает несколько проверок и выдает дату в человекочитаемой формате. Поэтому смею предположить, что time1 - это часы, time2 - дни или наоборот (но что-то они подозрительно большие у Вас). Еще раз повторю - это только мои предположения и я в них не уверен
@user-gi2ud6od8o
@user-gi2ud6od8o 10 ай бұрын
Здравствуйте, как на счет количества покупок не понял как называется индекс, подскажите пожалуйста? Или это расчетное число исходя из убывания остатков?
@the_parse_hub
@the_parse_hub 10 ай бұрын
Спасибо! Буквально через пару дней выйдет новое видео про WB, там я затрону все вопросы про которые спрашивали в комментариях
@user-hy9bz4wb9i
@user-hy9bz4wb9i 2 ай бұрын
Здравствуйте, уже который день пытаюсь настроить ваш код, что бы давал возможность вставлять не одну, а допустим несколько ссылок для парса, что бы выводило все в одну таблицу. Можете подсказать как это сделать?
@the_parse_hub
@the_parse_hub 2 ай бұрын
Изменить логику скрипта: т.е сначала сделать парсинг всех ссылок, потом сложить все результаты в один и уже сохранить
@user-cl1gn5mt7b
@user-cl1gn5mt7b 6 ай бұрын
Вот замиюсь парсингом, отличное видео! вот только у меня почему то пишет путь в ссылке а не описание
@the_parse_hub
@the_parse_hub 6 ай бұрын
Как оказалось есть различия в ru и by версиях. Посмотрите следующие видео в этом плейлисте, там я показываю многие интересные моменты
@user-cl1gn5mt7b
@user-cl1gn5mt7b 6 ай бұрын
@@the_parse_hub па спасибо
@igorigorev8414
@igorigorev8414 Жыл бұрын
Нужно снять про амазон
@the_parse_hub
@the_parse_hub Жыл бұрын
амазон интересный, но большой) что конкретнее там искать?
@user-co3jn6ez7w
@user-co3jn6ez7w 10 ай бұрын
Приветствую Вас! Можете разъяснить 2 момента: при запуске СПИСАННОГО кода изменённого под РУ версию WB выдаёт "RequestsJSONDecodeError" и получившийся файл не раскодируется под читаемый формат. И как я могу посмотреть этот файл json с которого мы выбираем пункты(id/brand/sale/...) в VSCode(Если вы можете конечно , а то у вас PY CHARM , а я с этой студией доматался😃😃)
@the_parse_hub
@the_parse_hub 10 ай бұрын
Добрый день! Оказалось, что в версии RU и BY есть некоторые отличия, чтобы окончательно не запутаться, я снял вторую часть про WB, там где уже забираем все товары одного продавца и делал это на RU версии. Может это Вам поможет: kzbin.info/www/bejne/oWSzZZ-or9-rpKs
@user-co3jn6ez7w
@user-co3jn6ez7w 10 ай бұрын
@@the_parse_hub попробовал скопировать ваш код с гитхаба, не работает. Думаю , что дело всё-таки в JSON encoder , которого у меня в VSCode - видимо нет.
@user-co3jn6ez7w
@user-co3jn6ez7w 10 ай бұрын
​@@the_parse_hub , так же хочу поблагодарить Вас, за предоставленную информацию. Подписался на вас в гитхабе/ютубе❤ Если есть ещё площадки с вашим трудом , закрепите их пожалуйста где либо. Очень заинтересовали своей подачей, желаю дальнейших успехов и развития!👍👍👍👍👍
@user-er7dv7ej3i
@user-er7dv7ej3i 9 ай бұрын
В vs code возможно есть какой то плагин для просмотра json, но я просто сохранял его и открывал, как отдельный файл
@the_parse_hub
@the_parse_hub 9 ай бұрын
@@user-er7dv7ej3i Я не пользуюсь vs code, но плагины для работы с json в нем явно есть, вот например marketplace.visualstudio.com/items?itemName=ClemensPeters.format-json
@nohtyp_gniyduts838
@nohtyp_gniyduts838 7 ай бұрын
как поступить в ситуации, когда захожишь на динамический сайт под своим аккаунтом, копируешь cURL. далее конвертирует его и работаешь с информацией на сайте. А сайт настроен так, что через некоторое время он тебя деавторизирует и всю игру с копированием приходится повторять сначала. Если я правильно понимаю куки работают только некоторое время. Возможно ли это обойти?
@the_parse_hub
@the_parse_hub 7 ай бұрын
Как правило, при авторизации выдаётся токен, который живет определенное время, после чего его нужно получить заново. Т.е. нужно найти POST запрос который отправляет логин+пароль на сервер и получает токен. Естественно, на разных сайтах это может быть реализовано по-разному
@nohtyp_gniyduts838
@nohtyp_gniyduts838 7 ай бұрын
@@the_parse_hub те избежать ручного копирования cURL и его конвертации с последующим добалением в код не получится?
@leksmut
@leksmut 11 ай бұрын
Добрый день, а если надо парсить личный кабинет (заказы) т.е. под логином вайлбериз. Таким методом наверно не получится? Есть ли на стороне браузера расширения автоматизации для обхода страниц авторизованным пользователем? Кстати цены на карты могут отличаться для залогиненного пользователя и для анонимного гостя как в вашем случае.
@the_parse_hub
@the_parse_hub 11 ай бұрын
Это можно решить таким же способом, т.е через requests или selenium
@user-wc1kx5zr3k
@user-wc1kx5zr3k 10 ай бұрын
под selenuim логинишься (куча в инете примеров) и дальше парсишь,
@stopweighttv8382
@stopweighttv8382 10 ай бұрын
@@the_parse_hub при запросе через Postman вношу в Headers токен (Bearer) и куки (взял из dev tools после авторизации на WB), но не получается из-под Postman авторизоваться (при этом статус ответа 200). В какую сторону копнуть, где может быть проблема? Или может запишите короткое видео на эту тему?
@the_parse_hub
@the_parse_hub 10 ай бұрын
@@stopweighttv8382 Я подозреваю, что дело может быть во времени жизни токена, но может быть и не только. В следующем видео про WB постараюсь показать данный момент
@stopweighttv8382
@stopweighttv8382 10 ай бұрын
@@the_parse_hub беру актуальный токен (захожу позже с браузера, токен тот же). Подозреваю, что прописываю headers в запрос Postman неверно. Подскажите, когда планируете видео записать?
@user-oj7tq3lu3y
@user-oj7tq3lu3y 11 ай бұрын
внутренность сайта Wildberries
@connect_with_wolf
@connect_with_wolf 11 ай бұрын
Целый день смотрю это видео.))) Пытаюсь сделать тоже самое. Но я это делаю с русским WB. А русский и белорусский WB - это разные вещи оказывается. У русского сайта брэнд пишется msi и есть литерал (у вас 27445 и без литерала). Я посмотрел и увидел на сайте файл msi.json (в том же месте: network>xhr ). В нем вся инфа. Но как его скачать пока не понятно...
@the_parse_hub
@the_parse_hub 11 ай бұрын
В ру версии ВБ id бренда нигде не видно на сайте, а в бел версии он есть, но это не повод думать, что ВБ победил) Есть простой вариант его узнать: response = requests.get('static.wbstatic.net/data/brands/asus.json') brand_id = response.json()['id'] Вместо asus просто подставьте свой бренд. И кстати примерно через час будет новое видео про WB
@connect_with_wolf
@connect_with_wolf 11 ай бұрын
@@the_parse_hub Спасибо, Друг....))))))) Все получилось!!!!!!!!!
@EvgeniySakharov
@EvgeniySakharov Жыл бұрын
Круто! Снимаю шляпу. Взорвите свой канал. Просто, напишите в названии видео три заглавные буквы ООП! Ну правда. Задолбали уже эти собачки да кошечки в ООП. Ну ведь ни чего не понятно. А тут живой парсер. Пожалуйста, подписывайте ООП. Я подписан и лайк поставлен. А, еще роботы задолбали.
@misterbobrust
@misterbobrust 11 ай бұрын
бот
@user-lc6oj7vr4d
@user-lc6oj7vr4d 11 ай бұрын
@@misterbobrust Что значит бот? Кому это адресовано?
@misterbobrust
@misterbobrust 11 ай бұрын
@@user-lc6oj7vr4d скрипт
@user-cl1gn5mt7b
@user-cl1gn5mt7b 6 ай бұрын
​@@misterbobrustпо скрипту идёшь?
@thepowerofthought4151
@thepowerofthought4151 2 ай бұрын
Как создать парсер с Букмекерской Конторы,который создает сопротивление?
@the_parse_hub
@the_parse_hub 2 ай бұрын
какое сопротивление?
@user-bf3qu1to4n
@user-bf3qu1to4n 10 ай бұрын
Здравствуйте, спасибо за контент! Можете подсказать как исправить ошибку : brand_id = re.search(regex, url)[0] ~~~~~~~~~~~~~~~~~~~~~^^^ TypeError: 'NoneType' object is not subscriptable
@the_parse_hub
@the_parse_hub 10 ай бұрын
Добрый день! В ру версии ВБ id бренда нигде не видно на сайте, а в бел версии он есть, но это не повод думать, что ВБ победил) Есть простой вариант его узнать: response = requests.get('static.wbstatic.net/data/brands/asus.json') brand_id = response.json()['id'] Вместо asus просто подставьте свой бренд. Можете просто вставить данную ссылку в браузер и посмотреть, что он отдает
@user-bf3qu1to4n
@user-bf3qu1to4n 10 ай бұрын
@@the_parse_hub Спасибо))
@Roma-so1qo
@Roma-so1qo 8 ай бұрын
это плагин такой? я не могу так json открыть
@the_parse_hub
@the_parse_hub 8 ай бұрын
Возможно эта фишка есть только в pro версии PyCharm, нет под рукой бесплатной версии чтобы проверить. Можете попробовать поискать плагин или пользуйтесь Postman
@user-ed1dt9bc1h
@user-ed1dt9bc1h 10 ай бұрын
Спасибо за урок. Двоякое чувство. с одной стороны разбираете элементарнийшие вещи (гет запрос + парсинг json) что подразумевает очень низкий уровень зрителя, с другой делаете это через через кучу классов, и библиотек, разбавив это декоррированием... Очень спорный подход для понимания новичком.
@the_parse_hub
@the_parse_hub 10 ай бұрын
Спасибо за комментарий! Я заранее понимаю, что всем не угодишь, но объясню свою точку зрения на это. Я стараюсь не только показать, как можно написать парсер WB(get запрос и json), но и как использовать какие-то другие инструменты для улучшения кода. В этом видео, к примеру, это был Pydantic. В видео по решение капчи через нейросети использовал наследование в ООП и т.д. Причем заметьте, это всё показываю на именно реальных примерах с реальной задачей (а не на абстрактных котиках-собачках) и не затрагиваю сразу весь функционал, чтобы зритель не подумал: какой-то сложный этот Pydantic, ну его нафиг. Ну и судя по соотношению лайков\дизлайков такое положение дел устраивает 99.3% зрителей. PS: этот канал еще очень молодой и и всё может поменяться)
@user-ed1dt9bc1h
@user-ed1dt9bc1h 10 ай бұрын
@@the_parse_hub Спасибо за ответ. Я понял вашу точку зрения.
@user-uo3pv4js4j
@user-uo3pv4js4j Ай бұрын
Уже не работает код к сожалению, изменили структуру URL
@the_parse_hub
@the_parse_hub Ай бұрын
Бывает, в парсинге иногда что-то меняется. Но главное же не код в данном случае, главное - понять как это всё работает
@antioffz
@antioffz 6 ай бұрын
40:48 30 строка 1 табуляция лишняя(
@the_parse_hub
@the_parse_hub 6 ай бұрын
Ну это мелочи
@tokosotomimo14
@tokosotomimo14 3 ай бұрын
конечно можно было бы гораздо проще сделать без классов и моделей, но так тоже нормально
@the_parse_hub
@the_parse_hub 3 ай бұрын
Конечно можно
@user-cz8pg1xf2y
@user-cz8pg1xf2y 11 ай бұрын
Сколько занимаетесь программированием?
@the_parse_hub
@the_parse_hub 11 ай бұрын
Сложно ответить точно. Помню, что начинал учить Python в году 2017, но далеко не всё это время занимался программированием
@user-cz8pg1xf2y
@user-cz8pg1xf2y 11 ай бұрын
@@the_parse_hub вы лютой, сам осознанно изучаю месяц только)
@the_parse_hub
@the_parse_hub 11 ай бұрын
@@user-cz8pg1xf2y значит все впереди. Главное постоянно искать как применить изученную теорию на практике и всё будет хорошо
@karandalliik
@karandalliik 11 ай бұрын
На самом деле здорово. Давно думал вб по парсить, часто на биржах запросы есть. Ооп уже используется по полной и теперь постоянно, а вот датаклассы и пайдентик, тем более, еще учить и учить. Интересно сделано, мой мозг, поа, не все понимает как, но все же понимает. На вб есть вообще блоки на парсинг какие? Айпи, заголоки, подписи какие в запросах? Может проще снифать приложение андроид и уже делать парсинг по апи запросам ? - чаще всего там совсем чуть чуть данных туда сюда гоняется и запросы быстрее, хотя, сам еще не снифал вб и хз есть ли там защита какая в коде апк... Интересно тоже же) А там декомпиляция, поиск всех защит, снятие, компиляция и все очень весело)))
@the_parse_hub
@the_parse_hub 11 ай бұрын
Спасибо! Насчет парсинга через api - так я же именно его и использую в данном видео. Насчет защиты - её на ВБ нет
@karandalliik
@karandalliik 11 ай бұрын
@@the_parse_hub Как же? Вы брали именно в стеке только xhr запрос - разве это апи ? Приложение все таки чуть по другому работает. Если по снифаете, то увидите как там все проще. Конечно, зависит от приложения, но, чаще всего, запросы там проще
@the_parse_hub
@the_parse_hub 11 ай бұрын
@@karandalliik Это и есть именно api. В приложении +- будет всё также. Я сильно сомневаюсь, что в приложении ВБ решили прописать другие пути получения данных. Да и куда уже проще чем здесь? Кстати советую посмотреть вторую часть данной темы, может станет немного понятнее: kzbin.info/www/bejne/oWSzZZ-or9-rpKs&ab_channel=TheParseHub
@karandalliik
@karandalliik 11 ай бұрын
@@the_parse_hub Ок. Спасибо Гляну Общение apk с сервером значительно веселее
@the_parse_hub
@the_parse_hub 11 ай бұрын
@@karandalliik Согласен, сама тема с apk интересная, но пока не было у меня еще такой задачи
@user-wc1kx5zr3k
@user-wc1kx5zr3k 10 ай бұрын
Только сейчас заметил что автор нигде вроде не использовал BeautifulSoup)
@the_parse_hub
@the_parse_hub 10 ай бұрын
Всё верно, пока его не использовал. Но дойдет очередь и до BeautifulSoup
@diatm1506
@diatm1506 6 ай бұрын
beautifulsoup, lxml, selenium, proxy тут и не нужны)
@diatm1506
@diatm1506 6 ай бұрын
@@the_parse_hub может onlinetrade? Там потруднее будет)
@dicloniusN35
@dicloniusN35 6 ай бұрын
орехи сложнее спарсить чем видеокарты)
@the_parse_hub
@the_parse_hub 6 ай бұрын
может быть) на орехи у меня пока заказа не было
@TheStrix1
@TheStrix1 10 ай бұрын
у авторизированных пользователей цена будет всегда другой - почему это в видео не продумали ((
@the_parse_hub
@the_parse_hub 10 ай бұрын
В одном видео всё не предусмотришь, уже есть 2 часть данного видео, где показан парсинг всех товаров одного продавца. На очереди другие видео по данной тематике, про авторизацию тоже будет
@qevinskvad9012
@qevinskvad9012 11 ай бұрын
Давай отслеживание цен продавцов. И парсинг на сокетах
@the_parse_hub
@the_parse_hub 11 ай бұрын
Сформулируйте идею насчет отслеживания цен конкретнее, как это должно выглядеть?
@qevinskvad9012
@qevinskvad9012 11 ай бұрын
@@the_parse_hub на фрилансе часто видел как просят поставить парсинг цен товаров конкретного продавца конкурента и создать алгоритм который будет чуть снижать цену
@the_parse_hub
@the_parse_hub 11 ай бұрын
@@qevinskvad9012 Согласен, задача интересная, правда здесь явно нужен доступ в личный кабинет продавца, чтобы можно было автоматически ставить цену. Но если стоит задача в выгрузке всех товаров конкретного продавца с ценами, остатками и пр., то да, это я планирую показать
@qevinskvad9012
@qevinskvad9012 11 ай бұрын
@@the_parse_hub у меня вопрос. На сайте стоит защита от ботов (типо cloud flare) я обошел ее с помощью undetected chrome driver, там товаров около 200тыс нужно спарсить в Эксель, но насколько я помню undetected chrome driver это надстройка над силениумом, а значит он медленный, как решить это чтоб я не ждал 2 дня парсинг 😄
@the_parse_hub
@the_parse_hub 11 ай бұрын
@@qevinskvad9012 использовать несколько процессов к примеру, ну а лучше все таки искать api
@blackspace9538
@blackspace9538 11 ай бұрын
Круто, но sale в данном случае обозначает процент скидки, а не кол-во продаж
@the_parse_hub
@the_parse_hub 11 ай бұрын
Перепроверил информацию, Вы правы! Спасибо! В следующем видео про WB обязательно сообщу про эту ошибку и сейчас обновлю информацию в закрепленном комментарии
@adexitum
@adexitum 11 ай бұрын
@@the_parse_hub Забыл закрепить коммент)
@the_parse_hub
@the_parse_hub 11 ай бұрын
@@adexitum Почему? Это есть в закрепленном комментарии, просто он может быть только один, поэтому добавил информацию в него
@user-vn2nx1yq9e
@user-vn2nx1yq9e 11 ай бұрын
реклама вилдбериес
@the_parse_hub
@the_parse_hub 11 ай бұрын
Меня раскусили) Wb с посещаемостью 10 млн в день нашёл мой канал, у которого 470 подписчиков и заказал на нем рекламу
@rosimport
@rosimport 10 ай бұрын
@@the_parse_hub 🤣🤣🤣 Не, это не вас раскусили. А Wild Berries. Секрет их успеха.
@soleyfan
@soleyfan 11 ай бұрын
Третий раз перезаливаю коммент, потому что его по необъяснимым мне причинам удаляет сам ютуб. Если брать русскую версию сайта ВБ, а не белорусскую, то после ссылки на сам сайт там идет "/brands/msi/all", а не "/catalog?brandpage=27445__MSI". Как и где в таком случае брать айди бренда в ссылке которую нам будет передавать пользователь?
@the_parse_hub
@the_parse_hub 11 ай бұрын
Кстати да. Очень интересный момент. В ру версии ВБ id бренда нигде не видно на сайте, а в бел версии он есть, но это не повод думать, что ВБ победил) Есть простой вариант его узнать: response = requests.get('static.wbstatic.net/data/brands/asus.json') brand_id = response.json()['id'] Вместо asus просто подставьте свой бренд
@soleyfan
@soleyfan 11 ай бұрын
​@@the_parse_hub спасибо)
@pampampam12
@pampampam12 11 ай бұрын
@@the_parse_hub пишет, что запрошенной страницы не существует(
@user-bm6bg1el8e
@user-bm6bg1el8e 11 ай бұрын
Может быть кто-то может объяснить что означают остальные значения в том json файле, к которому мы обращаемся? brand: "MSI" //Название бренда brandId: 27445 //ID бренда colors: [] //? цвет diffPrice: false //? dist: 47 //? feedbacks: 0 //Кол-во отзывов id: 135479545 //ID товара, используется для построения ссылки на товар kindId: 0 //? ksort: 51000 //? log: {promoAmount: 0} //? logisticsCost: 0 //? name: "Ноутбук GF63 Thin 11UD-254XRU 15.6\" i5-11400H 8 256Гб" //Название товара panelPromoId: 160544 //? pics: 11 //Кол-во изображений priceU: 8818000 //Цена без скидки promoTextCard: "ЛЕТНИЕ СКИДКИ" //? наименование акции promoTextCat: "ЛЕТНИЕ СКИДКИ" //? наименование акции rating: 0 //Рейтинг целое число, показывается звездами reviewRating: 0 //Рейтинг число с плавающей точкой root: 116200439 //? sale: 21 //Процент скидки saleConditions: 11 //? salePriceU: 6966200 //Цена со скидкой siteBrandId: 37445 //? sizes: [{name: "", origName: "0", rank: 0, optionId: 231667230, wh: 119261,…}] //? размеры subjectId: 2290 //? subjectParentId: 6238 //? supplierId: 81939 //ID продавца time1: 16 //? time2: 22 //? volume: 206 //? количество товара __sort: 86452 //? Если кто-то что-то знает, пишите - буду дополнять
@user-gi2ud6od8o
@user-gi2ud6od8o 10 ай бұрын
volume: 206, это вот мне не очень понятно. Если парсить именно инфу в карточке товара, там будет количество товара и раскладка/наличие по складам, так вот эти числа не совпадают, предполагаю, не понимаю что это за объём.
Простой парсинг сайтов на Python | requests, BeautifulSoup, csv
1:11:50
Андрей Андриевский
Рет қаралды 132 М.
The Noodle Stamp Secret 😱 #shorts
00:30
Mr DegrEE
Рет қаралды 62 МЛН
[Vowel]물고기는 물에서 살아야 해🐟🤣Fish have to live in the water #funny
00:53
Normal vs Smokers !! 😱😱😱
00:12
Tibo InShape
Рет қаралды 92 МЛН
Stupid man 👨😂
00:20
Nadir Show
Рет қаралды 29 МЛН
File System or FS Module in Node JS | Node Js Tutorial
4:18
The Noodle Stamp Secret 😱 #shorts
00:30
Mr DegrEE
Рет қаралды 62 МЛН