Парсинг без программирования II. WebScraper

[@Bogdan-fq9go]

спасибо за ваш труд! как просили, просьба-совет по улчшению: пожалуйста немного помедленнее показывайте свои действия на компе. иногда тяжело понять, что вы сделали и приходится пересматривать на замедленном воспроизведении. А в принципе очень круто 👍

[@elza-m4z]

Супер, спасибо

[@sergeiss6236]

спасибо за видео, не забывай ссылочку на видос добавлять в чат, что бы вовремя узнать о нем. очень жду урок про регулярку

[@usota]

Спасибо, поделюсь) Про регулярки самому бы хорошо подучиться )

[@Darya_lukina]

Не нужно убирать лицо ☺️ интересно смотреть на человека который рассказывает такие интересные вещи. Кому не нравится, можете не смотреть, не нужно других этого лишать.

[@55555qvazar]

Да Бро! Человек раскрывается и делится полезным контентом. 🤝

[@МаратАрти]

Евгений, как всегда все супер. Узнал даже про некотрые моменты которые не знал. Будем пробывать!Благодарю!

[@usota]

Спасибо 🙏

[@andreyberdnikov600]

Спасибо за материал! Помог разобраться 🤝

[@UtkaMF]

Спасибо. Понял за первые несколько секунд с авито)

[@McMaruhin]

С регулярными выражениями вообще круто)

[@R.Y..V.1992]

Очень актуально, спасибо!

[@berher7452]

Поклон до земли. 20к сохранил. Как разбогатею - с меня донат )

[@YaroGum-q6b]

Спасибо подпишусь.много интересного

[@LexGorod]

21:33 как минимум один пример, когда одинаковые данные в разных классах: фото (да и видео тоже) в инстаграме - они часто зарыты на разных уровнях. как минимум это зависит от того, одно или несоклько изображений в посте, но даже если одно изображение - уровни (и, собственно, классы) - отличаются. про другие сайты не знаю, не сталкивался

[@konstantin5908]

👍🔥🥃Круто, будем осваивать. Сейчас python на яндексе добиваю.

[@usota]

Python - это уже следующий уровень 👍

[@psergio_it4884]

В начале ролика говорили и про парсер Авито, а по факту его не показали - хотел бы увидеть в др ролик

[@КуанышКайсенов]

Спасибо за видео, очень познавательно! Главное у меня получилось запарсить данные с Крыши.кз. Последние два дня засел за ваши видео. Есть просьба, покажите как можно запарсить данные (с телефонами) с Хедхантера?

[@usota]

Спасибо 🙏 По поводу парсинга HH в бесплатном доступе по-моему ограниченное количество резюме можно посмотреть. Поэтому парсинг этой площадки без лимитов бесплатно не доступен. Но у них можно купить доступ, правда и денег стоит немаленьких.

[@cuancase1007]

@@usota Доступ есть, хотелось выгрузку в табличном виде для дальнейшего анализа

[@Почему_я_плачу]

СПАСИБО. У Вас круто получается!! Продолжайте.

[@arslan10696]

Добрый день! Не видит все отзывы на озоне. Приходится протыкивать все.

[@elenavoinova1247]

Добрый день) Благодарю за видео) Скажите пожалуйста, после парсинга товаров и добавления на свой сайт, каким образом можно отслеживать изменение цен у поставщика и соответственно обновлять у себя? Спасибо)

[@usota]

Спасибо 🙏 отслеживать можно вручную, делая разовый парсинг поставщика и сверяя, например, в экселе со своей выгрузкой с сайта. Такой способ подойдет, если цены обновляются редко. Если нужно обновление каждый день или чаще, то тут нужно писать скрипт для автоматического обновления. WebScraper для этого не подойдёт, к сожалению.

[@McMaruhin]

Насчёт классов я запишу видео в котором постараюсь объяснить всё подробно что имел ввиду. Скину в час с телегой.

[@beststoryNOGACHC]

А есть ли способ импортировать сценарий более 200 элементов, или как то редактировать сценарий не через браузер...короче нужен способ два сценария поженить вместе в общей сумме более 400 элементов. Создавать он дает более 200 а копировать нифига, как то есть способ отредактировать расширение может напрямую через проводник виндовс до корневой папки chrome или есть какие то другие пути...пожалуйста отпишитесь

[@usota]

Можно попробовать экспортировать, отредактировать JSON, и импортировать обратно. Но редактировать JSON нужно внимательно, чтобы ничего не сломать. Других способов, к сожалению, не знаю.

[@Евгений88777]

Подскажите, как парсить категории с под, под, подкатегориями, ни где не могу найти эту инфу и все перепробовал, только с главной страницы вытаскивает и все, на другие страницы не переходит.?

[@metamorphosisdesignstudio4828]

Все-таки я сделал все с ценами и ссылками, все норм. Но вот картинки из пинтереста и даже с авито не смог, скачивает только первых несколько. Картинки самое главное, как дальше? Я кстати вам письмо написал, ищу обратную связь так сказать, еще в тг напишу утром уж. Очень нужно разобраться

[@Илья-п5в5р]

а как указать в элементе, выбор конкретных категорий? Например при выборе фильтров в интернет магазине, чтобы выбирал не все категории товара подряд, а только жестко прописанные.

[@usota]

Жестко прописать в Start URL. Их же можно указать несколько, когда вы создаёте Sitemap.

[@dhard1410]

можете подсказать, как работает елемент клик. Столкнулся с проблемой когда нужно перейти на следующую страницу определенной категории, она через Link не работает, потому что ссылки нет, он не понимает куда ему переходить. Я вот подумал что возможно елемент клик поможет в этом деле, но не могу понять что я должен выделять. Спасибо!

[@usota]

Пришлите ссылку на сайт, посмотрим, как можно решить проблему, если ещё актуально) контакты в описании

[@yanin68]

Евгений добрый день или вечер. Возможно ли WebScraper -ом парсить динамические сайты такие как (Dns shop).

[@usota]

Добрый день, этот инструмент парсит любые сайты. Ну может кроме сайтов с . Но и тут можно придумать, как добраться до данных. Днс шоп - парсит легко, прямо сейчас попробовал, данные собирает быстро и полностью.

[@yanin68]

@@usota Спасибо

[@yanin68]

И еще ... смотрю Ваш канал постоянно, очень полезный и доходчивый материал, порой бывает смешно как все просто. Еще раз спасибо огромное !!!

[@usota]

Спасибо за приятные слова 🙏

[@dimon015]

А Вы работаете в бесплатной версии?

[@usota]

Да

[@dimon015]

@@usota спасибо! И бесплатной Вам хватает под все задачи? А если на сайте стоит капча?

[@usota]

@dimon015 ws использую редко, для быстрых не сложных задач. Для профессионального использования пишу скрипты на Python. У нас в чате @proparsing можно посмотреть много решений по парсингу

[@dimon015]

@@usota подскажите а Вы python самостоятельно изучали? Или какие то курсы?

[@usota]

Бесплатный курс на Яндекс Практикуме и курс Олега Молчанова

[@SeoAlexWizard]

подскажит как можно сделать enter value в web scrapper е?

[@usota]

Расскажите подробнее?

[@Фау]

Все хорошо кроме того что данные он собирает лесенкой((

[@usota]

Так бывает, если мы указываем для каждого элемента мультипл. Чтобы избежать эту ошибку - нужно указывать мультипл только главному элементу, внутри которого лежат нужные данные.

[@Фау]

@@usota спасибо большое за совет, помогло)

[@psergio_it4884]

​@@usotaчто значит лесенкой? Можно пример?

[@ДмитрийВласов-з8ч]

Сплошной сумбур в подаче материала. Кто Вам отзывы пишет? Можно все подать в несколько раз короче

[@usota]

Спасибо за оценку. Может сделаем хороший, качественный ролик по этому материалу вместе с вами?

[@usota]

Вы так и не ответили на предложение сделать лучше. Возможно вы уже самостоятельно сделали более короткую подачу без сумбура? Поделитесь пожалуйста.

[@allaurross]

на седьмой минуте выключил видео вообще шлак полный тыкает не понятно куда, фиг знает что выскакивает, что-то там рассказывает, цто-то куда то копирует, вставляет. То и понятно что из 1200 просмотров всего 64 лайка и от меня дизлайк ещё лови. Чёрный пиар тоже пиар ))))

[@usota]

Спасибо за обратную связь)

[@AntonGl-g2p]

А если нужно по определенному списку ссылок переходить , к примеру {ссылка}/номер конкретного товара . То как быть ?

[@usota]

Как создать одностраничный сайт со списком ссылок для парсинга kzbin.info/www/bejne/aGfOeIyGrJ5na5Y Можно через промежуточную страницу

[@AntonGl-g2p]

Как спарсить данные с открывающегося в chrome PDF файла ? Вроде расширение поставил которое переводит PDF в HTML а все равно webScraper не дает ссылку добавить (( тк в начале нее chrome-extension://oemmndcbldboiebfnladdacbdfmadadm/

[@usota]

Не тратьте время. WS парсит сайты, которые можно открыть по url, если по простому. Для парсинга PDF используются другие способы, например библиотека pdfquery для Python. Но если очень нужно через WS, то разве что конвертировать все PDF в HTML, загрузить на сервер и с него уже открывать по url и парсить. Но это костыли на костылях, уж простите.