Принципы работы парсера WebScraper на примере Авито

[@usota]

00:24 Запуск парсера WebScraper 00:33 Парсинг с одной страницы 03:31 Парсинг со страниц пагинации 06:17 Парсинг внутренних страниц

[@Zyaka-Byaka]

Евгений, без преувеличения "Огромное СПАСИБО"! Если честно, то не ожидал что Вы ответите на просьбу о помощи, да еще и так быстро. Я уже начал готовить себя к тому что придется миллиона полтора картинок вытаскивать по одной вручную!

[@usota]

Пожалуйста, рад был помочь )

[@ФедорСорокин-э7ь]

волшебный туториал, таких туториалов дай бог каждому! Лайк Подписка Комментарий

[@РоманБлохин-и2ю]

Ценный видос, благодарность Евгений!

[@Malkoilya]

Большое спасибо за ценную информацию! Всех благ и процветания желаю)

[@МаратАрти]

Очень полезное видео. И автор очень отзывчивый. Благодарю!

[@usota]

Пожалуйста, рад помочь!

[@coolchannel4291]

Евгений огромное вам спасибо за ваш труд. Это самое лучшее видео по бесплатному парсеру. Спасибо что помогли мне) Почему так мало подписчиков не пойму)

[@usota]

Спасибо большое, очень приятно, рад, что пригодилось!

[@mikegalaktionov4191]

спасибо большое за обзор!! у меня получилось вытянуть всю необходимую инфу) блок про парсинг внутренних страниц оказался очень полезным. хотел сегодня покупать подписку на сервис, а оказалось можно парсить вручную! )

[@usota]

Очень рад, что пригодилось)

[@nikolayjmaev6102]

Жень, огромное спасибо, ты сэкономил мне денег, тысяч так 20 в год )

[@moon_star1961]

Огромное спасибо! Очень помогли!

[@dhard1410]

СПАСИБО ОГРОМНОЕ!

[@ЛилияАксёнова-щ7ъ]

Евгений, +1000 Вам в карму, медаль за отмену крепостного права, и грамоту за отмену рабства! Сколько соков в нашей компании было выпито из студентов, тупо собирающих прайсы! Меня это не волновало, я же аналитик, пусть копают. Но когда передо мной - патологической лентяйкой - предстала необходимость копать самой в личных целях... Хотела уж школьника сына засадить за ковыряние, в 14 лет это же не должно считаться эксплуатацией))) И Ваше видео! Просто, доступно, гениально! Спасибо огромное! Только, простите, не могу поделиться видео. Во-первых, "такая корова нужна" самому. Во-вторых, боюсь стать той самой обезьяной, которая будет бегать на пальму за бананами для вожаков стаи.

[@usota]

Спасибо, очень приятно! )

[@PoorRadio]

спасибо за инструкцию

[@usota]

Пожалуйста, рад что пригодилось)

[@newgen8136]

Thank you very much !!!

[@ДенисМаксимов-п2п]

Спасибо огромное! Работает! Очень удобно Но заткнулся на скролле, когда открывается новые элементы при скролле, покажете?

[@blogowin]

По поводу бесплатности - это да, о вот по поводу понятности. С пагинацией уже несколько дней бьюсь. Сайт хитрый - страницы не обычными стрелками влево-вправо, а открытыми ссылками . Селектор текст - видит список, селектор линк - видит чистый список и список с ссылками., пагинация - видит так же как линк, но парсить отличную от первой страницу просто отказывается. укажи пятую, восьмую, десятую - в итоге ссылки будут все равно ТОЛЬКО на первую страницу

[@ЖеняШвец-к5ы]

Подскажите пожалуйста. Раньше я пользовался contentdowenlouder x1 но устал от него ищу альтернативу. Этот будет норм или есть ещё что-то интересное?

[@usota]

Не работал с тем, что вы сказали) WS покрывает мои простые задачи на 100%. Если что-то сложное нужно решать - беру Python.

[@snilkashnilka429]

добрый вечер. очень понравились ваши видео. посоветуйте как можно спарсить собственные переписки в авито коих великое множество. чтобы собрать их в один потом файл и проанализировать. пробовал скролить скрепить и линк ставить, но похоже не верная последовательность. у сообщенйи разные ссылки

[@ВасяЛамбада-ж8ц]

хороший материал, спасибо. подскажите пожалуйста почему у Вас во втором результате (при добавления данных по типу дома) количество строк меньше, чем в первом? Парсер должен был просто добавить столбец же? или я что-то не так понял?

[@usota]

Спасибо за хорошую оценку. Строк меньше, потому что я прервал работу парсера и не стал дожидаться всех результатов.

[@Vinchek]

Можно ли сделать пагинацию с помощью Element Click? Пагинация сделана с помощью Java Script

[@prosto-zritel]

А можно сделать, чтобы собирал статистику просмотров и применяемых услуг?

[@usota]

Если это есть в коде страницы - то это можно собрать.

[@prosto-zritel]

@@usota Существуют на рынке парсеры, которые собирают эту информацию и по итогу формируется Ексель файл, со всеми данными, кроме номеров телефона, благодаря чему можно найти и отфильтровать популярные объявления и трендовые товары. Возможно парсинг происходит из кабинета Авито про расширенные версии, не с базового тарифа. А просто парсинг смысла практически никакого для анализа, только для мониторинга нужных товаров разве что.

[@Дмитрий-э3с4и]

Спасибо Вам огромное, все получилось, но только методом тыка. Вы почему-то не показываете ключевые моменты настройки, поэтому по Вашему материалу ничего не получилось сделать. Возможно сам парсер изменился. Но все равно огромное спасибо!

[@ArtemLarin666]

Спасибо, видео супер! А может ли он парсить страницы с бесконечной прогруткой? Т.Е. с автоматически подгружаемыми блоками

[@usota]

Спасибо за высокую оценку, очень приятно! Да, WebScraper парсит страницы с бесконечной прокруткой. Для этого используется селектор "Element scroll down". Я думаю, раскрою это тему подробнее в следующих видео.

[@leolevkod3032]

Здравствуйте, Евгений. Вопрос по иерархии элементов в Вашей карте выборки. Ссылка на страницу где Вы берете тип дома уже находиться в группе element может стоило "провалиться" в элемент родительский Item чтобы там добавить элемент Link как дочерний? Или это не имеет значения?

[@usota]

Да, можно и так

[@Zyaka-Byaka]

Евгений, спасибо за видео. Помогло справиться с сайтом поставщика автозапчастей, где другие парсеры ничего не парсили! Но! Есть вопрос и просьба о помощи! Не получается спарсить картинку товара в полном размере. Миниатюра парсится на ура, но чтобы получить полное изображение нужно кликнуть на миниатюру. Все страницы товара с бесконечным скроллом. При настройке парсинга одного товара, все норм, но как только настраиваю по скроллу, так картинка не парсится. Помогите пожалуйста.

[@usota]

1) Есть два способа получить полное изображение. Первый - найти тег с полным изображением в исходном коде сайта. Второй - выбрать селектор "Клик" и сэмулировать клик по изображению, а потом уже скачивать фото. 2) По вопросу скролла - скорее всего надо немного донастроить парсер и данные будут собираться. Смотрите, в парсере есть возможность экспортировать его настройки. Пункт меню Export Sitemap. Пришлите мне на почту эти данные, я смогу ответить на ваш вопрос более точно. Контакты в описании.

[@Zyaka-Byaka]

@@usota написал на почту

[@goonik]

Я понял почему ты теперь ставишь свою **лицо** в треть экрана - хочешь чтобы все видели как ты похудел. За это видео спасибо, полезное.

[@usota]

Не переходите на личности пожалуйста

[@goonik]

@@usota ладно, не заводись 🙄

[@snilkashnilka429]

а настройки которые в описании куда вставлять?

[@ГригореевичНадыр]

Добрый день. Спасибо за полезную инфу. А как контакты вытягивать, подскажи пожалуйста.

[@usota]

Спасибо за вопрос. Если под контактами вы имеете ввиду номер телефона, то на авито - это изображение. Теоретически, если бы авито получил у своих пользователей разрешение на использование их персональных данных третьими лицами в соответствии с законом 152-ФЗ, то можно было бы спарсить номера в виде изображений и распознать цифры. Но это уже находится за рамками простого парсера WebScraper.

[@ГригореевичНадыр]

@@usota Спасибо

[@spartach1925]

добрый день. времени много прошло, но вдруг ответите, можно ли парсить календарь бронирований с объявлений посуточно?Придумал костыль в виде блока запросов на каждый день в заданном интервале, но в идеале хотелось бы иметь колонку со списком занятых дат допустим на неделю или месяц вперед в любом формате за один проход

[@usota]

Добрый день, готового решения у меня нет, но я бы тоже начал с блока запросов, а там уже в процессе вырулил бы на оптимальный вариант. Сразу хорошо ничего не получается, сначала пару-тройку подходов с ошибками, и так в любой задаче. Уверен, у вас всё получится .

[@beststoryNOGACHC]

у меня парсится в стиле лесенки по абзатцам как их выровнить чтобы в вместе были в одной строке по разным столбцам как у вас??? помогите пожалуйста

[@cubensis2367]

Все круто да только, контакты не могёт получается?

[@usota]

Скорее всего нет, не пробовал

[@leolevkod3032]

Здравствуйте, Евгений. Скажите пожалуйста как в процессе парсировки результатов поиска в гугл перебирать страницы если в перелистывание происходит списком например 20 записей? Что-то я не могу найти.

[@leolevkod3032]

Нашел. Использовал Pagination

[@talgatmustafin5236]

Здравствуйте! Хорошая подача материала! Подскажите как установить этот Web Scraper в браузер?

[@usota]

Здравствуйте, спасибо! В описании оставил ссылку на официальный сайт. Но вы можете установить его и из каталога расширений для браузера.

[@talgatmustafin5236]

@@usota Оперативно! Спасибо!

[@SV-13]

Как вытянуть картинки по каждой квартире, если их там несколько штук? Не хватило такой информации. А так, конечно, очень познавательно, ага...

[@usota]

WebScraper не профессиональный парсер и сбор картинок как привило я делаю отдельно через селектор img с отметкой галочки «мультипл». На официальном сайте WS есть подробные примеры с видео, поэтому тут разобран только базовый пример.

[@evg3n1y]

а как парсить с определенных страниц? например в пагинации указаны специально разные цифры тут либо по пагинации идти, либо вручную проставить где можно синтаксис еще глянуть парсера?

[@usota]

Про пагинацию расскажу в отдельном видео, там есть 3 способа, как это делать. Но чтобы не ждать - синтаксис описан в документации и есть примеры в видео на сайте WebScraper

[@YourStationHere]

Здравствуйте Евгений, Помогите Пожалуйста у меня выходит (FAILED_TO_CONNECT_TO_CHROME_TAB) когда нажимаю select, не знаю что делать. Спасибо вам за видео!

[@igorkent]

Привет 🤗 Как телефон спарсить?)

[@user_alex_]

👍👍👍👍👍👍👍👍👍👍👍👍

[@МарияДемахина-ш4ф]

Добрый день! Подскажите, если link не находит ссылку на странице, но она есть. Но именно ее не видит, остальные видит. Что можно сделать?

[@andr_hot]

Евгений, здравствуй, хотел спросить, есть допустим сайт одежды, и нужно про парсить его по некоторым пунктам, там цена, название, картинка, но пропарсить надо его все товары, которые есть на сайте, это возможно как-то по быстрому сделать? Или это надо тупо на кажду страницу категорий товара зходить и выбирать? А то я только понял как выбрать все товары с одной страницы, а если есть другие категории, как там быть?

[@usota]

Здравствуйте, вы верно рассуждаете - заходить в каждую категорию не нужно. Как правило структура категорий во всех разделах сайта одинакова. Поэтому указав парсеру, как парсить одну категорию, он по такому же принципу соберёт остальные категории.

[@andr_hot]

@@usota Здравствуйте еще раз, хотел спросить, а как получить Sitemap? Я просто по вашему примеру делал, но только другой сайт, но у меня карта что-то не те результаты дает, точные почти никакие результаты не дает

[@usota]

Наберите в адресной строке имясайта/sitemap.xml и как правило сразу попадёте на карту сайта. Если я правильно понял вопрос )

[@andr_hot]

@@usota спасибо, уже понял, и вообще спасибо за отзывчивость, не каждый отвечает подписчикам, спасибо ещё раз, удачи Вашему каналу!

[@usota]

Спасибо!

[@user-ld1kf5gl4s]

Здравствуйте, если парсить например заголовки и цены, то парсит не всё а только половину заголовков и половину цен. А если парсить только они заголовки, то парсит всё. Получается нужно по очереди, сначала например заголовки а после цены? Спасибо!

[@usota]

Здравствуйте. Парсер - это машина. Как ей скажешь, так и сделает. Попробуйте задать условия иначе. Я уверен, можно и заголовки и цены собрать за один проход.

[@AlexeyParshykov]

Добрый день. Как номер телефона спарсить?

[@usota]

Здравствуйте, к сожалению, не знаю - с такой задачей не сталкивался. Номера всё равно подменные, потому и бесполезны.

[@psergio_it4884]

А есть ли возможность парсить данные Авито при задание периода (дата от и до)? Как это можно сделать.. Заранее благодарю

[@usota]

К сожалению, этот парсер не поддерживает условия выхода из парсинга. Ну кроме ограничения пагинации через квадратные скобки [1:10]

[@ramilhafiz6741]

Реклама курсов по Python как бы намекает, что парсить лучше на Питоне)

[@usota]

Да, реклама прямо в тему))). А вобще лучше подбирать под задачу подходящий ей инструмент. Разовый парсинг Вебскрейпером будет быстрее, чем написать скрипт на пайтоне.

[@ATTosco]

можно ли настроить скраппер чтобы он пароль вводил и парсил в запланированное время регулярно?

[@usota]

Парсинг по расписанию есть только в версии по подписке, но цены на подписку такие, что дешевле заказать парсер под свою задачу либо написать самому на Python или BrowserAutomationStudio.

[@ATTosco]

@@usota спасибо за ответ

[@ATTosco]

@@usota а сколько стоит заказать парсер? как узнать?

[@usota]

Напишите в наш телеграм-чат @proparsing, там ребята отлично разбираются в парсинге. К сожалению, кого-то конкретно порекомендовать не могу.

[@vasiliymalich]

Доброго времени, подскажите как парсить Ютуб, не все элементы видит (

[@usota]

Мало информации. Но предположу, что не все элементы успевают загрузиться - попробуйте увеличить задержку между запросами до 6-8 секунд.

[@vasiliymalich]

@@usota могу вам как-то написать лично ?

[@usota]

Да, в описании есть контакты, напишите в WhatsApp.

[@Mr-maxf]

Авито мобильный ip заблокировал после парсинга 6 страниц.

[@usota]

Возможно и такое. У любого бесплатного инструмента есть ограничения. В этом, к сожалению, нельзя использовать прокси. Но можно попробовать перенести парсинг на позже и делать более длинные паузы между запросами.

[@МИШКАГАММИ-о8ф]

Приветствую а номера как то можно таким способом добыть? хочу пропарсить сайт с объявлениями в своем городе, но мне нужны только номера, получится? Я пробовал у меня не получается

[@usota]

Нет, таким способом не получится. Способ получить номера другой и не этой программой. Я, например, беру номера из мобильной версии.

[@МИШКАГАММИ-о8ф]

@@usota можешь подсказать пожалуйста как это сделать, и какая программа нужна? очень нужно

[@МИШКАГАММИ-о8ф]

@@usota там просто нужен переход на страницу номера сразу видны

[@usota]

Мне кажется только ленивый не предлагает парсинг телефонов авито) Там простенький скрипт на Python. Напишите мне, помогу. Контакты в описании есть

[@МИШКАГАММИ-о8ф]

@@usota да я не про авито, спасибо, сейчас напишу

[@vaxidjonbaratov2089]

Nomer telefon neto zdes. A kak mojna parsirovat telefon nomer toje?

[@usota]

Этим инструментом, к сожалению, не возможно. Номер телефона выводится в виде изображения, а не текста.

[@PiZzDAO]

@@usotaа с сайтов где номер текстом отображается, можно спарсить номера?

[@usota]

@_technomutant_ да, текст можно спарсить селектором text

[@jackspades6492]

Сейчас нет смысла парсить так как авито ставит левые номера вместо реальных

[@usota]

Да, номера парсить смысла нет

[@jackspades6492]

А что есть смысл парсить ? )

[@usota]

Свежие объявления о квартирах или авто, чтобы не пропустить привлекательные, например. Не номерами едиными богато авито.

[@СпециальныйагентСтивенс-ФБР]

Минус этой программки в том что сохраняет он в таблице ещё первые два не нужных столбца

[@sse9686]

Не лучший способ подачи информации, но на безрыбье и рак рыба. Направление задано, а дальше самим разбираться. Извините, лайк за такую подачу не поставлю.

[@usota]

Спасибо за обратную связь

[@sse9686]

@@usota , здравствуйте. Нашел Ваше второе более подробное видео. Вы хотели нам помочь, затратили своё время, поэтому мне несколько совестно Вас критиковать. Но Вы сами спросили моё мнение. Выскажусь относительно длительного видео. Рассказываете тактику подробно, но когда дело доходит до нажатия кнопок, происходит рассинхронизация голоса и дела. Например, Вы рисуете логику запросов на 8-й минуте. Это средствами обозреваемого плагина или другой утилитой. 2) Используете "кальку" английских слов, типа "пагинг", те самым теряется смысл рассказа. 3)Что-то нажимаете, на экране что-то изменилось, но не понятно, какую кнопку Вы нажали. Например, Вы нажимали кнопку ШИФТ или КОНТРЛ? Как бы я снимал? Я показал бы выполняемые шаги руками, что бы пользователь понял, что тоже самое будет делать программа. Со всем уважением к Вам.