Скрапинг Сайта Авито За ПАРУ МИНУТ С Помощью Python

[@pylounge]

Поддержи лайком, если хочешь продолжение про динамический скрапинг с использованием Selenium)

[@pylounge]

@Интернет халява для ленивых Вполне возможно

[@ПавелНосов-з8и]

Огромное спасибо! Написал свой первый парсер благодаря этому видео. Посылаю лучи добра автору

[@nickyr42]

с рандомной зарежкой это крутой финт!!! Спасибо за идею!

[@gamesskif6655]

спасибо тебе брат от души.Не поверишь я перекупшекам этот код продаю за 500руб.ахахахах спасибо еще раз)))))))

[@xm4dn355x]

ещё есть фреймворк scrappy, но у меня до него пока руки не доходили))) судя по описанию он мощнее супа и удобнее))) А ещё я обычно загружаю первую страницу, парсю пагинатор и из него ворую количество страниц, если там указывается))) и потом циклом for бахаю GET-запросы и HTMLьки получаю))) На счет селениума тоже там подводных камней куча. Допустим под Windows и под Linux он по разному работает, по этому если под виндой работаешь, то надо сразу в докер контейнер запихивать, если у тебя будет на сервере парсер крутиться.

[@181q]

не работает response = 403 "Мы обнаружили на нём подозрительную активность, нарушающую работоспособность Авито."....

[@dd-pe5dp]

авито спалило тебя шо парсиш, пропиши user agent

[@ВесёлыеМеханики]

Добрый день . Подскажи пожалуйста почему такое выводит и как это изменить "Traceback (most recent call last): File "", line 1, in NameError: name 'response' is not defined"

[@aleksandryushka9571]

Нужно установить response в директорию(папку) с проектом командой pip install response. После нужно установить зависимости командой pip install -r requirements.txt. После чего ошибка уйдёт

[@NATTOP]

авито отбивает гет респонзом 403, соответственно все что дальше не работает. пробовал через юзер агента, но то же самое. подскажите кто сталкивался

[@glebkublahanov]

Я решил проблему так: сперва скачиваю страницу с помощью Selenium (для этого нужно всего несколько строк кода), а потом произвожу скрэпинг этой страницы с помощью BeautifulSoup. Библиотека requests при таком варианте не нужна, но на скачивание страницы уходит секунд 20.

[@АлександерАлекс]

Добрый вечер. А как сделать с получением номера тел ?. Спасибо

[@rudmals_]

Добрый день, а как можно сделать чтоб цены обновлялись, не просто взять текст, а постоянно работало и следила за изменениями цен?

[@manakh5566]

Это можно сделать с помощью while True по моему?

[@СергейЛарионов-у8в]

В этом ролике, на 1' 40" Вы говорите, что есть ещё "динамический" скрапинг и у Вас будет отдельный ролик на эту тему. Я что-то не нашёл его... Можете дать URL ?

[@yabloko7492]

Это гениально!!!! 🤩

[@leoworker1752]

А можешь создать скрипт залогинивания и парсящего все присланные тебе сообщения и отправляющий их на e-mail?

[@ralphlauren8349]

Да

[@udozer6543]

Спасибо за идею, с помощью тебя получилось допилить свой код) Лайк поставил)

[@peppapig3834]

Привет,как получилось обойти блокировку от ботов?У меня при отправке запроса возвращает html код в котором написано что доступ с этого ip ограничен.

[@АлександрПфейфер-н4и]

@@peppapig3834 Такая же проблема. Рандомная задержка не помогает. Вы нашли решение?

[@peppapig3834]

@@АлександрПфейфер-н4и У меня не получилось решить эту проблему. Как я понял есть два метода парсинга авито, первый заключается в request,я спрашивал на хабре, мне сказали что так можно парсить, но нужно подключить нужные заголовки. Второй метод заключается в использовании модуля selenium , с помощью него у меня тоже не получилось,но только потому что модуль у меня криво работал и я так и не разобрался. Попробуйте парсить через selenium может получится.

[@АлександрПфейфер-н4и]

@@peppapig3834 Тоже нашел метод с selenium. Примечательно, что для обхода нужно либо перенастроить браузер, чтобы он игнорировал режим автоматизации(доступно только в Firefox, chrome такое настраивать не позволяет), либо использовать selenium-steals

[@AwesomeDude-w2l]

Этот код не работает. В ВК он вообще с ошибкой print(houses[0]) вместо 1. При проверке компилятором: Traceback (most recent call last): File "Жмите-зеленую-кнопку", line 1, in from bs4 import BeautifulSoup # для парсинга старниц ModuleNotFoundError: No module named 'bs4'.

[@comachine]

подсказать, или сам догадаешься?)

[@garrig1925]

Привет. Время летит, сайты модернизируются и в итоге скрипт не работает (классы изменились и не могу выбрать нужный). Подскажите новичку...

[@Mollysem]

Братишка, ты не код копируй с видосов а суть понимай. Код страницы когда открываешь, наводись на нужный тебе блок (цена/название/адрес/не важно) и над блоком видно в каком классе этот код и под каким соусом.

[@АнисимовСергей-в1з]

@@Mollysem это еще часть проблемы понять принцип кода, самое тяжелое это то, что авито не дает доступ к информации для парсера, а вот обойти это для новичка без подсказки тяжеловато

[@barcek2281]

@@АнисимовСергей-в1з а другие сайты?

[@JM-et2lx]

ошибка 403 доступ запрещен к авито в переменной response из-за этого reasone:'Forbidden', status_code: 403. Так, что автор, кури бамбук, твой код не работоспособен.

[@l7l7l7lful]

Было и полезно и интересно)

[@lox707]

Лайк за машину на превью видео!

[@manakh5566]

У меня ошибка Info = houses[int(count)] IndexError: list index out of range

[@hardt0x1c95]

Авито все поменяли, теперь приходиться делать через костыли

[@Скрим-е3я]

Ничего не понял

[@kakTyzZz69]

огонь спс!

[@ABtonatiza]

ну так себе не о чем

[@dayanakassenova9802]

Как можно теперь отделить эти все данные по КОЛОНКАМ? СРОЧНО пожалуйста)))

[@pylounge]

строка.split(',') А дальше элементы массива распихивать куда угодно

[@cultofsogga5863]

айтем

[@АлександрМорженко-поэткаменног]

Та не липецк а липеськ

[@Charlottik]

это Visual Studio?

[@pylounge]

Да

[@Charlottik]

@@pylounge спасибо, видео хорошее

[@ilyamurychev8713]

title- тайтл, айтем-item. По сути неплохо, но англ. оставляет желать лучшего