Django-админка для парсера Avito на Python

[@Yuri-wk8rk]

Это одно из лучших видео по обучению django! Автору можно сделать на Udemy такой курс как "Парсер Авито ( или другого) сайта с админкой Django" думаю будет спрос, если получится сдлелать с английскими комментариями для продаж на англоязычную аудиторию!

[@МаксКар-н2ц]

Спрашивается зачем англоязычной аудитории Авито?

[@deymonster2u]

Как запускать эту commands сразу из админки джанги?

[@grahamckat5353]

Спасибо, Владимир. А как сделать чтобы скрипт ( в данном случае парсинг авито) запускался по кнопке "Обновить\Запустить" откуда-то с сайта или по расписанию? Чтобы не надо было запускать скрипт вручную.

[@it_everyday]

Поставить его в cron

[@grahamckat5353]

@@it_everyday сделал через cygwin + cron. Правильно понял вашу рекомендацию?

[@uvencosuper3471]

Это очень редкая инфа! Я устал искать, как правильно прикрутить свой парсер к джанге. Спасибо!

[@АндрейКулагин-е1ш]

Здравствуйте. А как сделать так, чтобы пользователь сайта мог кнопкой запускать парсер?

[@ДмитрийАврущенко]

@@АндрейКулагин-е1ш по идее через view соедините кнопку с классом парсера

[@vladsalavatov1952]

Здравствуйте.А можно сделать парсер,показывающий количество просмотров объявления в данной категории за день,за 10 дней и т.д.

[@it_everyday]

можно

[@x4Cobrax4]

@@it_everyday очень интересно, почему ваш ip не банит при обходе, в моем варианте помогают только таймауты...

[@darkus676]

Откуда автор взял objects.get и .DoesNotExist в этом куске кода??? if absolute_date: date = self.parse_date(item=absolute_date) try: p = Product.objects.get(url=url) p.task = self.task p.title = title p.price = price p.currency = currency p.save() except Product.DoesNotExist: p = Product( task=self.task, url=url, title=title, price=price, currency=currency, published_date=date, ).save() logger.debug(f'product {p}')

[@vladsalavatov1952]

А получить готовый к работе парсер за какие-то не очень большие деньги можно и как?

[@МишаКузнецов-х7ъ]

Нанять фрилансера и договориться

[@bill8126]

сложно, те кто умеет их делать хорошо, обычно не сидят на российских биржах, т.к. россияне это нищие бичи, которые будут торговаться за каждые 100 рублей

[@boec]

если только работать с состоявшимися и адекватными людьми, что тоже редкость, так да в основном бичи, на иностранном иногда просто Джейсон раскидаешь платят больше чем на ру фрилансе за создание парсера с хз сколько параметров и отправкой

[@dedpihto680]

для всех причмокивающих и чавкающих ютуберов в аду приготовлен отдельный котел

[@McSSm]

01:29 Виртуальное окружение можно создать прямо в Pycharm.

[@it_everyday]

да, но что если кто-то не пользуется Pycharm?)

[@McSSm]

@@it_everyday да, но в ролике Pycharm?)

[@bfdhtfyjhjj]

@@McSSm да, но видеоурок не только для тех кто использует Пайчарм :)

[@McSSm]

Тогда логично было бы показать и возможности самого Pycharm

[@str1753]

@@McSSm да, но ролик не про Pycharm

[@marzband]

Парсить страницу лучше юзая selenium, есть возможность получать содержимое созданное JS

[@grahamckat5353]

через selenium разве можно парсить чтобы сайт не открвывался в браузере?

[@marzband]

@@grahamckat5353 да, загугли selenium headless

[@grahamckat5353]

@@marzband о. спасибо

[@MrYoklmn]

Селениум это тяжеловес. Авито слижком прост для него. Вролне достаточно реквеста обычного.

[@marzband]

@@MrYoklmn Конечно, просто в 90% случаев нужные мне сайты простым реквестом не спарсишь.