Обучение парсингу на Python | Зарабатываем на фрилансе | Асинхронный парсинг | Телеграм бот aiogram

[@joelmiller1815]

Для меня ваш канал, однозначно, максимально полезный. Помог мне "встать на ноги", без преувеличений. Спасибо!

[@vigauss1889]

Воу воу! И снова воскресенье, время практики. Пошёл наливать кофе :) Поздравляю с сотней 🏆

[@PythonToday]

Спасибо за поддержку!)

[@Zer-st6qv]

Пожар) Спасибо за труд! Благодаря твоему каналу увлекся программированием, а теперь и сменил работу. Так что с уверенностью скажу, ты меняешь судьбы людей! Так же спасибо за приватный контент. Не собираешься переносить видео? Это к вопросу о продолжительности работы ютуба в РФ, прокси, впн понятно. Было бы проще все в одном месте. Здоровья друг, и еще раз спасибо!

[@PythonToday]

Большое спасибо за такой фидбэк! Рад что видео помогают)

[@Supertrump447]

@@PythonToday Напиши парсер для переноса видео))

[@vladimirprin263]

@@Supertrump447 впервые слышу такую фразу... Парсер - это код который собирает данные, а не переносит

[@stoparb357]

@@vladimirprin263 спарсить чтобы потом перенести видео, что непонятного

[@vladimirprin263]

@@stoparb357 пхах, окей

[@ziyodullayevjavoxir7708]

Здравствуйте я ваши уроки внимательно смотрю и уважаю ваши труд спасибо большое

[@PythonToday]

Спасибо за поддержку!

[@deus7204]

Лайк и коммент в поддержку канала! Топовый контент, огромное спасибо автору!

[@jahonimamov885]

Бро как всегда топ💜 благодарю за такой контент. Лучший

[@PythonToday]

Спасибо за поддержку!

[@alexandermarchenko8778]

Крутой видос! Очень хотелось бы в будущем увидеть гайд по asyncio)

[@PythonToday]

Благодарю за фидбэк!

[@ШрайбикусФРГ]

Ты крут! Я несколько дней разбирал код из первого видео и искал ошибку т.к. писал по windows (в utf-8 всё работает, но в 1251 вываливается ошибка) Я так понял, что на странице есть символы которых нет в 1251. Я новичок от слова совсем. Но благодаря тебе, я многое узнал и понял!

[@PythonToday]

Спасибо за фидбэк!

[@Tores_kun]

Супер!)) Спасибо большое за контент.

[@PythonToday]

Спасибо за поддержку!

[@sashass099]

Отлично! Неплохо было бы показать еще и преимущества асинхронного кода над синхронным

[@stoparb357]

в ожиданиях ответа от сервера может обрабатывать другие куски кода

[@sw1art]

Друг, спасибо, что учишь, огромное, понимаю, что ты скорее не за кэш делаешь видео, а за то, чтобы помогать людям, делать их лучше, чему-то учить и т.п. Спасибо)))

[@PythonToday]

Благодарю за фидбэк! Даже рекламу не брал :( Ютуб к сожалению занимает очень много времени, плюс убрали рекламу в РФ. Буду больше работать над своим проектом.

[@АлексейСамаркин-ы2н]

Молодец, как всегда все четко и без воды! Спасибо!

[@PythonToday]

Спасибо за поддержку!

[@developer1845]

спасибо, браза 😘😘😘😘

[@pavelkharitonov9065]

Супер! Как всегда крутое видео и по-моему это один из лучших каналов на русскоязычном utube про python. А, кстати, где искать видео, если всё-таки заблокируют Ютюб?

[@PythonToday]

Благодарю за фидбэк и поддержку! Залью всё на netstalkers.com

[@RNikSan]

Топ, как раз то что нужно ;)

[@i.am.rossalex]

Офигенчик! Интересно :)

[@PythonToday]

Благодарю!

[@COCo-zz8ze]

Спасибо, то что надо. Так держать, но было бы круто если бы вы сделали такое только через селениум. Так как там если на прямую запрос кидать то бот встаёт. Либо рассмотреть arsenic но желательно что б и прокси там задействована была

[@PythonToday]

Благодарю за фидбэк! Не понял чем селениум лучше реквестов или aiohttp особенно в данном случае 😐

[@igorvolkov-uh2pv]

Отличный контент👍 Один вопрос, нужно ли корутину оборачивать в задачу чтобы передать в цикл событий?

[@хххххх-д8о]

Согласен, с Zer0, представлены уроки все суперски, максимально понятною

[@PythonToday]

Спасибо за поддержку!

[@westr189]

Спасибо за ролик!!!

[@КонстантинМедведкин-ш1е]

Спасибо тебе огромное, за такой годный контент!

[@PythonToday]

Благодарю за фидбэк!

[@crexcsgo2451]

очень ждал эту часть)

[@PythonToday]

Надеюсь будет полезно) Спасибо за фидбэк!

[@dos6920]

То что надо, крутое видео!

[@AlexanderGorshkov]

Возможно идея следующего урока - принятие файла от юзера (допустим таблицы) и отправка переформатированной таблицы обратно, и все это в асинцио)

[@kuzmult]

Мож я ещё не видел, хочется дополнительно информацию как залить файлы на сервер чтобы он запускался автоматически как сервис.

[@danik2412]

Привет! Очень зашло видео, спасибо! Подскажи, что делать если при частых запросах требует капчу? Как обходить это? Есть рекомендации?

[@KhasanovGumer]

огонь, спасибо тебе большое жаль тебя терять из за блокировки YT

[@PythonToday]

Благодарю за фидбэк! Будет больше времени на свой проект) Все новые видео будут выходить там.

[@IFYMAF]

То ощущение когда увидел в видео корпус от своего ПК :)

[@alexanderlazaev7423]

Балдёжка!

[@АлександрНикулин-ю1в]

Офигенно

[@return_1101]

Очень интересно!!!

[@PythonToday]

Благодарю! Рад что видео интересны)

[@poputi77]

Это бомба 💣

[@alexr0v]

Возник вопрос. Сейчас магнит добавил infinity scroll на страницу, в начале получается стянуть только 52 карточки из 9к. Причем последующие страницы добавляются как POST заброс. Было бы отлично если бы ты рассказал что делать в таких случаях, где есть какая-то пагинация для загрузки данных.

[@СеменХеруимов]

Python Today показывает Путь, но пройти по нему нужно самому.

[@PythonToday]

This is the way 😀

[@bestali8268]

Давно мучаюсь вопросом как из json файла отправить данные с помощью телеграм бота, не смог найти в интернете решение

[@ИльяЧурин-о6н]

Отличные Видео! Подскажите, а можно парсить нативные приложения с Android/IOS устройства ( маркетплейс с мобильного устройства) где нет вэб версии?

[@whtkeys8190]

Думаю в таком контексте лучше использовать очереди, rabbit mq например. Если много юзеров заюзает бот, всё ляжет.

[@lifehd8523]

Братик, давай побольше парсинга! Можно разобрать простые примеры на Scrapy?

[@jackmoral9127]

Скарпи сегодня не актуален и будет костылем в проекте, httpx полноценная клиентаская библиотека для запросов а aiohttp нафиг не нужен если бэкенд на нем дополнительно не пишется.

[@andreynazarenko7007]

Привет. А зачем создавать кнопки и клавиатуру внутри функции start? Разве нельзя их вынести за функцию?

[@PythonToday]

Приветствую. Да пожалуйста. Мне вариант вывода по команде старт показался более удобным.

[@pythoneveryday9350]

Привет, спасибо за уроки, очень помогают, и если не секрет, то на каком сайте берешь заказы?

[@PythonToday]

Приветствую. Спасибо за фидбэк! Видео по биржам есть на канале kzbin.info/www/bejne/Z6GvnYtvrZtjqK8 . Сейчас работаю только со старыми заказчиками.

[@pythoneveryday9350]

​@@PythonToday Спасибо большое, просто тоже хочу попробовать зарабатывать на парсинге) Один из лучших каналов про python

[@АртурСоколюк-т9я]

Не знаю, ответите ли вы, но интересно, какие именно заголовки нужно копировать в headers(как раз прохожу ваш обучающий курс по парсингу и вы там копируете, то user-agent и accept, то ещё что-то, не могу понять) ?

[@vitgot1]

:( RuntimeError: asyncio.run() cannot be called from a running event loop

[@aziz7341]

Здравствуйте! Как можно с вами связаться для заказа ?

[@cheshirecat2023]

А что произойдёт с файлами если два пользователя разом сделают запрос? то есть если запросить этот же файл но в другой чат...? Одновременно два файла с одним именем существовать не могут

[@VyacheslavMitin]

Можно дописывать в имя файла какую нить рандомную строчку

[@romanron4886]

Здравствуйте , можете пожалуйста подсказать что делать когда очень много больших баз данных, процессор стоит в простое и не нагружается, а вот поиск внутри этих баз идёт очень медленно , хоть и стоит async функция , да и код сам по себе не сложный , можно ли как нибудь ускорить поиск внутри бд или это ограничение железа или python

[@nikko374]

Привет! Спасибо за отличный контент. Подскажи из-за чего может парситься только первые 50 записей, а не все 100500 штук?

[@prinshamlet5942]

Интересно)

[@PythonBaku]

привет хороший урок кто знает как создать ключ активации для проекта что бы без него скрипт не работал

[@narcomann1646]

когда код писали, скидки сразу одной простыней вываливались? просто сейчас динамически по 50 позиций подгружается. как это победить без селениума я пока не допетрил, может кто подскажет?

[@skezzerino]

Привет, хотелось бы увидеть от тебя видео со сравнением работы с пайтоном на винде (можно ли вообще полноценно работать и какие есть трудности) и линуксе, а так же какие-нибудь советы по выбору дистрибутива второго :) Да и просто интересно, какой дистр у тебя?

[@baukaalimgazy2989]

пайтон кросплатформ линукс/макос совсем не обязательно

[@PythonToday]

Приветствую. Программируя на windows ты будешь часто сталкиваться с проблемами. Чем раньше начнешь осваивать linux, тем быстрее скажешь себе потом спасибо. Я работаю на Ubuntu/Debian/macOs. Думаю лучше начинать с Ubuntu.

[@skezzerino]

@@PythonToday спасибо!

[@A_R_X_A_N_G_E_L-TV]

ПОД ВИДЕО АВТОРИЗАЦИИ ЧЕРЕЗ СЕЛЕНИУМ НАПИСАЛ НО НЕ ОТВЕТИЛИ ВОТ ПИШУ ТУТ КАК РЕАЛИСОВАТЬ ТОТ МОМЕНТ ЧТО ЕСЛИ НЕПРАВИЛЬНО ВВЕЛИ ДАННИЕ ВХОДА НАДО СДЕЛАТЬ В ЦИКЛЕ С ОТСЛЕЖИВАНИЕМ ОШИБКИ КАК С ЭТИМ БИТЬ, ЗАРАНЕЕ СПАСИБО

[@PythonToday]

Так и проверяй на ошибку, смотри что за сообщение/текст приходит, в зависимости от этого пиши условия проверки и действия которые хочешь совершать далее.

[@A_R_X_A_N_G_E_L-TV]

@@PythonToday я так и хочу сделать но проблема в том что после симуляции нажатия на enter надо проверить появление сообщения об ошибке но как это отразить в коде вот тут у меня знаний не хватает. можете посмотреть код ? если не трудно ? БУДУ ОЧЕНЬ БЛОГОДАРЕНЬ !!!

[@инкогнито7]

Доброго времени суток! Спасибо Вам за качественный/образовательный контент. Какой дистрибутив линукса вы используете ? Заранее благодарю.

[@PythonToday]

Приветствую. Спасибо за фидбэк. Работаю в Ubuntu/Debian/macOS

[@webuser0o1]

привет, смотрел твои видео про парсинг и ты сохранял сайт в html страничку для удобства, но у меня некоторые сайты сохраняются без css, то есть просто текст с сайта и некоторые картинки, но без оформления, почему так происходит?

[@cepera_c_a]

После отправки файла наверное нужно сообщение о ожидании удалять?

[@gio7863]

Почему может выдавать ошибку при установке aiocsv, если другие установились спокойно

[@SeriesWOT]

Привет, подскажите как можно декомпилировать скомпилированный файл (ContourLook.pyc) в читаемый пайтон файл (ContourLook.py) , версия питона 3.10 очень надо

[@moulinmyers]

ПО поводу оптимизации: в реальном боте, в котором данная функция использовалась бы одновременно сотнями тысячами людей мы бы умерли на 99 перцентиле (если бы не умерли раньше из-за переполнения диска или превышения I/O операций), поэтому нам не нужно сохранять файл на сервере и формировать полноценный .csv и затем его удалять. Мы можем асинхронно запустить выполнение формирования файла и его отправки (я бы так сделал на C# но с питоном имею меньше опыта, поэтому в случае питона я бы не сохраняя файл отправлял бы его как массив байтов)

[@non5309]

не уверен насчет асинхронного формирования файла и его отправки, скорее он бы хранил файлы и выдавал ссылки на них пользователям повторно а не формировал бы файлы при каждом запросе от пользователя, т.к. очевидно, они бы повторялись. Создал бы такой буфер файлов и апдейтил бы его по по факту нового запроса (нового города) и/или новой даты (с новыми данными)

[@b2tf676]

PythonToday , на каком фриланс бирже ты находишь эти заказы ?

[@valarg5756]

Спасибо

[@pro100chok]

Было бы инетересно посмотреть как сделать так что бы парсер работал постоянно (например раз в 10 минут) и оповещал об изменения чего-то)))

[@PythonToday]

На канале уже есть видео с телеграм ботами и таким функционалом.

[@pro100chok]

@@PythonToday тогда извиняюсь)))

[@johnylemon473]

Ребята, а где брать такие заказы? подскажите хорошие, проверенные платформы! У меня пока не получилось

[@gennadyegorov7526]

Про бота очень интересно, но пока не очень понятно. Пошел смотреть видео "Пишем Telegram бота..."

[@PythonToday]

Благодарю за интерес!

[@ВладиславНеповинных-з6ш]

Зачем нужно async await при сохранении в csv? Нам же не нужно ждать данных как в случае с ответом на запрос от сервера.

[@PythonToday]

Но ведь нам будет нужно ждать пока файл сохранится? Если запись будет заниматься хотя бы пару секунд, это уже станет проблемой при обращению к боту.

[@ВладиславНеповинных-з6ш]

@@PythonToday Я правильно понял, что это нужно для того, чтобы бот не зависал, когда происходит сохранение файла? Разве функция collect_data() сама по себе не асинхронна и не будет тормозить бота? В строке "file = await collect_data(city_code=city_code)" в боте мы же в любом случае позволяем боту продолжать работу с помощью await?

[@bon1ken]

Привет, а ты занимаешься репетиторством ?

[@sskrylov]

а как обойти ограничение на апворке? а то впн там абсолютно не помогает, делать в обход апворка не очень бы хотелось, ибо отзывы и рейтинг важны

[@PythonToday]

Пока никак, за махинации можно легко получить бан. Биржа на данный момент не работает с РФ.

[@this_t4ch911]

Ребят, подскажите пожалуйста, писал код на Python по этому видео :kzbin.info/www/bejne/f4uyopKphNl_sJI(видеолс этого же канала) всё точь-в-точь, проверил, выдаёт ошибку ещё на первом этапе написания(тайм код 3:40) ошибка: SyntaxError: expected 'except' or 'finally' block, подскажите что делать и как исправлять?

[@cpa_top1]

Почему используя асинхроеность используешь requests? В чем тогда смысл?? По хорошему вы должны были использовать requests-async.

[@PythonToday]

Разве в данном видео использовался requests?

[@cpa_top1]

@@PythonToday ааа, недосмотрел я))

[@p1grishin]

Спасибо большое! А что даёт или какой Профит от асинхронного сохранения csv?

[@sashass099]

пока csv будет сохранятся, программа не будет простаивать и ждать, пока файл сохранится. В это время программа может выполнить другую задачу.

[@p1grishin]

@@sashass099 вот и вопрос, а выполняет ли что, вроде же идём последовательно, спарсили-сохранили-отправили боту. У меня с асинхроннкой туго((( Или без асихронки другой пользователь не сможет запустить этот процесс парсинга и тд?

[@ВладКалина-у5ь]

Можно записывать данные и выгружать их сразу в телегу без сохранения на сервере. Использовал такое в Джанго. Через библиотеку 'io'!!! Очень удобно. f = StringIO() writer = csv.writer(f, delimiter=";")

[@PythonToday]

Не юзал такой способ. Спасибо за фидбэк!

[@СеменХеруимов]

Когда-нибудь мой мозг расслабится и захочет развлекательного контента. Но не сегодня. Нет.

[@PythonToday]

)) Спасибо за поддержку!

[@irwe3514]

2:50 как ты сделал такую табуляцию?

[@PythonToday]

Нажал tab 😐

[@irwe3514]

@@PythonToday у меня весь код удалился так

[@Mr.LostMind]

@@irwe3514 Сочуствую. Было такое😃

[@comparison9436]

Почему значок магнита??

[@PythonToday]

Точно смотрел видео?

[@comparison9436]

@@PythonToday да, там было что-то про магнит?) Я не заметил. Аа ты программист в магните?

[@marrties]

Привет всем, кто подскажет, как исправить проблему Парсю авито через селениум, но при запуске у меня выскакивает ошибка блокировки доступа по ip. Менял ip, user_agent,proxy, поддержка авито говорит, что все в порядке, но все равно не могу зайти на авито ни через selenium, ни через bs Кто как решил эту проблему? Буду блогадарен

[@semant]

Бекапься на рутуб!!!

[@alekss.346]

Кот был? Проглядел

[@PythonToday]

no :/

[@michael_dudikov]

Здарова братишка 👋 пишу бота уже пол года)) Хочу сделать бота на aiogram + БД, чтобы пользователь что-то вводил, а это добавлялось в одну таблицу, в одну строку только в разных колонки (например : бот у меня спрашивает где был, я пишу ответ, он записывает). Как ты сделал, я понял, там только кнопки нажимать и функции, а как сделать, если просто писать?)) Заранее спасибо 😉

[@Mr.LostMind]

Есть отдельный урок про ТГ-ботов

[@magomed9599]

Слушай слушай можешь написать какой нибудь код с взломом ватсапа. Так что ты не админ но меняешь название группы или чтото типо этого. Чтобы немного поиздеваться над друзьями или одноклассниками. Или спрятать свой номер чтобы тот кому ты пишешь не видел твоего номера. Надеюсь ты обратишь внимание!!! Заранее спасибо.

[@xdisco007]

Можно сразу отправить с буфера на сервер Телеграма - BufferInputFile, и отправлять уже file_id. Не нужно будет сохранять в файл

[@PythonToday]

Благодарю за фидбэк! Не думал о таком.

[@PolyuhovSA]

Спасибо