Обучение парсингу на Python | Зарабатываем на фрилансе | Запись в CSV | Requests, bs4, aiogram

[@PythonToday]

# TODO ✅ Пофиксить запись в файл не на каждой итерации, а единоразово. Спасибо за поддержку! 💪

[@Кейро-д3ц]

А что за фриланс ?

[@ItWeirdRunner]

@@Кейро-д3ц тоже интересно. В инете много непонятных сайтов, каким можно доверять

[@aliv-9432]

С 100к🏆

[@Ardbot]

Спасибо, очень полезно, что на рабочих проектах показываете. Очень не хватало материала, где можно посмотреть структуру проекта, не замызганый хелловорлд

[@ars6979]

Пожалуйста, в начальном видео убери название «P*****b». Это меня раздражает!

[@vitalyg2599]

Отличное видео. Обязательно ждем продолжение с ботом. В будущем хотелось бы еще увидеть парсинг известных маркетплэйсов (Wildberries, Ozon и т.д.) и админки на Django. И как некоторые уже предложили особенности анализа сайта перед парсингом и обход различных блокировок(карандаш для закатывания губы уже лежит рядом :). Только сегодня подписался, просмотрел пару видосов - все супер!!! Пойду лайкать.

[@PythonToday]

Благодарю за фидбэк! Как будет свежий заказ по wb или ozon обязательно сниму. Но это будет на netstalkers.com

[@drnss]

Ну с ВБ и Озон проблем особо нет, самый проблемный из них - Маркет. Они в своё время много времени угрохали на Я.Советник и чтобы его не могли заблокировать. Ну и сейчас это применили на Маркете. Есть не самый элегантный вариант решения - интересно посмотреть что-то проще в случае динамичных рандомных названий классов

[@llirik88]

А мне интересен Metro Cash & Carry. Но у них там защита стоит... Пытлался, пытался по итогу забил.

[@drnss]

@@llirik88 выглядит адекватно, не забуду - завтра потыкаю

[@vigauss1889]

Спасибо за контент, за то, что делишься опытом. Лучший канал с практикой, желаю успехов в развитии!

[@PythonToday]

Спасибо дружище) Без твой помощи неичего не бы не вышло 👍

[@rlxinc.6016]

Спасибо за видео! Единственное, что хочу отметить - оптимальнее было 1 раз открыть файл до цикла и затем добавлять в него данные, чем на каждой "успешной" (то есть со скидочным товаром) итерации открывать и закрывать его. Мне стало интересно и я провёл небольшой тест. При записи 100 000 строк в файл получаются примерно следующие результаты: - если открывать файл на каждой итерации ~ 11.396 секунд - если 1 раз открыть, то ~ 0.054 секунды Разница примерно в 200 раз: )

[@PythonToday]

Полностью согласен, спасибо за фидбэк!

[@pahaeel9366]

Прекрасно всё: и задача, и реализация, и подача, и качество видео! Продолжение с ботом очень интересно!

[@PythonToday]

Спасибо за фидбэк! Будем делать 💪

[@vasman66]

Отличный материал! 🔥🔥🔥 Подача на высшем уровне. Всё понятно и слушать/смотреть одно удовольствие! Благодарю! 💪💪💪

[@PythonToday]

Большое спасибо за поддержку!

[@Zer-st6qv]

Да это тебе спасибо! Очень крутая подача, здоровья и всех благ, а мы поддержим!

[@PythonToday]

Благодарю за фидбэк! Взаимно!)

[@gennadyegorov7526]

Обычно воздерживаюсь от комментариев, но тут просто без шансов. Топовый канал с нормальными обучающими видео. Без выноса мозгов. Смотрел не всё, в основном по парсингу. Спасибо! Ждем видео с ботом в ТГ.

[@PythonToday]

Damn, спасибо за фидбэк и поддержку!

[@magos2610]

Помню когда писал коммент и ты ответил, в тот момент у тебя было 17к подписчиков. Тут увидел, скоро 100к! Я очень за тебя рад! Ты заслуживаешь этого, так как помогаешь изучать кодить на практике и на понятном языке. Дальше 200к🥳🥳🥳!

[@PythonToday]

Большое спасибо за поддержку!

[@muzammilkhonmuradullaev2306]

Лучший канал на ютубе про программирование на Python 3

[@djony4427]

Премного благодарен тебе за твои видео, раньше думал писать сайты, но после того как ты попался в рекомендации сразу понял что буду заниматься парсингом. Теперь вот работаю на фрилансе, все благодаря тебе) Спасибо большое;)

[@ItWeirdRunner]

А где именно ты работаешь? Поделись ссылкой

[@Ghost-xu4fj]

@@ItWeirdRunner Kwork лучший вариант для новичка.

[@Mr.LostMind]

СО 100К ТЕБЯ БРАТАН. Я с тобой с 5к и за это время многому научился - за что тебе бесконечное спасибо!

[@PythonToday]

Большое спасибо за поддержку!

[@АндрейЧиновников-ж2х]

Хорош мужик, почти сотня подписчиков за такое короткое время!

[@ados9928]

Спасибо за такой приятный контент! Очень радует глаза и уши, все доходчиво объясняете и показываете. Удачи Вам в дальнейшем развитии канала!

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@deus7204]

Супер, конечно ждем продолжения. Спасибо за контент и труд!

[@Kukushioku]

Оууу очень рад что ютуб кинул это в предложку Сам переодически тренируюсь в парсинг и тг боты. Но почерпнуть бэст практисы всегда очень рад. Спасибо. Лайк - подписка - колокольчик

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@Radag0nn563]

Думал, что покажешь как ещё так в телеграмм залить, но всё равно очень много полезной инфы, спасибо!

[@PythonToday]

Спасибо за фидбэк!

[@ВикторФомичёв-х8л]

Лучший канал по практическому python

[@ismoilnarziev9333]

Как всегда bomb 🧨...ждём новых роликов 🥇

[@PythonToday]

Большое спасибо за поддержку!

[@no_name3390]

Просто крутяк, спасибо за подобный контент. Всегда с нетерпением жду воскресенье)))

[@PythonToday]

Спасибо за поддержку)

[@Павел-ь8ш9ь]

За такие заказы не меньше $100 можно спокойно брать, но контент 🔥. Подобных видео нет, за что спасибо автору.

[@PythonToday]

Благодарю за фидбэк и поддержку!💪

[@БорисОстроумов-т7к]

какие 100?) работа элементарная) вот если фильтры внутри csv делать, базу подключить для хранения предыдщих цен по позициям, поддерживать актуальность скидок, то да, это уже работа на 150-300 баксов

[@Павел-ь8ш9ь]

@@БорисОстроумов-т7к Я не только про сбор, а подвязку бота. Там я тоже думаю что много, но многие прогеры берут именно так.

[@gennadyegorov7526]

@@БорисОстроумов-т7к А вот нет ли ссылочки на видео по озвученным задачам? Буду премного благодарен.

[@sashaichenko9810]

Котик топовый, всегда в тему)

[@ruruqeqe216]

Очень крутой хотим продолжения!!! Щас изучаю python (только начал) и постоянно вопрос, а зачем так делать, а как это использовать, а ты показываешь на реальных примерах это очень круто 🤟

[@PythonToday]

Благодарю за фидбэк!

[@niks1302]

Да. Интересно бота увидеть.

[@shustriy1980]

Интересен анализ сайта и детальный разбор перед парсингом. Учитывая что опыт у вас большой материала что бы поделиться с нами полагаю должно быть достаточно.

[@PythonToday]

Да вроде в каждом видео детально всё разбираю. Каждый сайт индивидуален.

[@ismoilnarziev9333]

100к поздравляю...я давно в этом канале...когда у вас был 2к подпч....удачи для дальнейшего развития 🤙😎😎😎🤝🏼

[@PythonToday]

Большое спасибо за поддержку!

[@DS-wg5nc]

Снова годнота поддерживаю!!

[@PythonToday]

Огромное спасибо!

[@menkarus657]

За котяру спасибо!!! Кайфуша он у тебя!!! 😁

[@PythonToday]

😀 Спасибо за фидбэк!

[@НазарНикитенко-п3л]

Ждем следующую часть, обратил внимание на то что выпуск на превью подписан как первый 0_0

[@PythonToday]

Сделаем 💪

[@ЕрмолинНикита-у7м]

Ещё даже не посмотрел этот видос и уже готов требовать следующее!)

[@sinoikromov7322]

Ждём следующий урок респект из Таджикистана

[@ervcerverjivedu8247]

Видео с ботом однозначно нужно, хорошая практика

[@PythonToday]

Благодарю за поддержку!

[@DevALine]

Всегда с нетерпение жду новое видео. Спасибо!✌

[@PythonToday]

Большое спасибо за поддержку!

[@Tores_kun]

Видео супер) ждём часть с ботом!!))))

[@PythonToday]

Уже приступил к монтажу) Спасибо за фидбэк и поддержку!

[@Ostap..Bender]

Отлично зашло. Выкатывай с телеграмм-ботом!

[@ГенрихКраус-ч7г]

Класс! Продолжение однозначно нужно!

[@PythonToday]

Сделаем, благодарю за фидбэк!

[@Gree_ok]

Очень интересно! Жду продолжение

[@PythonToday]

Сделаем! Спасибо за фидбэк!

[@pavelkharitonov9065]

Супер. Классное видео. С нетерпением жду продолжения про телегу

[@PythonToday]

Благодарю за поддержку!

[@NemesisX77]

Спасибо. Очень ждем про бота в Телеграме. Было еще хорошо что-нибудь про асинхронный парсинг.

[@dendisega1675]

Спасибо. Классная подача. Интересно смотреть и слушать.

[@PythonToday]

Спасибо за фидбэк!

[@michaelmushers6368]

Спасибо большое!!! Жду с нетерпением бота

[@PythonToday]

Спасибо за фидбэк!

[@ШрайбикусФРГ]

Супер! Очень жду продолжения

[@PythonToday]

Благодарю за фидбэк!

[@notOnlyPython]

Все же это оочень крутое видео!)) жду вторую часть)

[@PythonToday]

Благодарю!

[@sjotik]

Спасибо за контент и подачу информации. По интеграции кода в телеграм-бота интерес огромный! Ждем продолжения. P.s. кот, врывающийся под бит - бесподобен👍👍

[@PythonToday]

Большое спасибо за фидбэк! Кот кайфовый, поднимает настроение при монтаже)

[@Dreamer_78]

Здорова Позитив) Спасибо за видео как всегда интересно и очень понятно!

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@mikisor4372]

Спасибо за труд ! Жду продолжения !

[@PythonToday]

Спасибо за поддержку!

[@lemmedown]

Это.. просто... о8енно)) Нет слов, топ контент!

[@PythonToday]

Огромное спасибо за фидбэк!

[@bontujin7065]

Как всегда, отлично) Ждём продолжения!

[@PythonToday]

Благодарю за фидбэк!

[@MR-gz7pl]

Ждал всю неделю твои видео))

[@PythonToday]

😀 Спасибо за поддержку!

[@christmastrree]

Жду вторую часть 👍👍👍👍

[@АртемВощиков]

Спасибо за отличный урок! У меня на WIndows 10 возникли проблемы с кодировкой в файле CSV. Да и в html тоже - в коде страницы прописана кодировка UTF-8, вся кирилица в документе в виде � символов (?) На выходе в csv файле получаем в лучшем случае кракозябру, код следующий: with open(f'{city}_{cur_time}.csv', 'w', encoding='utf-8', newline="") as file: writer = csv.writer(file, delimiter=";") PyCharm не предлагал ничего сделать с кодировкой. На другом примере из видео с кодировкой такой проблемы не было, там я прописал так for user in users_data: with open("data.csv", "a", encoding='cp1251', newline="") as file: writer = csv.writer(file, delimiter=";") writer.writerow( user ) и кирилица сразу нормально отображается в файле. Такое ощущение, что возникает конфликт кодировки в html, и соответственно с конфликтом символы вылезают при экспорте в csv. Подскажите, пожалуйста, какие изменения нужно внести в код/IDE чтобы на выходе сразу получался нормальный csv. А то приходится танцы с бубнами устраивать для пересохранения с нормальной кодировкой ручками))) Если запускать код без выбора кодировки encoding='utf-8', то текст ошибки в терминале: Traceback (most recent call last): File "путь/main.py", line 87, in main() File "путь/main.py", line 83, in main collect_data(city_code='2398') File "путь/main.py", line 75, in collect_data writer.writerows( File "путь\AppData\Local\Programs\Python\Python38\lib\encodings\cp1251.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u2212' in position 45: character maps to

[@dejavuamv4569]

Добавь encoding='utf-8' with open('index.html','w', encoding='utf-8') as file: file.write(response.text)

[@satare5217]

Давай быстрее вторую часть! Топовый контент)

[@PythonToday]

В процессе) Спасибо за поддержку!

[@seoonlyRU]

спасибо за мануальчик! Лайк от СЕООНЛИ

[@hanhyan5878]

Привет Спасибо за контент Любви, здоровья и счастья !

[@PythonToday]

Приветствую, большое спасибо за поддержку! Взаимно 💪

[@Nick83307]

Очень круто , ждем продолжения)

[@PythonToday]

Сделаем! Спасибо за поддержку!

[@Руслан-п5в1ж]

Лучший контен!

[@PythonToday]

Спасибо!

[@Alex-ho8ke]

Спасибо. Лайк-коммент в поддержку видео)

[@PythonToday]

Благодарю!

[@РоманКорхов-ж9е]

Супер❤❤❤❤ Жду следующее видео. Спасибо

[@PythonToday]

Благодарю за фидбэк! Уже начал монтировать)

[@ДеньгизаПользу]

Ну давай уже до 100 к подписчиков добежим же тебе ))

[@PythonToday]

😬 Спасибо за поддержку!

[@ДаниилШестаков-щ8к]

Спасибо , бро Как всегда, затраченные тобой силы, дают крутой контент

[@PythonToday]

Большое спасибо за поддержку!

[@ТемурДусенбаев-ж2ш]

Спасибо за видео 🔥

[@PythonToday]

Спасибо за поддержку!

[@dimadoh2542]

Спасибо за видео, ждём ещё

[@АртёмКузнецов-ц7ы]

Супер материал! Спасибо!

[@PythonToday]

Спасибо за фидбэк!

[@DejaVooDM]

Как всегда все супер !!!

[@PythonToday]

Большое спасибо!

[@1speede1]

Спасибо за видео, мотивируешь изучать Python

[@PythonToday]

Вливайся! Главное практика, рад что видео помогают!

[@1speede1]

​ @PythonToday Помогают. Замечательная подача. Зацепило как раз тем что практика в приоритете, так интереснее учиться. Сначала анализирую информацию приведенную в видео, разбиваю код на логические блоки и пытаюсь запомнить конструкции с помощью которых эти блоки реализуются. Затем пытаюсь восстановить код по памяти, опираясь на анализ. Пока без "подглядывания" в готовое решение не могу обойтись, но понимание приходит (с каждым последующим видео всё больше). В среднем на одно видео из плейлиста "Обучение парсингу на Python" трачу порядка 1-2 дня. Быстрее не получается, по причине того что наступает момент перенасыщения и перестаю воспринимать информацию. Возможно из-за личных особенностей психики.

[@РоманГураль-э8т]

Спасибо за такой детальный разбор кода и вообще за классный контент.

[@PythonToday]

Благодарю за фидбэк!

[@РоманГураль-э8т]

@@PythonToday А не подскажите как пофиксить проблему про какую я писал. Просто переношу Ваш код на другой сайт и на этом месте стопорнул

[@РоманГураль-э8т]

странная ошибка " card_title = card.find("div", class_="card-sale__title").text.strip() AttributeError: 'NoneType' object has no attribute 'text'"

[@Telejram_R2D778]

@@РоманГураль-э8т у меня такая же беда

[@RomaRio_Io]

полезное видео, ждем продолжение!

[@LeXpoXk]

Ждём продолжение, спасибо бро✊

[@PythonToday]

Спасибо за поддержку!

[@pingvin5446]

Ждём следующую часть)

[@PythonToday]

Сделаем 👍

[@dmitrievfin]

Круто! Хочу продолжение с тг ботом!🙏

[@daniilborshchuk7847]

Недавно подписался на patreon, давно слежу, надеюсь ты с нами на долго)

[@PythonToday]

Благодарю за поддержку!

[@НикитаДубровин-ю4у]

Спасибо за видео!

[@MrFerting]

Ждём ждём, спасибо за видео. И ещё больше на нетсталкерс

[@PythonToday]

Большое спасибо за поддержку!

[@ookhands3843]

Спасибо. Давай продолжение!

[@voidd205]

Ждём продолжения с ботом!

[@return_1101]

Сразу лайк! Знаем что контент хороший!

[@PythonToday]

Большое спасибо за поддержку!

[@КарэнАветисян-н8ь]

Спасибо за видео)) все как всегда)

[@PythonToday]

Благодарю за поддержку!

[@igorratnik2357]

Спасибо Добрый Человек!:) Подписался, лайкнул))

[@PythonToday]

Большое спасибо за поддержку!

[@thecolltesst4548]

Спасибо, было бы очень интересно продолжение!!

[@PythonToday]

Благодарю за фидбэк, значит будем делать)

[@vadimchecherin5295]

Ждем продолжение!!!

[@svetlanamilrud]

Супер! Спасибо большое!

[@PythonToday]

Спасибо за фидбэк!

[@СеменХеруимов]

Вы просто космос.

[@PythonToday]

Спасибо за поддержку!

[@Katar1x]

*Сделай видос про телеграм бот, который по запросу формирует html страницы на django и отправляет ссылку в телеграм бот Цель именно объединить django и tg bot в одно видео (django можно самое наипростейшее). В идеале еще подключить бд и записывать в неё сформированные ссылки, чтоб на повторный запрос не гонять прогу дважды. (Сервер Heroku советую). Думаю много кому понадобится такой урок)*

[@DeOLite]

Топчик обожаю программирование и компьютеры!!!

[@PythonToday]

Большое спасибо за поддержку!

[@Agents-p7c]

Круть 🔥🔥🔥

[@Kyctto]

Всё по полочкам, Спасибо за видео

[@PythonToday]

Благодарю за поддержку!

[@ВикторДолгушин-м4ц]

Отличный материал!

[@PythonToday]

Благодарю!

[@ZT5478]

Годно 👍🏻

[@14m10st]

Спасибо за твой труд! Давай продолжение!

[@PythonToday]

Спасибо за фидбэк!

[@DashaZakella1001]

конечно интересно, самый интересный канал по python. было бы интересно еще посмотреть парсинг сайтов и вывод в Телеграм бот по фильтру, например если цена на какой то товар опустилась ниже определенной отметки, с возможностью автозаказа товара или добавлением в корзину из чат бота

[@PythonToday]

Большое спасибо за фидбэк! Сделаем 👍

[@x1ag847]

Хочу продолжение!!!! Очень интересное видео! Спасибо :)))

[@PythonToday]

Благодарю за фидбэк!

[@roomonmoon]

Очень круто, спасибо!

[@PythonToday]

Благодарю за фидбэк!

[@alekss.346]

Спасибо, очень интересно. Жаль второй лайк поставить нельзя, за котяру :)

[@PythonToday]

Спасибо за поддержку!)

[@leonardovvv]

Отличный урок! Ждём продолжения 🎉

[@PythonToday]

Сделаем, спасибо за фидбэк!

[@sergeyf6402]

Как всегда четко! Ждём ч.2. Django от тебя было бы волшебно!

[@PythonToday]

Спасибо за поддержку!

[@llirik88]

Теперь то сахарок от мея не ускользнёт ) Благодарю )

[@PythonToday]

😀 Не говори)) Спасибо за фидбэк!

[@rudinandrey]

а вот кстати да, с телеграм ботом это прикольная идея для таких вещей.

[@EvgeniyPolyak]

Ждем продолжения

[@PythonToday]

Сделаем

[@YourFriendlyNeighbour2022]

Очень интересно, спасибо

[@PythonToday]

Спасибо за фидбэк!

[@ivanlino3747]

однозначно "+". Спасибо за работу