Парсинг на Python | Зарабатываем на фрилансе | Копируем сайт | Requests, BS4, JSON

[@PythonToday]

Поторопился и допустил ошибку. Если работаете с сессиями, а не с голым requests.get, лучше, и даже нужно закрывать сессию. Оберните код цикла в контекстный менеджер with: with requests.Session() as session: И в первой и во второй функции. На гите обновил репозиторий. Большое спасибо за фидбэк и поддержку! 🤝

[@cirnocirno6101]

А можно пояснение, почему именно session и что оно тут дает по сравнению с голым requests.get в конкретном примере? Из документации создается представление, что оно в основном для работы с куки и сохранения некоторых штук, чтобы не передавать их с каждым новым запросом, но здесь мне непонятно, что оно дает.

[@steel_rat]

Дружище, видос классный и познавательный, сам много лет занимаюсь вебом, но на тёмной стороне PHP, есть одно замечание, но не по парсингу, а по хранению данных. Ты используешь json, и для видосов ранее это подходила, а сейчас ты парсишь текст, и если хоть в одном тексте втретится двойная кавычка ( " ) то она поломает абсолютно весь файл, что не допустимо. Для таких данных неплохо подошел бы тот же самый xml, синтаксис похож на html, но когда ты будешь хранить в нём данные, то гораздо удобнее будет ими оперировать, да он чутка прожорливее по обьёму, но он менее капризен для данных внутри. Желаю успехов и надеюсь научишь аудиторию не только json'у но и другим типам данных) А для существующего проекта было бы уместно добавить реплейс не только на перенос строки, но и на замену двойных кавычек на одинарные

[@MrTASGER]

@@cirnocirno6101 сессия создаёт сессию😄 проще говоря она создаёт подключение и гоняет все данные через него. Реквест втупую при каждом запросе создаёт подключение и после получения ответа его закрывает. На создание подключения уходит время. По этому сессия быстрее.

[@cirnocirno6101]

@@MrTASGER спасибо, о том что это банально быстрее работает, не знал.

[@tol40325280]

@@steel_rat Джейсоны просто везде в ходу, в той же бигдате, например, всякие загрузки на входе. Я думаю, двойная кавычка ничего не поломает, а просто как-то заскринится типа добавкой обратного слеша перед ней. Но я до конца в этом не уверен.

[@vigauss1889]

С уверенностью скажу, что то, что ты делаешь и твой канал абсолютные фавориты на рутубе. Огромное спасибо за практику! Конечно лайк и жду продолжения темы на Django! Спасибо друг!

[@UW5EHC]

Вы ошиблись, rutube по другому адресу

[@PythonToday]

Огромное спасибо за фидбэк и поддержку!

[@PythonDevelopment]

Согласен полностью. Сам я практикую flask, но в практике на любом куске кода люблю принтование и разбор как работает эта штука, давайте ее разберем подробнее. Мне кажется такой подход не отвлекает от общей темы, а наоборот дает +100500 к пониманию материала. Есть каналы, где тупо пробегутся типа это сюда, это тут и всё. Конечно нужно думать самому, но подробный разбор каких-то штуковин в коде точно мотивирует на свершения.

[@kakw436]

@@PythonToday как ты поставил боковую панель с проводником?

[@СамаганНурдинов-ч4ц]

Спасибо брат! Твои видео просто пушка. Удачи! Жду очень много таких.

[@PythonToday]

Благодарю за фидбэк!

[@overtonli3252]

Благодарю за контент. Это полезный материал)) пожалуйста продолжайте!)

[@AVE_Schtirlitz]

Смотрю ваши ролики не только и не столько из-за полезности информации и высококачественного монтажа, сколько ради танцующего кота ❤

[@vigauss1889]

Видео на паузе) Очень интересно продолжение! Большое спасибо за практику и за то, что тратишь свое время, лайк 👍

[@PythonToday]

Большое спасибо!

[@yt222ee]

просто и быстро у автора так всё записано, без лишнего бубнежа. мне кажется если в статье будут кавычки то json сломается. спасибо, респект!

[@PythonToday]

Благодарю за фидбэк!

[@dimr5001]

Держу в курсе. Ты не зря выкладывать ролики.

[@PythonToday]

Благодарю за фидбэк!

[@eluterracock]

дядь, дай бог тебе здоровья, очень круто и понятно

[@alexnovik6223]

В первый раз увидел код на пайтоне - и в принципе все абсолютно понятно

[@PythonToday]

Самый простой для изучения/чтения язык. Благодарю за фидбэк!

[@rzheckii-time]

Очень хорошая и понятная подача, информационные принты, лично мне, как начинающему, очень помогают. Просто супер!!!

[@PythonToday]

Большое спасибо за фидбэк!

[@СергейЮров-б6е]

С начала цикла видео про скрапинг ваш подход эволюционирует. От видео к видео меняются детали. Было бы здорово, если бы вы сделали какой-то промежуточный гайд, в котором суммировался бы ваш опыт. Спасибо за контент!

[@PythonToday]

Благодарю за фидбэк! Да вроде особо не менял ничего, и все детально проговариваю.

[@deus7204]

Спасибо за опыт, за подробное изложение, и за то, что тратишь свое время.

[@PythonToday]

Благодарю за фидбэк! Рад что видео полезны.

[@rabid_bear]

чувак, твой канал просто находка, респект👍

[@LakiKrates]

Лайк авансом) Уверен, что как всегда - годно🔥

[@PythonToday]

Большое спасибо!

[@НиколайНиколаевич-е3г]

Спасибо за видео! Очень залипающе у тебя получается)

[@rozarioagro824]

Как всегда класс. Давненько про селен не было. Хотел предложить тему для видоса: решение капчи в селене. Возможно с помощью расширения для хрома..

[@PythonToday]

Благодарю за фидбэк. На канале не будет видео по решению капчей. Думаю понятно почему ¯\_(ツ)_/¯

[@PythonDevelopment]

Привет, коллега. Отличный выпуск, практика то что нужно новичкам. Лайк с подпиской за такой урок обязателен =))

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@ИванСоболев-э7ж]

Ага да да для новичков епта

[@PythonDevelopment]

@@ИванСоболев-э7ж для продвинутых новичков)) Не с курсов конечно же.

[@pavelkolosov2790]

Как раз учу Django, пишу свой блог. Как всегда лайк.

[@PythonToday]

Благодарю!

[@teoli8473]

Так как видео носит обучающий характер printы очень полезны! {'PythonToday' : 'качество'}

[@PythonToday]

Благодарю!

[@Zer-st6qv]

Супер! Большое тебе спасибо, лайк и коммент за продолжение серии!

[@PythonToday]

Большое спасибо за фидбэк!

[@alisher9442]

*Один из самых лучших каналов в истории человечества* 💪

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@algis_sh]

Отличное видео для повторения прошлых материалов

[@PythonToday]

Благодарю!

[@epic3386]

Всё отлично лайк подписка ждём новых видео!

[@PythonToday]

Большое спасибо за поддержку!

[@guiltorkoskov7310]

Огромное спасибо, очень помог разобраться в этом. По больше бы таких видео в интернете

[@PythonToday]

Спасибо за поддержку!

[@sergeyaleksandrovih2331]

Очень понятно, очень интересно!

[@Anthony-sf2rk]

Качественный контент, делай пожалуйста и дальше бро!

[@PythonToday]

Большое спасибо за поддержку!

[@МихаилКитов-и1е]

❤ Спасибо ❤ Так просто я ещё ни у кого не учился

[@PythonToday]

рад что полезно, большое спасибо за фидбэк!

[@malkhalk8837]

Прекрасный контент, продолжай пилить такие видосы.

[@PythonToday]

Большое спасибо за фидбэк! Рад что интересно

[@СергейСмирнов-ь8у]

Шикарное видео. Будет здорово чтобы набралось 1500 лайков и автор сделал продолжение! Сайт на Django + Спасибо 👍

[@PythonToday]

Благодарю за поддержку!

[@mr.twinkle529]

спасибо, в enumerate можно передавать значение с которого будет идти перечисление, например emunerate(b, 1). Просто в конце не надо будет единицу прибавлять.

[@PythonToday]

Благодарю за фидбэк!

[@СергейГоворов-ы8и]

Спасибо за Ваши труды.

[@PythonToday]

Благодарю за поддержку!

[@TheVadimchik31]

ну котика, кнш, очень качает. Гениально

[@PythonToday]

Благодарю!

[@alexeyishkov2236]

Просто огонь 🔥🔥🔥 очень доступно подаёте материал! Спасибо!

[@PythonToday]

Большое спасибо за фидбэк! Рад что полезно и интересно)

[@Dmitriy-vj2hp]

Ты просто космос 👍👍👍👍💥💥💥

[@PythonToday]

Благодарю!

[@АлексейСамаркин-ы2н]

Отличный материал продолжай тему!

[@PythonToday]

Большое спасибо за поддержку!

[@БогданКоваль-у5щ]

классная работа, спасибо за видео, понятно что делаем, принты тоже помогают

[@PythonToday]

Большое спасибо за фидбэк!

[@AIHeart666]

Огромная благодарность за познавательный контент.

[@PythonToday]

Благодарю за фидбэк!

[@alexey7005]

Молодец, нормально делаешь, все понятно и дикция чёткая.

[@PythonToday]

Благодарю!

[@lucky_user]

Спасибо огромное за то, что делитесь опытом! Очень полезно!

[@PythonToday]

Благодарю, рад что видео полезны!

[@NATESTANDOFF2]

Оставляю комментарий под видео.

[@toxid1101]

А за видос, да и за канал, спасибо!

[@PythonToday]

Благодарю за поддержку!

[@records6790]

Ноль в программировании, но посмотрел полностью. Спасибо)

[@PythonToday]

Большое спасибо за фидбэк!

[@vengr3020]

Не для новичков, таких как я))) ничего не понял, но очень приятно смотреть на результат)))

[@PythonToday]

Спасибо за фидбэк! Главное ежедневная практика и все будет!

[@craftmini8349]

Видосы лучшие, просто слов нет чтобы описать, первый раз вижу чтобы всё настолько на блюдечке было. Но что насчёт node js и js в целом? Мне кажется, нода во всём пайтон превосходит, так на js ещё и фронтенд писать можно, может я просто чего-то про питон не знаю, если да то в чём преимущества? в общем было бы очень конечно круто если бы node js был темой канала, потому что такой формат видео просто идеален)) (давайте кто согласен лайк под комментом чтобы автор увидел)))

[@PythonToday]

Приветствую, благодарю за фидбэк! "круто если бы node js был темой канала" - это ведь не канал по JS)) В дальнейшем планировал серию видео по drf + vue. А что касаемо преимуществ Python либо JS, так в принципе думаю не нужно сравнивать эти два языка. Каждый лучший в своем деле.

[@skillfactory8864]

С помощью ваших вдео учусь парсить сайты. Вот столкнулся с задачкой, где не могу решить условия как выбирать объявления появившееся за последние семь дней? Стоит применить celery? Подскажите в каком направлении идти. Сасибо. Спарсите объявления из раздела недвижимость с сайта. Парсер должен заходить на сайт раз в день и забирать только новые объявления (те, которых нет в нашей базе). При первом заходе парсер должен спарсить объявления за предыдущих 7 дней. Поля для сохранения выберите самостоятельно. Обязательно сохраните телефон объявления.

[@mad_bear77]

Небольшая комаровка вначале. Когда записываем в хтмл файл, необходимо добавить encoding=“utf-8”. А то вместо текста вопросики

[@kadencode5347]

Спасибо огромное за видеоролик, тоже недавно такой делал)

[@PythonToday]

Благодарю за фидбэк!

[@simadovakin739]

Крутое видео. Можно не принтовать, а писать лог. По своему опыту знаю насколько полезен лог даже в скрапинге. Мало ли что может случиться во время выполнения скрипта.

[@PythonToday]

Благодарю за фидбэк! Ты прав, нужно изучить логирование.

[@ИскандерВалиев-д9ш]

Спасибо топ контент!!

[@PythonToday]

Благодарю!

[@ourtube5191]

Сила джуниора 💪🔥🔥

[@aliexpress5750]

Отличный язык... Спасибо!

[@PythonToday]

Благодарю!

[@bankr0t.]

Так это получается что можно устроить фабрику телеграм-каналов.😃 Парсить топовые сайты с новостями в разных тематиках и выкладывать. Спасибо тебе огромное за идеи 💡

[@PythonToday]

Большое спасибо за фидбэк! Если что я в деле 😀

[@sozdavai]

Так это все кому не лень будут это делать чем кончится-)

[@bankr0t.]

@@sozdavai Кончится всё тем, что Паша сделает умную ленту как в ВК. Надо торопиться)

[@K1nglan]

У меня нет сомнений что многие тг каналы так и делают

[@vdarasun]

Замечательный канал, замечательный ролик! Но, будучи старым ворчливым дедом, замечу, что не краулер, наверное, получился ))) Тем более, что в тексте статьи м.б. ещё картинки, графики, таблички... Но, видимо, заказчик сам определяет, что ему достаточно.

[@PythonToday]

Благодарю за фидбэк!

[@yexela]

Да, не путать с пирсингом! :)

[@PythonToday]

Опасно

[@nikonan6252]

Надо было сказать в конце, что лучше всего в начале выбрать себе не слишком сложную цепочку мастера (Найти у профисионала, много гайдов, например у меня это всегда: Eq, компрессор и лимитр) и всегда работать с ней, набирается опытом в написание структуры и уже когда опыт придёт занимается экспериментами.

[@igorburdenyuk4887]

Привет. Монетизируй видео, ставь рекламу. Твой контент это заслужил.

[@PythonToday]

Приветствую, благодарю за фидбэк! 👍

[@sword595]

видос классный, как и канал, а есть продолжение с джанго ?

[@ДаниилСоловьев-э6ш]

Хорошая реализация. Но только если статей будет там достаточно много, то хранить их в оперативной памяти будет очень затратно, если вообще не критично. Поэтому я бы примерно каждую 1000 статей сохранял данные, чтобы подстраховаться)

[@ПутьАйтишника]

Поэтому сразу надо писать в БД :)

[@maxbrenson21]

Бог парсинга)

[@PythonToday]

Благодарю. Но только учусь

[@ИгорьЛатуха]

Котэ рубит ритм! Джангокотэ это будет бомбэздно! Джанго большой, много котэ нужно будет )

[@PythonToday]

Благодарю за фидбэк 😀

[@andreyolshansky8078]

Красава! Я тоже хочу так уметь!

[@PythonToday]

Вливайся! Главное чтоб глаза горели и каждый день что нить делать

[@АртёмДавыдов-ы5э]

Добрый день можете побольше раз казать об этом и показать если есть примеры где такие сайты продаются

[@testdrive7850]

Комментария для продвижения

[@PythonToday]

Спасибо за поддержку!

[@Артём-ю3в5б]

Спасибо!

[@PythonToday]

Благодарю за фидбэк!

[@akimovvadim4736]

Уже наверное не актуально но тема интересная, очень.

[@dariuz8530]

Комментаторы, помогите пожалуйста. Появилась необходимость искать фотки и скачивать их в хороше разрешении. Поискал в Yandex и Google картинках API, ничего не нашел. Решился парсить, но selenium я не могу использовать. Только requests и bs4. Если парсить только страничку со списком изображений, то изображения будут плохого качества, но для того, чтобы их получить в хорошем качестве, надо нажать на картинку. Как это сделать в requests не знаю. Помогите пожалуйста.

[@wa33ap]

Моё почтение.

[@PythonToday]

Спасибо за фидбэк!

[@АлександрБогданов-х5о]

Почему парсинг с локального IP? Может быть достаточно неприятно, если после парсинга той или иной страницы с товего IP (если он статический) тебя заблокают на сайте и перекинут тобой ip, в общую базу "злостных ботоводов парсеров", тогда вообще грусть печаль, что заблокают не только на этом сайте но и на других(очень грустная проблема для меня, когда я сижу в офисе, где все эти запросы идут с одного IP). Я использую TOR для того что бы такого не случилось. Да, возможно заморочно, но помогает. Быстро менять IP не проблема( быстро это раз в пару секунд для меня) и кода для этой смены всего две функции каждая по строки 4. Но нужно установить TOR и там в файлах и папках поковыряться и поперекидывать и понастраивать файлы. PythonToday, запиши на эту тему видео пж.

[@onetimeuser]

Пожалуйста сделай видео обучающиее парсингу более сложных сайтов (например, когда информация появляется при нажатии на кнопку)

[@guiltorkoskov7310]

Можно использовать post и передать в него dataform запроса, тогда ты попадёшь на нужную инфу

[@Exemmplary]

Я как тот кот, сидел и мотал головой пока играла музыка!

[@PythonToday]

Каждый раз так делаю при монтаже 👍

[@skillfactory8864]

С помощью ваших вдео учусь парсить сайты. Вот столкнулся с задачкой, где не могу решить условия как выбирать объвления появившееся за последнии семь дней? Стоит применить celery? Подскажите в каком направлении идти. Сасибо Спарсите объявления из раздела недвижимость с сайта. Парсер должен заходить на сайт раз в день и забирать только новые объявления (те, которых нет в нашей базе). При первом заходе парсер должен спарсить объявления за предыдущих 7 дней. Поля для сохранения выберите самостоятельно. Обязательно сохраните телефон объявления.

[@winethost7141]

Было бы здорово, если показал бы, как на django делать!

[@PythonToday]

Сделаем

[@ДмитрийЯковлев-д6э]

Круто)))

[@PythonToday]

Спасибо за фидбэк!

[@alexnovik6223]

Если гуру не понимают зачем в учебном видео постоянно делать вывод промежуточных результатов в консоль, то это их проблема. Не думаю что есть смысл тут использовать TDD. А вообще, когда работаешь с обработками данных, то консоль это очень удобно для небольших проектов. Для больших только TDD + максимальное логирование.

[@PythonToday]

Благодарю за фидбэк!

[@1cnik]

вообще не зря)

[@PythonToday]

Благодарю за фидбэк!

[@adambolotov1809]

сайт из видео, не доступен уже, но можно по пробывать на альтернативном применить это

[@АртёмДавыдов-ы5э]

Можете делать видео про как записать в базу данных сайта который сделан на django

[@orthodox-chanel]

к сожалению сайт из урока уже не работает(((

[@ОлегЧеркашин-ш7с]

Посмотрел, почти все ролики про парсинг, а похожего сайта как у меня в заказе не нашел. Это сайт недвижимости, проблема в парсинге номера телефона,там нужно кликнуть по кнопке "показать номер", можно через selenium затем bs4 и забираем номер, мне это метод кажется очень долгим. Номер телефона отдается по API из другой таблицы доступ к которой через токены. Есть ли вариант как-то подменять токены. чтобы не юзать селениуим и бс4 , а брать номер по api?

[@jendox3573]

for i, url in enumerate(urls_list, 1): # в i будет индекс начиная с 1

[@PythonToday]

Большое спасибо за фидбэк!

[@АлександрЕфимкин-н8д]

Ну конечно нравится

[@PythonToday]

Спасибо!

[@АлександрЕфимкин-н8д]

@@PythonToday возможно я пропустил ролик, а какм софтом вы пользуетесь для написания и инструментами желательно под винду

[@foxik_cs5845]

то ли этот сайт парсить слишком легко то ли научился уже более менее,спасибо тебе)

[@PythonToday]

Спасибо за фидбэк! Рад что видео полезны.

[@ЭдуардШангареев-щ1ш]

Подскажите пожалуйста можно ли спарсить данные под определённые даты с сайта и как лучше это сделать?

[@xazratbekturdaliyev1274]

Можно ли копировать и переводить данные на любой язык при переносе?

[@puser-yh9lv7kl1h]

подскажите, питоном можно ли спарсить чаты например с WhatsApp ?

[@andreycodder]

Отличное видео. Столкнулся с проблемой защиты от бота, на сайте dns-shop. Как парсить такие сайты?

[@PythonToday]

Не инструкции или методички "как парсить такие сайты". Каждый проект индивидуален, нужно сидеть и копаться.

[@VikMoc]

Благодарю за видое! Подскажи, на каких ресурсах ищешь заказы?

[@PythonToday]

Спасибо за фидбэк! По биржам есть видео на канале, но последний год только сарафанное радио и старые заказчики.

[@РоманХомудяров]

Возникли проблемы с импортом библиотеки beautifulsoup. В терминале при загрузке библиотек не каких ошибок нет, но при запуске скрипта выдает ошибку " ImportError: cannot import name 'beautifulsoup' from 'bs4' ". Хотя библиотека установлена.

[@РоманХомудяров]

@Arkastar tv Life Так и сделал. Всё заработало.

[@dangy3514]

Какой компилятор используется в данном видео ?

[@АнтонКупянський]

Как всегда топ контент!! хотел бы спросить у вас совета. Насколько нормальная практика парсинга в админке сайта(например вордпресс или опенкарт) для того чтобы обновлять автоматически запросом POST некоторые пункты. Насколько это целесообразно?

[@ПутьАйтишника]

Что значит парсинг в админке? Я например, сейчас пишу скрипт прямо в function.php и это не критично. Главное это изолировать доступ к функции и если работаете с потоками, будьте предельно бдительны. Но лучше написать плагин. А периодически пинговать скрипт тоже норм практика

[@АнтонКупянський]

@@ПутьАйтишника спасибо) я уже осознал , насколко глупая идея быллаа))

[@internetnickname8923]

Мечта ленивого прогера типа меня: скопипастить сайт, переделать меню, текст и контент готов 😂

[@internetnickname8923]

@Blit Gaming закинь на хостинг провайдер и будет тебе бекэнд за денежку

[@internetnickname8923]

@Blit Gaming в прямом

[@internetnickname8923]

@Blit Gaming я понял, что ты имел ввиду, я тебе и сказал, что это уже предоставляют некоторые провайдеры, где ты можешь сайт полностью с 0 сделать либо свой посадить и настроить бекуху

[@ercody_t]

Хм, может пропустил ... А что за сайт для фриланса?

[@monukmort]

Мне кажется или на кали-линукс был уже готовый скрипт для создания копии сайта ) И не нужно танца с бубном ) НО ЗА ТРУД - БОЛЬШОЕ СПАСИБО!

[@ПутьАйтишника]

Вам кажется, тут именно парсинг данных предоставляется в виде json, который дальше можно использовать. А о чем вы говорите, скорее всего скачает сайт целиком с шаблоном.

[@monukmort]

@@ПутьАйтишника ок, понял, принял свою глупость ) спасибо )

[@ognevoleg58]

Как спарить с веб архива?

[@GreekkAlex]

братан, не обращай внимания на "учителей", делай свое дело!! вопрос: не планируешь освещать в практической плоскости ООП, всякие метаклассы, работу с бд, itertools и пр.?

[@PythonToday]

Все бы снял разом, да времени не хватает. Большое спасибо за поддержку!

[@kovalenkosv40]

Wget пробовал?

[@Вадим-ф9ч9ш]

Сайт на джанго, в студию Тоже важно🎉

[@user-uq1of1ch3v]

Cпасибо

[@seoonlyRU]

весьма ОК! ловите лайк от СЕООНЛИ - вебмастера и сеошника в одном лице, известного на просторах рунета

[@PythonToday]

Большое спасибо за фидбэк и поддержку!