Parsing sites PYTHON - # 3 AUTHORIZATION ON THE SITE, WORK WITH COOKIES AND SESSION

Parsing sites PYTHON - # 3 AUTHORIZATION ON THE SITE, WORK WITH COOKIES AND SESSION
📗 All links to useful materials are below 📗
We will analyze the parsing of python sites, examine the modules
requests, bs4 (BeautifulSoup), fake-useragent, multiprocessing.
Let's write a lot of parsers in python, learn how to find the elements we need
on the page, we will analyze the structure of requests requests, learn how to transfer
your headers and your data to the site.
During the course, we will write a program to download files
from the site, we will learn how to transfer proxies and user agents to the request.
Let's take a look at how to parse the site using the ones we have already studied.
tools. Towards the end of the course, we will also explore multiprocessing for accelerated parsing. In this video, we will look at authorization on the site and working with cookies + session.
⭐ Free version of Kite: bit.ly/3cKz97C
⭐ PyQt5 Python Course: pyqt5.ru
⭐ Channel with useful material: t.me/codeblog8
📁 Website scraping course: bit.ly/394VKtG
📁 Selenium Python Course: bit.ly/3p669ef
📁 Contact me: [e-mail]
📁 Support channel: www.donationalerts.com/r/zproger
Libraries used:
requests, bs4
lxml, fake-useragent
multiprocessing
#ParsingSites #ParsingSitesPython #ParsingPython

[@zproger]

⭐Курс ООП и Приват канал: zproger-school.com/ ⭐Телеграм канал: t.me/+ltjhP8CCll80NTAx Не забывайте оставлять свои идеи для следующих видео в комментариях, большинство из них реализовывается на канале. Также подписывайтесь на канал, так как именно у нас публикуется отборный материал, который позволит вам изучать программирование и другие технологии в разы быстрее.

[@xyjlugah6760]

Спасибо огромное за информацию!!!!!! Я пересмотрел и перечитал где-то штук 10 статей и столько же видосов, уже руки опускались и тут на тебя наткнулся. Ты очень понятно объясняешь. лайк и подписка)

[@zproger]

Спасибо, рад что смог помочь

[@user-cm7qg3qi7u]

Добрый!!! С новый 2023!!!! Спасибо! Контент = огонь!

[@zproger]

Спасибо, и Вас!

[@user-mi9pc8zk6o]

Спасибо за видео, самое лучшее на русскоязычном сегменте, но есть недочеты. (1) Изначально в словарь data мы добавили только логин и пароль, но за кадром был добавлен ключ 'form_sent' . (2) Так же за кадром осталось сокращение ссылки profile_info (убрали '?id=2159'). Я ОЧЕНЬ долго не мог понять почему ничего не получается, из-за (1) я не логинился на сайте, но из-за (2) мог посмотреть информацию о пользователе, так как на ru-forum информацию о пользователе могут посмотреть незарегистрированные пользователи. Как я понял, в data нужно передавать все значения, которые запрашиваются. Надеюсь этот комментарий кому-нибуть поможет.

[@zproger]

Спасибо, да действительно этот кадр был обрезан, так как в самом видео была допущена ошибка. Как-то забыл явно об этом указать, но надеюсь что комментарий поможет всем, кто будет сталкиваться с ней на данном примере.

[@GK-bg3jw]

Хотел бы узнать, почему был добавлен этот ключ?

[@n6mq97]

Спасибо, после того как добавил все ключи из браузера в словарь "data" я смог авторизироваться)

[@VR-ut6ql]

Кратко, ясно и по делу. спасибо

[@zproger]

Спасибо за поддержку :)

[@VR-ut6ql]

@@zproger благодаря этому видео я за 4 часа разобрался как авторизоваться и отправлять сообщения, хотя до этого 3 дня пытался и не смог🥲, Тренируюсь на сайте знакомств сообщения и коменты программа пишет, а вот лайки и запросы в друзя не отправляет почему то

[@sevashpun]

Спасибо за видео!

[@yanvsepomnit]

Я так долго искал видео с объяснением авторизации на сайтах с помощью гет пост запросов, спасибо большое !!!

[@zproger]

Пожалуйста :)

[@ruslanziganshin6855]

Спасибо за подробности работы с браузером !

[@zproger]

Рад что смог помочь

[@AlexPraiD]

Огромное тебе спасибо за видос! Очень помог!

[@zproger]

Рад что принес пользу :)

[@user-uk3kt2qy4h]

Спасибо! А каким браузером пользуетесь при записи видео?

[@maximchyorny4053]

огромное спасибо автору этого видео за объяснение деталей, у меня наконец всё получилось)))

[@zproger]

Пожалуйста :)

[@n6mq97]

@@zproger ++ Автор, ты лучший🔥🔥🔥

[@gaben_aTan]

спасибо за видео...думал селениумом воспользоваться, но хотелось найти авторизацию на сайте средствами реквеста ..проверю на досуге :)

[@Monte_Cristo_R]

Да вот с этими куками и сессиями уже посложнее стало немного , хотя суть ясна конечно но новичку все равно трудно переваривается все в голове )) . На 5-7 минут видео бы побольше было и поподробнее немного раскрывать эти нюансы со списками словарей и т.д и было бы вообще огонь )) . А так спасибо все равно за контент !!!

[@zproger]

Спасибо, я понял, постараюсь в новых видео более подробно рассматривать темы

[@user-uk3kt2qy4h]

Могли бы Вы в описании оставлять ссылки на сайты с которыми экспериментируете в примере?

[@tamicarrq6095]

Есть ли программа/ расширение для нагугливания куки на целевом сайте?

[@crashjar]

когда-то подобным способом делал авторизацию вконтакте на делфи. сейчас столкнулся с сайтом где данные передаются гет запросом, но в открытом виде только логин. остальное где-то видимо шифруется в ява скрипте

[@user-qx4gg4im2b]

Спасибо, кратко и понятно.

[@zproger]

Пожалуйста :)

[@marsh5582]

Какми сайтом пользуешься, на хроме не получается просмотривать страницу и запросы к у тебя

[@user-yu3cj2co6j]

Очень полезный контент

[@zproger]

Благодарю

[@user-lh6xk5wd8i]

некропост-вопрос.... нарвался на сайт, который может авторизоваться только через google, без формы логина и пароля. как мне его парсить без селениума?

[@getteg6468]

бро, ты красавчик, спасибо за видео

[@zproger]

Благодарю, рад что понравилось :)

[@user-vp6oe2rn1b]

Хорошее видео!

[@zproger]

Спасибо за поддержку

[@puffywitheyes7768]

спасибо, ты лучший

[@zproger]

Благодарю!

[@Neural.Academy]

А что делать если при логине еще какой-то токин в запросе есть и он постоянно разный?

[@daye_private]

Лучший

[@antares7350]

всё делал по видео но вылезла такая ошибка: Max retries exceeded with url: /index.php (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997) подскажите как её можно решить?

[@subheofff]

лучший просто

[@bahawwww]

И как дальше парсить? Нужно зайти на другую раздель зайти после авторизации

[@python689]

Здравствуйте, помогите плз, как кожно вытащить текст "Wilson Tour Premier All Court 4B" soup = BeautifulSoup(html, 'lxml') title = soup.find('h1', class_='product--title') Tennis balls Wilson Tour Premier All Court 4B

[@hulitolku]

А from_sent октуда взял?

[@statik3973]

Очень познавательный плейлист! Мне вот всё интересно какую операционую систему вы используете?

[@zproger]

Благодарю за поддержку, использую Linux Mint

[@niva622]

неплохо было бы записать как авторизоваться на сайте, где нет Post запроса, используется токен авторизации

[@whicencer8819]

Токен авторизации генерируется при самой авторизации. То есть нужно авторизироваться, чтобы получить этот токен

[@vasilyyy989]

Привет! Вопрос таков: я делаю простой софт с одним сайтом и там надо один раз залогиниться и сохранить в куки второй сессии данные. Проблема в том, что на сайте каптча. Можно ли как-то где-то вручную найти данные куки и вписать в код, чтобы не мучаться с каптчой? Если знаешь ответ, то напиши, пожалуйста. Буду сильно благодарен. Спасибо большое за курс, он очень полезный и удобный :)

[@zproger]

Да, можно руками авторизоваться, вытащить куки и использовать их сразу в софте, в заголовке Cookie, об этом более подробно написал в другом вашем комментарии.

[@hangryboy7142]

Привет! Спасибо за видос. Хотел спросить, прокатит ли это с регистрацией на сайте?

[@zproger]

Приветствую, да

[@notyoutuber5265]

5:03 а, откуда там появился form_sent?

[@user-vp1xm3wh1f]

А как авторизоваться если погружается javascript? И ломает всю картину

[@axecameron8970]

Что делать, если авторизация на сайте осуществляется не через post, а через options запрос? Не могу найти Form Data в запросе, ну и собственно не могу вносить свои параметры в эмулируемый запрос, ибо не знаю, что надо подменять

[@zproger]

Судя по документации это делается похожим образом, только в этом случае необходимо отслеживать заголовки: requests.readthedocs.io/en/master/user/advanced/

[@ivan_luka777]

Наконец то я победил эту авторизацию!!!!! Чувак спасибо!!!

[@zproger]

Круто, рад что помогло

[@user-zc1ot9jo5k]

Привет. Я не знал, что цикл for может так присваивать значение. Где об этом можно почитать? [{"domain": key.domain, "name": key.name, "path": key.path, "value": key.value} for key in session.cookies]

[@zproger]

Приветствую, любая статья по циклам подойдет :)

[@alexpyro6073]

это он наговнокодил, не делайте так. эта запись эквивалентна cookies_dict = [] for key in cookies: cookies_dict.append({"domain": key.domain, "name": key.name, "path": key.path, "valeu": key.value})

[@zproger]

@@alexpyro6073 Это не гавнокод, а обычный генератор

[@alexpyro6073]

@@zproger прошу прощения, это я болван. Действительно генератор

[@andrej1034]

как понять что я вошел через POST запрос?

[@user-kc7js2ix6c]

Интересно было бы глянуть как авторизовываться на сайтах типа Кинопоиска, где авторизация происходит не на самом сайте, а через Yandex.Passport.

[@zproger]

Там принцип такой же, нужно отловить запросы которые идут на сторонние сервисы и также их отправить.

[@user-kc7js2ix6c]

@@zproger да. Самая большая сложность понять как найти нужные, среди огромного кол-ва хлама. В вашем примере всего несколько запросов. Особенно это сложно сделать когда вообще никакого опыта нет.

[@DrVid__DeAtH_hUnTeR]

Жду также но с инстаграмом

[@zproger]

:)

[@qewiok1917]

2:18 Объясни пожалуйста фразу "можно посмотреть как у нас выглядит сама ссылка, если бы мы использовали GET запрос" Что ты тут имел ввиду? Что POST запрос можно отдать через GET?

[@zproger]

Да

[@qewiok1917]

@@zproger Но это не так! POST и GET разные запросы и если ты (можно на ты) вставишь этот длинную ссылку в адресную строку вместо "POST запроса", то ничего не выйдет. Сервер ничего не зарегистрирует. Ты меня сильно озадачил этим вопросом, и я поспрашивал у людей опытных очень, они мне сказали это, но тогда что это за поле? Можешь пожалуйста еще раз эту информацию подтвердить, а тоя немного запутался)

[@zproger]

Насколько я знаю, гет передает параметры в адресной строке, пост же использует отдельную форму с аргументами. Если я не ошибаюсь, то когда-то использовался гет запрос для отправки форм, но так как данные передавались в адресной строке, это было не безопасно и было принято решение использовать для этой цели пост запросы и передавать аргументы отдельно.

[@oladushek1337]

Привет! У меня есть вопрос как понять что записывать в data?

[@zproger]

Это данные для POST запроса, которые отображаются в Network

[@user-lo1xq9yy5x]

есть пример скрипта для регистрации скриптом

[@jasylshop]

Здравствуйте, очень интересно. Но вопрос, в каких случаях этот способ не работает?

[@zproger]

Этот способ не должен работать везде, каждый сайт содержит абсолютно разную логику и нужно писать скрипт под каждый сайт отдельно. Данное видео создано чтобы понять лишь процесс написания таких скриптов :)

[@vasilyyy989]

И еще вопрос. Можно ли как-то сразу с куками открыть ссылку?

[@zproger]

Да, можно передать их в заголовок Cookie и тогда авторизация произойдет моментально. Чтобы узнать какие куки используются, можно открыть инспектор кода - Network, перезагрузить страницу, выбрать запрос на корень сайта и в заголовках ответа (Responce) найти куки.

[@vasilyyy989]

@@zproger Спасибо большое. Уже разобрался. Жду новые ролики

[@user-kw1fv1dj4y]

Ребята,подскажите простой сайт где для авторизации нужны только логин и пароль, а то везде капча,повтор пароля и прочее,а сайт с видео к сожалению уже не работает(((

[@zproger]

Можно поискать любые форумы, быстро найдете подходящий вариант.

[@EtozheMelancholy]

Было бы интересно, если бы ты записал как капчу решать через Rucaptcha к примеру, все на запросах конечно

[@zproger]

Спасибо за идею, будет реализовано

[@vadim5613]

@@zproger есть видео про рукапчу?

[@getteg6468]

с кукисами почему то неверные данные парсятся

[@EarnDevison]

скинь пожалуйста свою подсветку вс кода

[@alexpyro6073]

а что это за конструкция такая в cookie_dict с циклом?

[@zproger]

Обычный генератор

[@user-ps5fr1id1i]

Я так и не понял. А как загрузить эти куки из текстового документа в новой сессии?

[@zproger]

Парсить значения из файла и записывать в сессию, там есть name, domain, key, value, path и прочие поля.

[@user-ps5fr1id1i]

@@zproger я уже нашел)

[@TheGlebSChannel]

в response сайт отвечает "405 Not Allowed" и дальше не пускает. что это? и как идти дальше?

[@zproger]

HTTP 405 Method Not Allowed , указывает, что метод запроса известен серверу, но был отключен и не может быть использован.

[@TheGlebSChannel]

@@zproger это я понял, глядя в консоль сайта, он просит метод POST, его же я и использую. Пробовал с методом GET также, но выдает просто html код самого окна авторизации

[@ruslanziganshin6855]

Ты мой герой !

[@zproger]

:)

[@user-zc1ot9jo5k]

Если куки-файлы имеют разные значения в разных сессиях, тогда почему сайт нас авторизует?

[@zproger]

Куки сохраняются для каждого сайта отдельно

[@hoocklaskano4251]

Можно ли реализовать регистрацию в киви?

[@zproger]

Думаю да

[@sergeykmetyuk6521]

4:53 так все таки как получить значение с нашим никнеймом?

[@zproger]

Вытащить значение с html, который возвращает страница

[@coryphoenixxx8238]

Товарищ! Есть идеи, как на хабре авторизоваться?)

[@zproger]

Авторизоваться можно на чем угодно, надо лишь смотреть какой запрос идет и с какими параметрами. Если есть капча, то надо специальные сервисы для этого юзать.

[@coryphoenixxx8238]

@@zproger я там кроме юзерагента и id-шек от себя вообще ничего не вижу) Хитро как-то сделали, и да + капча.

[@coryphoenixxx8238]

@@zproger И блин API скрыт у Хабра!

[@bir52k1kv178]

@@zproger хотелось бы про работу с капчей узнать, если у меня есть софт решающий капчу )) вообщем узнать про отправку на сервисы или в прогу или может даже тессеракт

[@srjsibg6osdaab946]

"Пожалуйста, только корректным способом входите в скрипт" ... уже не войти..

[@bir52k1kv178]

Пробовал на сайте одном авторизоваться, что то не получилось, решил на сайте с видео попрактиковаться , а сайта то нет уже :( увы, придется другое видео искать

[@zproger]

Главное понять принцип работы, а сайты можно найти :)

[@bir52k1kv178]

@@zproger вот сижу понимаю уже который день, неделю наверно, к тому же что с капчей делать

[@kvadratmalevicha6842]

Откуда ты взял ссылку на 4:54

[@zproger]

Погуглил рандомные форумы

[@kvadratmalevicha6842]

@@zproger этот сайт уже не работает, я не понял что ты там открыл(

[@aspysha]

а если команда post не поддерживается на сайте?

[@zproger]

Тогда делать авторизацию через тот метод, который указан в Network

[@mafia-vv8ly]

я хотел через телеграм бота парсить ip другого человека, но когда мой знакомый его запустил, все равно выдавало мой ip

[@zproger]

Ну так оно же отрабатывает на вашем пк, а не на пк друга

[@mafia-vv8ly]

@@zproger понял, спасибо

[@personx5954]

Пытался авторизоваться в вк, но не смог получить эти данные 1:16 Их там просто нет :(

[@zproger]

Все сайты работают по-разному, то что я показал в видео это не панацея, к каждому сайту свой индивидуальный подход.

[@user-cp4fp1ms6j]

В вк не катит, там пароль сразу шифруется. Я кстати догнал, что адрес страницы совпадает с именем запроса, может пригодится, так что лучше попробуй какой-нибудь форму не популярный, там не так все запаристо

[@clutchmeisteryo9831]

Таким образом я на любой сайт зайти могу?

[@zproger]

Если повторить запрос, все заголовки и параметры 1в1, то да. Но каждый сайт работает по своему принципу.

[@21region17]

а откуда появилось 'form_sent,': '1' ???

[@21region17]

прочитал

[@zproger]

можно подробней? не совсем понял вопрос

[@lucifer2143]

У меня не получается спарсить расписании с kundalik.com там везде каша помоги пж!!!!

[@zproger]

Приветствую, в будущем возможно будут ещё видео по парсингу, рассмотрим вашу тему также, но когда это будет пока не понятно

[@lucifer2143]

Ага буду ждать этого урока с нетерпением! :)

[@n_ulls]

А как авторизироваться на сайтах с капчей? Никак , по идее?

[@zproger]

Легко. Скоро сделаю видео об этом, поэтому следите за каналом :)))

[@n_ulls]

@@zproger Подписан на вас , жду уведомлений)

[@user-ub5ue1yz1o]

@@zproger Очень жду

[@CatLida]

Ммм, Mate Тоже использую это окружение А зачем программировать через VirtualBox?

[@zproger]

У меня виртуалки под разные цели, так удобней работать)

[@CatLida]

@@zproger Ммм Кстати, ваше видео помогло мне сделать авторизацию для получения токна Сейчас работаю над клиентом Яндекс музыки для Линукс (Yamux называется, если интересно ищите через гитхаб по запросу KirMozor Yamux)

[@zproger]

Круто, посмотрю проект :)

[@iq-andi3811]

Привет, а что делать с капчей?

[@zproger]

Это можно узнать на сервисах, которые её решают

[@iq-andi3811]

@@zproger А есть бесплатные?

[@iq-andi3811]

@@zproger Кстати спасибо за твой быстрый ответ, по моему первый блогер, который так быстро ответил))

[@iq-andi3811]

@@zproger Давай я тебе скину сайт, а ты посмотришь, что там можно сделать, если тебе не сложно)

[@zproger]

Бесплатных сервисов нет, так как это решают живые люди. Никто не будет сидеть решать капчи бесплатно. Но там достаточно дешево стоят их услуги, можно загуглить сервисы и выбрать под себя.

[@mcomponent]

Есть такая вещь, как scrapy.

[@zproger]

Да, крутой фреймворк :) Но он уже для более крупных проектов

[@DMITRII-ov3dq]

Зачем вообще сохранять куки первого пост запроса?

[@lime1842]

Ненавижу иметь дела с нежитью!

[@zproger]

с чем?)

[@Skyt1l]

На ВК не работает. И как быть?

[@zproger]

Нужно смотреть на все передаваемые данные и заголовки, эти данные из видео не панацея.

[@aleksandramalakutsko401]

есть вк api и через него можно зайти

[@Jopka67]

Таким образом можно ВК парсить

[@zproger]

Проще через апи по идее

[@said6434]

немного сложно для меня)) больше половины понял, под конец только непонял

[@zproger]

Тогда нужно учить моменты, которые не получилось понять и уже тогда смотреть видео ещё раз :)

[@DiserOfAstora]

{"detail":"Authentication credentials were not provided.","code":-2} хм

[@zproger]

Все сайты по-разному работают, пример из этого видео не будет работать везде.

[@formont4523]

У меня статус 403(

[@user-qm3ct4lh1p]

Бля, для новичков это очень сложно. особенно под конец

[@zproger]

Изначально всё сложно =)

[@thekruvi1084]

У меня вообще нет исследовать элемент! Что за хрень?! Автор давай новые уроки по этому, можно хоть одним большим видео, но чтобы хотя-бы работало и было всё понятно. Не понятно абсолютно откуда брать ссылку url щас всё изменилось! Да и сайта уже нет ru-forum

[@zproger]

Я и не говорил что нужно ru-forum брать, для обучения можно найти любой другой сайт где есть форма авторизации без капчи, либо же использовать формы на гитхабе.

[@thekruvi1084]

@@zproger спасибо что ответил. Я это знаю, основная проблема в том, что исследовать элемент больше нет, зато есть код элемента, это почти тоже самое, но всё по другому. Никак не пойму какую из несколько десятков URL брать

[@KarikhSergey]

Автор, а что если на сайте в запросах НЕТ запроса "login.php?action=in", и соответственно нет ничего типа "req_username" и "reg_password". Что искать то? И где? Как? Вы что думаете все сайты формируют запросы к серверу одинаково??? И везде pasword=="reg_password"? ))) Чему и кого вы хотели научить своим видео? Вы задавались этим вопросом? Зачем в сети это очередной кусок видео г...?

[@nerves6401]

Боже у тебя интерфейс не как у людей, пользуешься блаузером не пойми каким бесит, почему не хром взял например?

[@zproger]

Я должен пользоваться тем что нравится вам или что нравится мне?)) Интересное заявление

[@nerves6401]

@@zproger ты пилишь гайд, как думаешь чем твоя аудитория пользуется?

[@user-kl7rp8kh8h]

​@@nerves6401 ну если ты амеба которая не может разобраться как это сделать через хром, то тебе стоит забыть что такое айти,

[@oloudsaf]

как пройти csrf/authenticity_token на странице входа на сайт? Видео показалось дельным, но я не могу свою задачу выполнить :)

[@ArgentYourBest_Choise]

Да-да, многое упущено. Такая-же тема у меня, не могу cloudfrare-защиту обойти. Ну, а что еще ожидать от вводного курса? В целом-то он хорош)

[@dovolniy_mc]

Та же проблема! Вы как, нашли решение?

[@user-dt6or9vh8x]

Хм, все конечно прекрасно рассказано. Но вот если бы не ([SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)) - было бы хоть практичнее)

[@SM-mu3bq]

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached Даная библиотека была обновлена так-что если у вас возникла данная ошибка то попробуйте написать так user = UserAgent(fallback='chrome', verify_ssl=False).random 1 2 3