Parsing sites PYTHON - # 3 AUTHORIZATION ON THE SITE, WORK WITH COOKIES AND SESSION

Parsing sites PYTHON - # 3 AUTHORIZATION ON THE SITE, WORK WITH COOKIES AND SESSION
📗 All links to useful materials are below 📗
We will analyze the parsing of python sites, examine the modules
requests, bs4 (BeautifulSoup), fake-useragent, multiprocessing.
Let's write a lot of parsers in python, learn how to find the elements we need
on the page, we will analyze the structure of requests requests, learn how to transfer
your headers and your data to the site.
During the course, we will write a program to download files
from the site, we will learn how to transfer proxies and user agents to the request.
Let's take a look at how to parse the site using the ones we have already studied.
tools. Towards the end of the course, we will also explore multiprocessing for accelerated parsing. In this video, we will look at authorization on the site and working with cookies + session.
⭐ Free version of Kite: bit.ly/3cKz97C
⭐ PyQt5 Python Course: pyqt5.ru
⭐ Channel with useful material: t.me/codeblog8
📁 Website scraping course: bit.ly/394VKtG
📁 Selenium Python Course: bit.ly/3p669ef
📁 Contact me: [e-mail]
📁 Support channel: www.donational...
Libraries used:
requests, bs4
lxml, fake-useragent
multiprocessing
#ParsingSites #ParsingSitesPython #ParsingPython

[@zproger]

⭐Курс ООП и Приват канал: zproger-school.com/ ⭐Телеграм канал: t.me/+ltjhP8CCll80NTAx Не забывайте оставлять свои идеи для следующих видео в комментариях, большинство из них реализовывается на канале. Также подписывайтесь на канал, так как именно у нас публикуется отборный материал, который позволит вам изучать программирование и другие технологии в разы быстрее.

[@ЭмметтБраун-у3т]

кому данный урок показался трудным - особенно тот момент с cookies(я думаю есть такие),не расстраивайтесь,и не слушайте тех,кто говорит,что программирование не ваше и займись чем нибудь другим,просто каждый день учите что-то новое,в идеале,что вам нравится больше,никто не вправе,даже родители указывать вам ,чем заниматься,спутся очень большое время вашей учебы вы заметите насколько вы продвинулись,у меня было такое,что сделал я: вернулся к основам python,подтянул её,начал решать задачи на codewars,чуть чуть проект эйлера - это думаю самое главное,хорошо спите,и питайтесь правильно,занимайтесь спортом и найдите то,чем можно заниматься помимо программирования,устали,отдохните,не мучайте себя,можете даже брать в неделю 1 - 2 дня и отдыхать,я вернулся к этим урокам спустя пару месяцев и скажу что это легко...

[@ВячеславСуворов-ж2к]

Добрый!!! С новый 2023!!!! Спасибо! Контент = огонь!

[@zproger]

Спасибо, и Вас!

[@xyjlugah6760]

Спасибо огромное за информацию!!!!!! Я пересмотрел и перечитал где-то штук 10 статей и столько же видосов, уже руки опускались и тут на тебя наткнулся. Ты очень понятно объясняешь. лайк и подписка)

[@zproger]

Спасибо, рад что смог помочь

[@АлександрМаслов-щ4в]

Спасибо за видео, самое лучшее на русскоязычном сегменте, но есть недочеты. (1) Изначально в словарь data мы добавили только логин и пароль, но за кадром был добавлен ключ 'form_sent' . (2) Так же за кадром осталось сокращение ссылки profile_info (убрали '?id=2159'). Я ОЧЕНЬ долго не мог понять почему ничего не получается, из-за (1) я не логинился на сайте, но из-за (2) мог посмотреть информацию о пользователе, так как на ru-forum информацию о пользователе могут посмотреть незарегистрированные пользователи. Как я понял, в data нужно передавать все значения, которые запрашиваются. Надеюсь этот комментарий кому-нибуть поможет.

[@zproger]

Спасибо, да действительно этот кадр был обрезан, так как в самом видео была допущена ошибка. Как-то забыл явно об этом указать, но надеюсь что комментарий поможет всем, кто будет сталкиваться с ней на данном примере.

[@GK-bg3jw]

Хотел бы узнать, почему был добавлен этот ключ?

[@n6mq97]

Спасибо, после того как добавил все ключи из браузера в словарь "data" я смог авторизироваться)

[@ВалерийВоробьёв-н6л]

Могли бы Вы в описании оставлять ссылки на сайты с которыми экспериментируете в примере?

[@yanvsepomnit]

Я так долго искал видео с объяснением авторизации на сайтах с помощью гет пост запросов, спасибо большое !!!

[@zproger]

Пожалуйста :)

[@maximchyorny4053]

огромное спасибо автору этого видео за объяснение деталей, у меня наконец всё получилось)))

[@zproger]

Пожалуйста :)

[@n6mq97]

@@zproger ++ Автор, ты лучший🔥🔥🔥

[@VR-ut6ql]

Кратко, ясно и по делу. спасибо

[@zproger]

Спасибо за поддержку :)

[@VR-ut6ql]

@@zproger благодаря этому видео я за 4 часа разобрался как авторизоваться и отправлять сообщения, хотя до этого 3 дня пытался и не смог🥲, Тренируюсь на сайте знакомств сообщения и коменты программа пишет, а вот лайки и запросы в друзя не отправляет почему то

[@niva622]

неплохо было бы записать как авторизоваться на сайте, где нет Post запроса, используется токен авторизации

[@whicencer8819]

Токен авторизации генерируется при самой авторизации. То есть нужно авторизироваться, чтобы получить этот токен

[@ruslanziganshin6855]

Спасибо за подробности работы с браузером !

[@zproger]

Рад что смог помочь

[@sevashpun]

Спасибо за видео!

[@ivan_luka777]

Наконец то я победил эту авторизацию!!!!! Чувак спасибо!!!

[@zproger]

Круто, рад что помогло

[@puffywitheyes7768]

спасибо, ты лучший

[@zproger]

Благодарю!

[@ВалерийВоробьёв-н6л]

Спасибо! А каким браузером пользуетесь при записи видео?

[@gaben_aTan]

спасибо за видео...думал селениумом воспользоваться, но хотелось найти авторизацию на сайте средствами реквеста ..проверю на досуге :)

[@Pavelbrov]

Урок хороший, но сейчас часто нужно ещё использовать csrf_token, authenticity_token. А если б ещё и как с файлом работать показали, можно было бы пользоваться как шаблоном, а так придётся ещё поискать инфы.

[@арсландавлетов-и1е]

Очень полезный контент

[@zproger]

Благодарю

[@AlexPraiD]

Огромное тебе спасибо за видос! Очень помог!

[@zproger]

Рад что принес пользу :)

[@DrVid__DeAtH_hUnTeR]

Жду также но с инстаграмом

[@zproger]

:)

[@getteg6468]

бро, ты красавчик, спасибо за видео

[@zproger]

Благодарю, рад что понравилось :)

[@YagorTruhan]

Спасибо, кратко и понятно.

[@zproger]

Пожалуйста :)

[@hangryboy7142]

Привет! Спасибо за видос. Хотел спросить, прокатит ли это с регистрацией на сайте?

[@zproger]

Приветствую, да

[@crashjar]

когда-то подобным способом делал авторизацию вконтакте на делфи. сейчас столкнулся с сайтом где данные передаются гет запросом, но в открытом виде только логин. остальное где-то видимо шифруется в ява скрипте

[@ruslanziganshin6855]

Ты мой герой !

[@zproger]

:)

[@daye_private]

Лучший

[@Neural.Academy]

А что делать если при логине еще какой-то токин в запросе есть и он постоянно разный?

[@Kazymai-n3w]

Было бы интересно, если бы ты записал как капчу решать через Rucaptcha к примеру, все на запросах конечно

[@zproger]

Спасибо за идею, будет реализовано

[@vadim5613]

@@zproger есть видео про рукапчу?

[@subheofff]

лучший просто

[@statik3973]

Очень познавательный плейлист! Мне вот всё интересно какую операционую систему вы используете?

[@zproger]

Благодарю за поддержку, использую Linux Mint

[@AleksTrifonov]

Возможно ли на Питоне написать скрипт, который бы смог авторизоваться на сайте с CSRF защитой?

[@Влад-и5й3г]

Хорошее видео!

[@zproger]

Спасибо за поддержку

[@p_r_o_e_k_t_o_r]

А from_sent октуда взял?

[@vasilyyy989]

Привет! Вопрос таков: я делаю простой софт с одним сайтом и там надо один раз залогиниться и сохранить в куки второй сессии данные. Проблема в том, что на сайте каптча. Можно ли как-то где-то вручную найти данные куки и вписать в код, чтобы не мучаться с каптчой? Если знаешь ответ, то напиши, пожалуйста. Буду сильно благодарен. Спасибо большое за курс, он очень полезный и удобный :)

[@zproger]

Да, можно руками авторизоваться, вытащить куки и использовать их сразу в софте, в заголовке Cookie, об этом более подробно написал в другом вашем комментарии.

[@tamicarrq6095]

Есть ли программа/ расширение для нагугливания куки на целевом сайте?

[@jasylshop]

Здравствуйте, очень интересно. Но вопрос, в каких случаях этот способ не работает?

[@zproger]

Этот способ не должен работать везде, каждый сайт содержит абсолютно разную логику и нужно писать скрипт под каждый сайт отдельно. Данное видео создано чтобы понять лишь процесс написания таких скриптов :)

[@KitBorland]

некропост-вопрос.... нарвался на сайт, который может авторизоваться только через google, без формы логина и пароля. как мне его парсить без селениума?

[@marsh5582]

Какми сайтом пользуешься, на хроме не получается просмотривать страницу и запросы к у тебя

[@ДамирЯкупов-ы8ь]

Возможно поздно,но тут дело не в браузере,а в операционной системе. Вы скорее всего виндовсом пользуетесь,а автор ролика линуксом

[@КириллЛогинов-ц2л]

Привет. Я не знал, что цикл for может так присваивать значение. Где об этом можно почитать? [{"domain": key.domain, "name": key.name, "path": key.path, "value": key.value} for key in session.cookies]

[@zproger]

Приветствую, любая статья по циклам подойдет :)

[@alexpyro6073]

это он наговнокодил, не делайте так. эта запись эквивалентна cookies_dict = [] for key in cookies: cookies_dict.append({"domain": key.domain, "name": key.name, "path": key.path, "valeu": key.value})

[@zproger]

@@alexpyro6073 Это не гавнокод, а обычный генератор

[@alexpyro6073]

@@zproger прошу прощения, это я болван. Действительно генератор

[@bahawwww]

И как дальше парсить? Нужно зайти на другую раздель зайти после авторизации

[@Well016]

Не понимаю почему у меня пустой куки после успешного post запроса на авторизацию

[@vasilyyy989]

И еще вопрос. Можно ли как-то сразу с куками открыть ссылку?

[@zproger]

Да, можно передать их в заголовок Cookie и тогда авторизация произойдет моментально. Чтобы узнать какие куки используются, можно открыть инспектор кода - Network, перезагрузить страницу, выбрать запрос на корень сайта и в заголовках ответа (Responce) найти куки.

[@vasilyyy989]

@@zproger Спасибо большое. Уже разобрался. Жду новые ролики

[@qewiok1917]

2:18 Объясни пожалуйста фразу "можно посмотреть как у нас выглядит сама ссылка, если бы мы использовали GET запрос" Что ты тут имел ввиду? Что POST запрос можно отдать через GET?

[@zproger]

Да

[@qewiok1917]

@@zproger Но это не так! POST и GET разные запросы и если ты (можно на ты) вставишь этот длинную ссылку в адресную строку вместо "POST запроса", то ничего не выйдет. Сервер ничего не зарегистрирует. Ты меня сильно озадачил этим вопросом, и я поспрашивал у людей опытных очень, они мне сказали это, но тогда что это за поле? Можешь пожалуйста еще раз эту информацию подтвердить, а тоя немного запутался)

[@zproger]

Насколько я знаю, гет передает параметры в адресной строке, пост же использует отдельную форму с аргументами. Если я не ошибаюсь, то когда-то использовался гет запрос для отправки форм, но так как данные передавались в адресной строке, это было не безопасно и было принято решение использовать для этой цели пост запросы и передавать аргументы отдельно.

[@hoocklaskano4251]

Можно ли реализовать регистрацию в киви?

[@zproger]

Думаю да

[@oladushek1337]

Привет! У меня есть вопрос как понять что записывать в data?

[@zproger]

Это данные для POST запроса, которые отображаются в Network

[@notyoutuber5265]

5:03 а, откуда там появился form_sent?

[@MikeGreen-v6t]

А как авторизоваться если погружается javascript? И ломает всю картину

[@clutchmeisteryo9831]

Таким образом я на любой сайт зайти могу?

[@zproger]

Если повторить запрос, все заголовки и параметры 1в1, то да. Но каждый сайт работает по своему принципу.

[@kvadratmalevicha6842]

Откуда ты взял ссылку на 4:54

[@zproger]

Погуглил рандомные форумы

[@kvadratmalevicha6842]

@@zproger этот сайт уже не работает, я не понял что ты там открыл(

[@ВикторЖидов]

Интересно было бы глянуть как авторизовываться на сайтах типа Кинопоиска, где авторизация происходит не на самом сайте, а через Yandex.Passport.

[@zproger]

Там принцип такой же, нужно отловить запросы которые идут на сторонние сервисы и также их отправить.

[@ВикторЖидов]

@@zproger да. Самая большая сложность понять как найти нужные, среди огромного кол-ва хлама. В вашем примере всего несколько запросов. Особенно это сложно сделать когда вообще никакого опыта нет.

[@alexpyro6073]

а что это за конструкция такая в cookie_dict с циклом?

[@zproger]

Обычный генератор

[@srjsibg6osdaab946]

"Пожалуйста, только корректным способом входите в скрипт" ... уже не войти..

[@HoddGdd]

Я так и не понял. А как загрузить эти куки из текстового документа в новой сессии?

[@zproger]

Парсить значения из файла и записывать в сессию, там есть name, domain, key, value, path и прочие поля.

[@HoddGdd]

@@zproger я уже нашел)

[@andrej1034]

как понять что я вошел через POST запрос?

[@lime1842]

Ненавижу иметь дела с нежитью!

[@zproger]

с чем?)

[@ДенисСюсин-р1е]

Ребята,подскажите простой сайт где для авторизации нужны только логин и пароль, а то везде капча,повтор пароля и прочее,а сайт с видео к сожалению уже не работает(((

[@zproger]

Можно поискать любые форумы, быстро найдете подходящий вариант.

[@coryphoenixxx8238]

Товарищ! Есть идеи, как на хабре авторизоваться?)

[@zproger]

Авторизоваться можно на чем угодно, надо лишь смотреть какой запрос идет и с какими параметрами. Если есть капча, то надо специальные сервисы для этого юзать.

[@coryphoenixxx8238]

@@zproger я там кроме юзерагента и id-шек от себя вообще ничего не вижу) Хитро как-то сделали, и да + капча.

[@coryphoenixxx8238]

@@zproger И блин API скрыт у Хабра!

[@bir52k1kv178]

@@zproger хотелось бы про работу с капчей узнать, если у меня есть софт решающий капчу )) вообщем узнать про отправку на сервисы или в прогу или может даже тессеракт

[@python689]

Здравствуйте, помогите плз, как кожно вытащить текст "Wilson Tour Premier All Court 4B" soup = BeautifulSoup(html, 'lxml') title = soup.find('h1', class_='product--title') Tennis balls Wilson Tour Premier All Court 4B

[@antares7350]

всё делал по видео но вылезла такая ошибка: Max retries exceeded with url: /index.php (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997) подскажите как её можно решить?

[@EarnDevison]

скинь пожалуйста свою подсветку вс кода

[@mafia-vv8ly]

я хотел через телеграм бота парсить ip другого человека, но когда мой знакомый его запустил, все равно выдавало мой ip

[@zproger]

Ну так оно же отрабатывает на вашем пк, а не на пк друга

[@mafia-vv8ly]

@@zproger понял, спасибо

[@aspysha]

а если команда post не поддерживается на сайте?

[@zproger]

Тогда делать авторизацию через тот метод, который указан в Network

[@axecameron8970]

Что делать, если авторизация на сайте осуществляется не через post, а через options запрос? Не могу найти Form Data в запросе, ну и собственно не могу вносить свои параметры в эмулируемый запрос, ибо не знаю, что надо подменять

[@zproger]

Судя по документации это делается похожим образом, только в этом случае необходимо отслеживать заголовки: requests.readthedocs.io/en/master/user/advanced/

[@sergeykmetyuk6521]

4:53 так все таки как получить значение с нашим никнеймом?

[@zproger]

Вытащить значение с html, который возвращает страница

[@getteg6468]

с кукисами почему то неверные данные парсятся

[@CatLida]

Ммм, Mate Тоже использую это окружение А зачем программировать через VirtualBox?

[@zproger]

У меня виртуалки под разные цели, так удобней работать)

[@CatLida]

@@zproger Ммм Кстати, ваше видео помогло мне сделать авторизацию для получения токна Сейчас работаю над клиентом Яндекс музыки для Линукс (Yamux называется, если интересно ищите через гитхаб по запросу KirMozor Yamux)

[@zproger]

Круто, посмотрю проект :)

[@mcomponent]

Есть такая вещь, как scrapy.

[@zproger]

Да, крутой фреймворк :) Но он уже для более крупных проектов

[@БолтовЙес]

есть пример скрипта для регистрации скриптом

[@personx5954]

Пытался авторизоваться в вк, но не смог получить эти данные 1:16 Их там просто нет :(

[@zproger]

Все сайты работают по-разному, то что я показал в видео это не панацея, к каждому сайту свой индивидуальный подход.

[@ПавелВарежкин-н2я]

В вк не катит, там пароль сразу шифруется. Я кстати догнал, что адрес страницы совпадает с именем запроса, может пригодится, так что лучше попробуй какой-нибудь форму не популярный, там не так все запаристо

[@n_ulls]

А как авторизироваться на сайтах с капчей? Никак , по идее?

[@zproger]

Легко. Скоро сделаю видео об этом, поэтому следите за каналом :)))

[@n_ulls]

@@zproger Подписан на вас , жду уведомлений)

[@цицк]

@@zproger Очень жду

[@КириллЛогинов-ц2л]

Если куки-файлы имеют разные значения в разных сессиях, тогда почему сайт нас авторизует?

[@zproger]

Куки сохраняются для каждого сайта отдельно

[@iq-andi3811]

Привет, а что делать с капчей?

[@zproger]

Это можно узнать на сервисах, которые её решают

[@iq-andi3811]

@@zproger А есть бесплатные?

[@iq-andi3811]

@@zproger Кстати спасибо за твой быстрый ответ, по моему первый блогер, который так быстро ответил))

[@iq-andi3811]

@@zproger Давай я тебе скину сайт, а ты посмотришь, что там можно сделать, если тебе не сложно)

[@zproger]

Бесплатных сервисов нет, так как это решают живые люди. Никто не будет сидеть решать капчи бесплатно. Но там достаточно дешево стоят их услуги, можно загуглить сервисы и выбрать под себя.

[@TheGlebSChannel]

в response сайт отвечает "405 Not Allowed" и дальше не пускает. что это? и как идти дальше?

[@zproger]

HTTP 405 Method Not Allowed , указывает, что метод запроса известен серверу, но был отключен и не может быть использован.

[@TheGlebSChannel]

@@zproger это я понял, глядя в консоль сайта, он просит метод POST, его же я и использую. Пробовал с методом GET также, но выдает просто html код самого окна авторизации

[@МаксимРогачев-ч4х]

Хм, все конечно прекрасно рассказано. Но вот если бы не ([SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)) - было бы хоть практичнее)

[@Mimik64]

Таким образом можно ВК парсить

[@zproger]

Проще через апи по идее

[@zhanasylomar5559]

можно твои видео и данные спарсирую

[@zproger]

они в открытом доступе, можете парсить

[@Skyt1l]

На ВК не работает. И как быть?

[@zproger]

Нужно смотреть на все передаваемые данные и заголовки, эти данные из видео не панацея.

[@aleksandramalakutsko401]

есть вк api и через него можно зайти

[@said6434]

немного сложно для меня)) больше половины понял, под конец только непонял

[@zproger]

Тогда нужно учить моменты, которые не получилось понять и уже тогда смотреть видео ещё раз :)

[@21region17]

а откуда появилось 'form_sent,': '1' ???

[@21region17]

прочитал

[@zproger]

можно подробней? не совсем понял вопрос

[@DiserOfAstora]

{"detail":"Authentication credentials were not provided.","code":-2} хм

[@zproger]

Все сайты по-разному работают, пример из этого видео не будет работать везде.

[@DMITRII-ov3dq]

Зачем вообще сохранять куки первого пост запроса?

[@bir52k1kv178]

Пробовал на сайте одном авторизоваться, что то не получилось, решил на сайте с видео попрактиковаться , а сайта то нет уже :( увы, придется другое видео искать

[@zproger]

Главное понять принцип работы, а сайты можно найти :)

[@bir52k1kv178]

@@zproger вот сижу понимаю уже который день, неделю наверно, к тому же что с капчей делать

[@lucifer2143]

У меня не получается спарсить расписании с kundalik.com там везде каша помоги пж!!!!

[@zproger]

Приветствую, в будущем возможно будут ещё видео по парсингу, рассмотрим вашу тему также, но когда это будет пока не понятно

[@lucifer2143]

Ага буду ждать этого урока с нетерпением! :)

[@thekruvi1084]

У меня вообще нет исследовать элемент! Что за хрень?! Автор давай новые уроки по этому, можно хоть одним большим видео, но чтобы хотя-бы работало и было всё понятно. Не понятно абсолютно откуда брать ссылку url щас всё изменилось! Да и сайта уже нет ru-forum

[@zproger]

Я и не говорил что нужно ru-forum брать, для обучения можно найти любой другой сайт где есть форма авторизации без капчи, либо же использовать формы на гитхабе.

[@thekruvi1084]

@@zproger спасибо что ответил. Я это знаю, основная проблема в том, что исследовать элемент больше нет, зато есть код элемента, это почти тоже самое, но всё по другому. Никак не пойму какую из несколько десятков URL брать

[@убийцанубов-й4с]

Бля, для новичков это очень сложно. особенно под конец

[@zproger]

Изначально всё сложно =)

[@formont4523]

У меня статус 403(

[@KarikhSergey]

Автор, а что если на сайте в запросах НЕТ запроса "login.php?action=in", и соответственно нет ничего типа "req_username" и "reg_password". Что искать то? И где? Как? Вы что думаете все сайты формируют запросы к серверу одинаково??? И везде pasword=="reg_password"? ))) Чему и кого вы хотели научить своим видео? Вы задавались этим вопросом? Зачем в сети это очередной кусок видео г...?

[@nerves6401]

Боже у тебя интерфейс не как у людей, пользуешься блаузером не пойми каким бесит, почему не хром взял например?

[@zproger]

Я должен пользоваться тем что нравится вам или что нравится мне?)) Интересное заявление

[@nerves6401]

@@zproger ты пилишь гайд, как думаешь чем твоя аудитория пользуется?

[@АлексейКузнецов-й9ю]

​@@nerves6401 ну если ты амеба которая не может разобраться как это сделать через хром, то тебе стоит забыть что такое айти,

[@oloudsaf]

как пройти csrf/authenticity_token на странице входа на сайт? Видео показалось дельным, но я не могу свою задачу выполнить :)

[@ArgentYourBest_Choise]

Да-да, многое упущено. Такая-же тема у меня, не могу cloudfrare-защиту обойти. Ну, а что еще ожидать от вводного курса? В целом-то он хорош)

[@dovolniy_mc]

Та же проблема! Вы как, нашли решение?

[@SM-mu3bq]

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached Даная библиотека была обновлена так-что если у вас возникла данная ошибка то попробуйте написать так user = UserAgent(fallback='chrome', verify_ssl=False).random 1 2 3