Всегда проверяйте наличие скрытого API при парсинге сайтов

⭐ Курс ООП и Приват канал: www.zproger-school.com/?...
⭐ Телеграм канал: t.me/+ag3TWfFIuKs1NjMx
⭐ Прокси сервис: proxy6.net/en/a/91388
Бывало ли у вас такое, что при парсинге сайтов вы не могли достать тот контент, который отображается на странице? Часто это говорит о том, что данные рендерятся через JS.
Поэтому в таких ситуациях многие предпочитают использовать Selenium, чтобы имитировать поведение пользователя. Но что если я вам скажу, что вы можете найти скрытый API сайта и избежать использования таких инструментов как Селениум?
В этом видео я покажу как искать зацепки на сайтах, и как использовать Insomnia для проверки запросов. Мы научимся находить чистые данные, которые отдает сервер, прежде чем JS проведет над ними свои манипуляции.
📁 Github: github.com/Zproger
📁 Все плейлисты с уроками: bit.ly/39GaY89
📁 Связаться со мной: [e-mail]
📁 Поддержать канал: github.com/Zproger/donate
Тайм-коды:
0:00 - Почему важно знать этот способ?
1:13 - Ищем способ автоматизации сайта с Insomnia
5:07 - Ищем данные в sitemap.xml и сравниваем контент без JS
5:49 - Как узнать что сайт хранит данные локально?
7:53 - Ищем скрытый API сайта с Insomnia

[@antonvorobiev9507]

Конечно, боо! Даёшь парсинг без нагрузки. Спасибо за твой труд

[@zproger]

Благодарю!

[@TheRindzinnew]

Здравствуйте. Благодарю. Жду следующее обещанное видео. Вы супер!

[@zproger]

Спасибо

[@Developing-oz6my]

Привет, сделай видео про кастомизацию Arch, твой Arch очень красиво выглядит

[@konstantin.ostapuk]

в конце видео где вы показываете скрытый апи сайтов, примерное на 10:30 минуте вы показываете как использовать апи чужого сайта. я хотел спросить, а законно ли это и могут ли за такое как-то заблокировать запросы с определенного сервера (в данном случае моего сервера)? по факту я нашел сайт на котором я нашел пост запросы и там не нужна авторизация могу ли я пользоваться этим апи или это чревато тем, что когда-то они его закроют и мое приложение крашнется, хотя по факту может крашнутся и парсинг страниц, если их допустим парсить через puppeteer.

[@user-nq5yh5re4w]

уважаемый бро , инфа касающаяся поиска скрытого апи актуальна , но чесно говоря я мало что понял , всё как то быстро и сумбурно

[@Keefear]

Супер 👍 Очень вовремя. Как раз столкнулся с проблемой получения данных с сайта букмекера . На странице данные есть , а в json из нет. Спасибо , буду пробовать.

[@WhiteAngelstudioTV]

Конечно интересно тема со splash 😊

[@AnShyv]

очень полезно. понял, что не нужно отказываться от платного курса, что в хтмле может быть вся инфа, что прокси очень нужен непонятно нахера, и что сайт можно парсить с помощью запросов. большое спасибо приду ещё дверь за мной не закрывайте

[@zproger]

а я вот не понял к чему это

[@AnShyv]

@@zproger у мня был тот же вопрос на протяжении всего видео. Какой-то адовый сумбур из всего

[@II__II]

Месяц назад делал парсинг сайта, HTML которого полностью реализован на JS. Вы мне помогли, оказалось не сложно :)

[@zproger]

Рад что смог помочь :))))

[@kiberman3724]

С помощью Selenium?

[@mikhailtim9114]

Очень полезно. Спасибо тебе за контент! Тот момент, когда видео надо смотреть с уменьшением скорости😅

[@zproger]

Спасибо за комментарий 😃😃 Это помогает более качественно подбирать контент

[@EvgeniySakharov]

Первых два раза на нормальной. А третий уже на пониженной.😀

[@Dondelsur]

Конечно, интересно! Автор, жги! :)

[@zproger]

Благодарю

[@user-ho1rz1jx1x]

бро подскажи плиз, есть ли такое кумулятивное видео, в котором есть все основы для парсинга сайта (не программирование, а именно архитектура)

[@user-mu4bg2yq9n]

Ахаха, на работе как раз таки и использовал апи для парсинга вб. Легко, удобно!

[@pbadun]

что-то никак не могу понять, что за программа используется для отладки запросов и дальнейшей генерации кода... ?

[@Saburvan18]

Какой линукс ты используешь и какое окружение? Можно ли сделать такое де рабочее оформление как у тебя?

[@konstantin.ostapuk]

arch linux, а что за тема мне лень искать

[@result_123]

Я уснул на этом видео, когда проснулся, меня выселили с моей квартиры ( а видео классное, кстати )

[@mak7ytka483]

Раскажи пожалуйста как сейчас нужно обходить новые версии cloudflare не используя платные сервисы

[@scenario21]

Хотелось бы увидеть, поставил лайк

[@aleksandrkovtun6206]

Парсинг без нагрузки интересует! Жду с нетерпением!!!

[@konstantinshmarin2676]

Очень интересно! Создавай!

[@zproger]

Благодарю

[@neito3350]

Подскажите пожалуйста что за Линукс автор использует ? Очень красивый😊

[@Aserogl]

Arch Linux с оконным менеджером bspwm

[@alekseyshabalin]

а если api защищено и не дает данные, если делать запросы не через сайт, то как тут быть?

[@user-tg6ok5nt4q]

Подскажите, пожалуйста, почему не получается получить post ответ от сайта, выдает ошибку requests.exceptions.SSLError

[@AlexandrSpirit]

Я тут на днях сталкивался. Нужно было буржуйский сайт спарсить. Прикол в том, что есть запросы через js. Но ответы в формате HTML. HTML вставляется на страницу с небольшими доработками через js. Неудобно, но за-то не потребовался селениум А второй момент: страницы с сылками парсятся scrapy, но пройти по ссылкам и скачать файл csv не получается. Защита. Но оказалось, что ссылка на скачивание файла - динамическая. И данные можно получить из ссылки первого прохода. Резюмирую. Нет какого-то готового ответа. Каждый сайт который требуется спарсить, требует индивидуального подхода.

[@aralbaev]

Добрый день. А что делать если сайт монолитный? те работает без апишек?

[@boec]

Какой смысл в этом если при запросе эти данные что ты показывал "ищу по айди и тд," находиться не будут так как джс не отработал

[@chessplayer123]

подскажите, пожалуйста, какой юзаете браузер?

[@Socador_bas]

Котик зачётный. Лайк.

[@zproger]

:)))

[@user-bs1ef6tt3e]

Первый случай, это сайт с ssr, всё отрендерилось на сервере и тебе ришел html готовый, второй случай это обычное spa... Скрытый "api" он вообще-то совсем не скрытый)))

[@whosane9923]

Только хотел с темой разобраться )))

[@zproger]

Класс, значит я вовремя))

[@SV-13]

Что нужно сделать при взломе сейфа в первую очередь? Потянуть за ручку - а вдруг он открыт?

[@zproger]

:DDD

[@artdevh3735]

Как у ватсапа без купленного api можно найти скрытое api? Или там без selenium больше никак?

[@Tribunall]

Паршу 2 сайта для сравнение цен, где лучше сохранять данние для сравнения (json, sqlite) или в чем?

[@user-rq5gg2uk3s]

Если для себя можно в скулайт

[@user-ko4bm3fh8n]

Какой браузер используешь? Понравился дизайн

[@DeStreamTV]

Mozilla Firefox в режиме Private

[@tavernawitchblvde]

сними видос про свой линукс

[@user-ok7xl2hl7t]

а как называется эта штука где делаете запросы и генерируете Python код?

[@zproger]

Говорил в видео, это Insomnia

[@user-ok7xl2hl7t]

@@zproger спасибо

[@bill8126]

Здорова. Будет контент или может уже есть. Как регать на запросах социальные сети ? Например инстаграм

[@zproger]

Привет, уже было на канале. Правда запросы для разных сайтов отличаются

[@bill8126]

@@zproger как назывался выпуск ?

[@Naberegn]

Не понятно как работать с Insomnia, ничего не показал.

[@zproger]

Как это не показал, вы походу перемотали половину видео. Смотрите полностью, там все показано, причем в подробностях.

[@maximkoltsov9833]

Можно обзор на твою ОС? Как ты сделал такой красивый десктоп?

[@zproger]

Будет, но мне нужно время на нее найти, ибо очень много багов вылезло после обновы арча)

[@maximkoltsov9833]

@@zproger отлично, с нетерпением жду)

[@SX4F]

Годно!

[@zproger]

Спасибо

[@darkmil5912]

А какой браузер использовали в видео?

[@user-in8gz1ke7v]

Настроенный Firefox

[@sol1arisgd]

будет ли видео про настройку арча и нвима как у тебя ?

[@zproger]

Да, но дедлайны неизвестны

[@terrarian2628]

я думал, что первый до такого додумался

[@bugagashenka3680]

Первая половина видоса класс, вторая не оправдала названия видоса, что же тут "скрытого" ? Зашел посмотрел запросы, увидел что возвращают некоторые json и все, конечно проще нормальными данными работать.

[@user-wb3ks1un8k]

Прочитав заголовок сразу понял о чем речь 😎

[@zproger]

😎😎😎

[@zproger]

😎😎😎

[@user-yb4dd8jv9x]

как называется этот визуализатор звука виджет?

[@zproger]

Cava

[@user-yb4dd8jv9x]

@@zproger спс

[@meyson-mason1401]

Видос как всегда кстати

[@zproger]

Благодарю

[@EvgeniySakharov]

Вот реально, к стати. Вселенная услышала...)))

[@spiritfrombook]

Материал интересный. Но столько само рекламы отталкивает. В сумме раза 4 зазывал в тг подписки и тд

[@stylelifeweb.wyndace]

Ура, кто-то у нас занялся переводом John Rooney 🎉🎉🎉

[@zproger]

Это не перевод, мне просто понравилась идея, но сайты и фишки я взял свои, потому что тоже многие просили заснять такое видео 🙃🙃

[@user-bw5in2yo7s]

@@zproger согласен. Это авторский материал, а идею сразу узнал. У Руни даже есть видос с таким же названием

[@privawd4255]

Это база парса же. Селениумом максимум куки получать

[@O5_12]

Какой у тебя оконик ?

[@zproger]

bspwm

[@O5_12]

@@zproger Спасибо

[@nikitatimofeenko9351]

зачем на вб искать скрытый api если он у них есть открытый, разве нет??

[@zproger]

ах да, забыл в видео сказать: перед поиском скрытого api, посмотрите нет ли официального)) а то бывает копаешь запросы пол дня, а потом узнаешь что у них оф.апи есть оказывается :D но в целом выбрал этот сайт ибо он для видео подходит хорошо.

[@victorpanchuk1824]

зашел на видео котейку посмотреть

[@grizllywhite6004]

А с озоном вариант так провернуть? ВБ то понятно)

[@CapkanSliva]

Как называется программа название которой автор видео не называет?

[@zproger]

называл

[@CapkanSliva]

@@zproger и какое же у неё название?

[@Yan-tytldfts-008]

Бро сними видео как спарсить подписчиков в ютюбе пожалуйста. Сделал это через силениум, но это шляпа

[@singularity209]

CORS -здарова дядя

[@user-ed1dt9bc1h]

В WB все на поверхности. А вот Ozon спарсить, уже не так тривиально.

[@aleksandr7043]

Только думал про видео парсинг веб сайта, правда парсить нужно всего лишь ссылки на видео на сайте.

[@zproger]

Гуд, думаю лишним точно не будет :))

[@user-it3yo1sn6i]

Спасибо, но ничего не понял ))). Попробую пересмотреть

[@zproger]

Бывает :D

[@toomaspark862]

Postman тоже неплох

[@bymclnet]

Запрос к API это не web scraping и не parsing

[@zproger]

Парсинг это любой сбор и обработка информации, в конце видео как раз этим и занимаемся, хоть там и простой пример, ибо на канале уже 1000 раз показывал примеры и не хотел повторяться

[@singularity209]

@@zproger да ты прав, а тот чел комментатор душнила

[@bobomurod]

Как называется приложение в 0:48?

[@zproger]

В видео говорил об этом, это Insomnia.

[@d1nnec4yd]

Название видео вводит в какое-то заблуждение. Я думал, тут будут какие-то сложные техники, или использование специального софта, а тут, по факту, база базы базой погоняемая. К чему тогда это видео, если у тебя уже есть серия курсов по парсингу с нуля? Причем, способ показанный в видео, а именно изучение ответа каждого запроса руками еще более замороченный, чем нужно. Зачем все это, если можно просто скачать любой сниффер (допустим fiddler), отследить все запросы, а потом просто через CTRL + F найти ту инфу, что нам нужна за одну секунду?

[@mylife-ej8et]

блин где ты был раньше?!

[@mylife-ej8et]

как отдельно от курса купить приват канал?

[@zproger]

Приветствую, рад что видео помогло, на данный момент купить отдельно приват нельзя, потому что он переплетается с курсом ООП, и когда я буду добавлять новые курсы, то все участники должны быть на равных правах.

[@mylife-ej8et]

@@zproger честно говоря я по книгам и видео учил python и мало уже чего нового могу найти лично для себя, по этому мне интересен именно приват есть там есть какой-то интересный контент, в плане разбор редких фишек языка и какие-то полезные инструменты

[@fuuuuuOo]

Так а где скрытое апи то? Во вкладке нетворк? Так оно не скрыто, смотри сколько хочешь😅

[@zproger]

Ну так конечно не скрыто, потому что я показал где смотреть))

[@kat_katchinskiy]

Видео про скрытый API, в итоге автор 9 минут рассказывает про всё что угодно кроме скрытого API

[@zproger]

Если бы я сразу начал рассказывать о скрытом API, игнорируя подводку, вы бы написали что видео не раскрывает сути, ибо не понятно что за инструменты, куда кликать и заходить.

[@gimeron-db]

Возникло желание на публичной кадастровой карте спарсить координаты углов участков. Они как-то подгружаются и накладываются на карты гугла и яндекса. Проблема в том, что в выписке из ЕГРН координаты указываются в МЕТРАХ! Мать их в МЕТРАХ координаты вместо угловых величин! Какие плоскоземельщики это придумали? Агрх!!! upd: Облом. Отрисовка слоя происходит на сервере. Можно конечно обработать картинку и найти углы, но точность будет с пиксель.

[@zproger]

:DDD

[@eg_turlych]

а зачем прокси?

[@eg_turlych]

меня юзер агент, этого недостаточно? могут заблокать ip?

[@Keduvar]

Господи сделай видео о линуксе и своем конфиге прошу

[@abracadabra5491]

Спасибо! Искал медь, а нашел золото!

[@zproger]

Благодарю за фидбэк

[@maximkoltsov9833]

А кто-то парсил иначе такие сайты? Неужели вам на столько не лень тянуть селениум в проект 💀

[@zproger]

Смотря что за проект, иногда он настолько маленький, что скорее лень копать эти запросы :D

[@mifonix88]

Совет. Надо медленнее и подробнее. Слишком сжато! Дроби на несколько видео. Оч сложно воспринимать, твой контент не для развлечения, а скорее для обучения - спешка тут не к чему.

[@zproger]

Благодарю, правда у меня не особо получается говорить медленно, я когда так говорю, то это выглядит странно и скучно) Можно попробовать расширения для ютуба, которые делают контент медленней на заданный процент. Это позволит подобрать оптимальную скорость.

[@mifonix88]

@@zproger Я не об этом. Добавь "воды". Темп у тя охрененный - приятно слушать, но воспринимать... Слишком много инфы на минуту времени.

[@Valipon]

Все норм. Если быстро, включи замедление видео или чаще на паузу нажимай. Воды полон ютуб.

[@dwaynebarry007]

@@zproger не слушай его, ты ужал инфу с часового видео в 13 минут, и ещё и так структурировано всё подал. Респект

[@arman4chok]

А мне норм. В жпу развлекуху ​@@zproger

[@uttu6064]

Сорт, що 3 к лайков

[@Gretanit]

пытаюсь взомать пентагон. день 1

[@vashnaya_ptica]

ничего не понимаю :)

[@karandalliik]

Бля!!! Нельзя так издеваться!!! Что а программы для генерации запроса и прочее??? Даже браузер не похож на браузер!!! Начни с этого. Эти программы всегдм нужны!!! Даже если есть уже свои проверенные!

[@zproger]

Так а что тут объяснять, о программе рассказал достаточно подробно в видео, если не перематывать то вопросов не будет, про браузер вообще нечего говорить ибо это кастом Firefox и он к видео никак не относится, ибо без разницы какой браузер использовать. Ну а вообще, я конечно могу перечислить все софты, но видео адресовано для тех людей, которые умеют парсить, но хотят узнать о новых фишках. В видео также говорил, что если парсить не умеете, то можно посмотреть мои бесплатные плейлисты по парсингу на канале, там все софты показываю с нуля. Код пишу в nvchad, хотя тут тоже без разницы где писать, можно хоть в блокноте от винды :D

[@karandalliik]

@@zproger Умею. Прям щас решаю задачу с парсингом одноф букмейкерской канторы и уже не первая подряд за несколько дней. Разгадал много уже чего и на сайте и особенно в приложении. Приложение парсить очень удобно. Там запросы проще. Хотя, иногда, очень нужен реверс, которые еще не покорился. Прям щас легкий перерыв и задача авторизироваться, получить всп события, выбрать, сделать валидную ставку, получать обновлерие коэффициентов постоянно. И все это запросами. Еще 2 параметра найти как формируются без входа на сайт можно будет весь стак вызовов собрать. Очень сложно. Очень интересно. А видео все посмотрел. Но название программы вообще не понятно как называется. Дикция в некоторых словах скомкана и торопишся все время, а с незнакомыми словами еще хуже получается понимать. Только поэтому вопрос.

[@zproger]

Софт для запросов - Insomnia В начале видео - Pycharm и nvim (nvchad) Остальные софты вроде описал в пред.комментарии, надеюсь это поможет :))

[@Keefear]

​@@karandalliikкакую бк парсишь ? Тоже занимаюсь парсингом и созданием ботов для ставок.

[@serj-nf7ll]

Одна реклама

[@zproger]

где вы ее тут увидели?))

[@serj-nf7ll]

Пересмотрите свое видео , кстати wb самый легкий сайт для парсинга ,json отдает без всяких костылей. Покажите лучше на примере Ozon поиск скрытого API

[@user-oo5pq8qi3w]

Потом я пошёл посрать, а потом пошёл пожрать, потом вышел на улицу, а потом зашёл обратно чтобы посмотреть в окно, но потом решил посмотреть телек. Вот такая подача информации у вас, вам бы в педагогическом поучиться чтобы понимать как формировать ЗУН.

[@NNNN-wt3mk]

Ну совсем по детски , nuxt старый как динозавр. Тренируйся

[@zproger]

:))

[@user-dj4np3gg9y]

вообще ни чего не понятно

[@user-tl5iv4qv5p]

Слово паразит во всех видео у автора "потоМмММмм"

[@zproger]

:)))

[@email9092]

хи-хи.... что за бредовое видео....