Всегда проверяйте наличие скрытого API при парсинге сайтов

[@antonvorobiev9507]

Конечно, боо! Даёшь парсинг без нагрузки. Спасибо за твой труд

[@zproger]

Благодарю!

[@Dondelsur]

Конечно, интересно! Автор, жги! :)

[@zproger]

Благодарю

[@ВладимирВермутов]

уважаемый бро , инфа касающаяся поиска скрытого апи актуальна , но чесно говоря я мало что понял , всё как то быстро и сумбурно

[@TheRindzinnew]

Здравствуйте. Благодарю. Жду следующее обещанное видео. Вы супер!

[@zproger]

Спасибо

[@II__II]

Месяц назад делал парсинг сайта, HTML которого полностью реализован на JS. Вы мне помогли, оказалось не сложно :)

[@zproger]

Рад что смог помочь :))))

[@kiberman3724]

С помощью Selenium?

[@Developing-oz6my]

Привет, сделай видео про кастомизацию Arch, твой Arch очень красиво выглядит

[@AnShyv]

очень полезно. понял, что не нужно отказываться от платного курса, что в хтмле может быть вся инфа, что прокси очень нужен непонятно нахера, и что сайт можно парсить с помощью запросов. большое спасибо приду ещё дверь за мной не закрывайте

[@zproger]

а я вот не понял к чему это

[@AnShyv]

@@zproger у мня был тот же вопрос на протяжении всего видео. Какой-то адовый сумбур из всего

[@mikhailtim9114]

Очень полезно. Спасибо тебе за контент! Тот момент, когда видео надо смотреть с уменьшением скорости😅

[@zproger]

Спасибо за комментарий 😃😃 Это помогает более качественно подбирать контент

[@EvgeniySakharov]

Первых два раза на нормальной. А третий уже на пониженной.😀

[@aaaadudheyw]

Ахаха, на работе как раз таки и использовал апи для парсинга вб. Легко, удобно!

[@CultureofSpeech]

Весело чудесно звучит 🎉 А когда будет продолжение этой темы разговора?????

[@alekseyshabalin]

а если api защищено и не дает данные, если делать запросы не через сайт, то как тут быть?

[@rayber2212]

Подскажите пожалуйста что за Линукс автор использует ? Очень красивый😊

[@aserogl]

Arch Linux с оконным менеджером bspwm

[@result_123]

Я уснул на этом видео, когда проснулся, меня выселили с моей квартиры ( а видео классное, кстати )

[@Socador_bas]

Котик зачётный. Лайк.

[@zproger]

:)))

[@darkmil5912]

А какой браузер использовали в видео?

[@pbadun]

что-то никак не могу понять, что за программа используется для отладки запросов и дальнейшей генерации кода... ?

[@Oreshec]

Харош мужик, контент в кайф

[@zproger]

Благодарю!

[@aralbaev]

Добрый день. А что делать если сайт монолитный? те работает без апишек?

[@Существо-ъ1г]

как называется этот визуализатор звука виджет?

[@zproger]

Cava

[@Существо-ъ1г]

@@zproger спс

[@АлександрТезин-м6ъ]

а как называется эта штука где делаете запросы и генерируете Python код?

[@zproger]

Говорил в видео, это Insomnia

[@АлександрТезин-м6ъ]

@@zproger спасибо

[@AdelyaD-v4x]

бро подскажи плиз, есть ли такое кумулятивное видео, в котором есть все основы для парсинга сайта (не программирование, а именно архитектура)

[@анодкатодович-н2й]

Подскажите, пожалуйста, почему не получается получить post ответ от сайта, выдает ошибку requests.exceptions.SSLError

[@SergeyF-tx3gy]

странно, копирую из файрфокса curl, вставляю в инсомнию, получаю json - все нормально. Генерю в инсомнии код для requests, запускаю в питоне, получаю, если смотреть, как response.text - видна абракадабра, явно не имеющую отношения к json. Если выбирать как response.json - выдает ошибку.... так и не смог понять, в чем фокус: почему в инсомнии ответ на запрос json, а в питоне, через тот же генерируемый инсомнией запрос, получается фигня ЗЫ. интересно, что если несколько раз подряд в питоне, нажимать на выполнение, в какой-то раз приходит нормальный ответ в виде json. это у них какая-то теперь защита? хотя... убрал Accept-Encoding и вообще все хорошо стало.

[@Keefear]

Супер 👍 Очень вовремя. Как раз столкнулся с проблемой получения данных с сайта букмекера . На странице данные есть , а в json из нет. Спасибо , буду пробовать.

[@chessplayer123]

подскажите, пожалуйста, какой юзаете браузер?

[@artdevh3735]

Как у ватсапа без купленного api можно найти скрытое api? Или там без selenium больше никак?

[@konstantin.ostapuk]

в конце видео где вы показываете скрытый апи сайтов, примерное на 10:30 минуте вы показываете как использовать апи чужого сайта. я хотел спросить, а законно ли это и могут ли за такое как-то заблокировать запросы с определенного сервера (в данном случае моего сервера)? по факту я нашел сайт на котором я нашел пост запросы и там не нужна авторизация могу ли я пользоваться этим апи или это чревато тем, что когда-то они его закроют и мое приложение крашнется, хотя по факту может крашнутся и парсинг страниц, если их допустим парсить через puppeteer.

[@WhiteAngelstudioTV]

Конечно интересно тема со splash 😊

[@konstantinshmarin2676]

Очень интересно! Создавай!

[@zproger]

Благодарю

[@boec]

Какой смысл в этом если при запросе эти данные что ты показывал "ищу по айди и тд," находиться не будут так как джс не отработал

[@maximkoltsov9833]

Можно обзор на твою ОС? Как ты сделал такой красивый десктоп?

[@zproger]

Будет, но мне нужно время на нее найти, ибо очень много багов вылезло после обновы арча)

[@maximkoltsov9833]

@@zproger отлично, с нетерпением жду)

[@mak7ytka483]

Раскажи пожалуйста как сейчас нужно обходить новые версии cloudflare не используя платные сервисы

[@oceanmedia4582]

Способ рабочий спасибо, только +- час) Потом просто приходит пустой json)(если снова повторить всю процедуру работает снова час) Видать апи ключ временный или что-то в этом роде) Но на других сайтах точно протестирую, способ супер)

[@O5_12]

Какой у тебя оконик ?

[@zproger]

bspwm

[@O5_12]

@@zproger Спасибо

[@МаксимЗдонов]

Какой браузер используешь? Понравился дизайн

[@Jon_Britva]

Mozilla Firefox в режиме Private

[@Tribunall]

Паршу 2 сайта для сравнение цен, где лучше сохранять данние для сравнения (json, sqlite) или в чем?

[@ХаринАлександр-ш1с]

Если для себя можно в скулайт

[@Naberegn]

Не понятно как работать с Insomnia, ничего не показал.

[@zproger]

Как это не показал, вы походу перемотали половину видео. Смотрите полностью, там все показано, причем в подробностях.

[@scenario21]

Хотелось бы увидеть, поставил лайк

[@SV-13]

Что нужно сделать при взломе сейфа в первую очередь? Потянуть за ручку - а вдруг он открыт?

[@zproger]

:DDD

[@whosane9923]

Только хотел с темой разобраться )))

[@zproger]

Класс, значит я вовремя))

[@aleksandrkovtun6206]

Парсинг без нагрузки интересует! Жду с нетерпением!!!

[@AlexandrSpirit]

Я тут на днях сталкивался. Нужно было буржуйский сайт спарсить. Прикол в том, что есть запросы через js. Но ответы в формате HTML. HTML вставляется на страницу с небольшими доработками через js. Неудобно, но за-то не потребовался селениум А второй момент: страницы с сылками парсятся scrapy, но пройти по ссылкам и скачать файл csv не получается. Защита. Но оказалось, что ссылка на скачивание файла - динамическая. И данные можно получить из ссылки первого прохода. Резюмирую. Нет какого-то готового ответа. Каждый сайт который требуется спарсить, требует индивидуального подхода.

[@Crazy-ip1mo]

Сможешь найти скрытый api pocket option?

[@grizllywhite6004]

А с озоном вариант так провернуть? ВБ то понятно)

[@CapkanSliva]

Как называется программа название которой автор видео не называет?

[@zproger]

называл

[@CapkanSliva]

@@zproger и какое же у неё название?

[@bill8126]

Здорова. Будет контент или может уже есть. Как регать на запросах социальные сети ? Например инстаграм

[@zproger]

Привет, уже было на канале. Правда запросы для разных сайтов отличаются

[@bill8126]

@@zproger как назывался выпуск ?

[@oopshnik]

будет ли видео про настройку арча и нвима как у тебя ?

[@zproger]

Да, но дедлайны неизвестны

[@ak_leks]

Я не понял, ты 8 минут подводил к тому, что всё спарсилось сразу при гет запросе и без нажатия на кнопку?

[@nikitatimofeenko9351]

зачем на вб искать скрытый api если он у них есть открытый, разве нет??

[@zproger]

ах да, забыл в видео сказать: перед поиском скрытого api, посмотрите нет ли официального)) а то бывает копаешь запросы пол дня, а потом узнаешь что у них оф.апи есть оказывается :D но в целом выбрал этот сайт ибо он для видео подходит хорошо.

[@stylelifedeal.wyndace]

Ура, кто-то у нас занялся переводом John Rooney 🎉🎉🎉

[@zproger]

Это не перевод, мне просто понравилась идея, но сайты и фишки я взял свои, потому что тоже многие просили заснять такое видео 🙃🙃

[@СергейЮров-б6е]

@@zproger согласен. Это авторский материал, а идею сразу узнал. У Руни даже есть видос с таким же названием

[@ВиталийКучер-о6ю]

Первый случай, это сайт с ssr, всё отрендерилось на сервере и тебе ришел html готовый, второй случай это обычное spa... Скрытый "api" он вообще-то совсем не скрытый)))

[@terrarian2628]

я думал, что первый до такого додумался

[@Евгений-ж1я9х]

что за браузер у автора на видео?

[@zproger]

Кастомизированный Firefox

[@Yan-tytldfts-008]

Бро сними видео как спарсить подписчиков в ютюбе пожалуйста. Сделал это через силениум, но это шляпа

[@bobomurod]

Как называется приложение в 0:48?

[@zproger]

В видео говорил об этом, это Insomnia.

[@testaccount123-d9c]

сними видос про свой линукс

[@Павел-ь8ш9ь]

Прочитав заголовок сразу понял о чем речь 😎

[@zproger]

😎😎😎

[@zproger]

😎😎😎

[@bugagashenka3680]

Первая половина видоса класс, вторая не оправдала названия видоса, что же тут "скрытого" ? Зашел посмотрел запросы, увидел что возвращают некоторые json и все, конечно проще нормальными данными работать.

[@eg_turlych]

а зачем прокси?

[@eg_turlych]

меня юзер агент, этого недостаточно? могут заблокать ip?

[@meyson-mason1401]

Видос как всегда кстати

[@zproger]

Благодарю

[@EvgeniySakharov]

Вот реально, к стати. Вселенная услышала...)))

[@SX4F]

Годно!

[@zproger]

Спасибо

[@bymclnet]

Запрос к API это не web scraping и не parsing

[@zproger]

Парсинг это любой сбор и обработка информации, в конце видео как раз этим и занимаемся, хоть там и простой пример, ибо на канале уже 1000 раз показывал примеры и не хотел повторяться

[@singularity209]

@@zproger да ты прав, а тот чел комментатор душнила

[@Константин-е5л7ь]

В WB все на поверхности. А вот Ozon спарсить, уже не так тривиально.

[@singularity209]

CORS -здарова дядя

[@victorpanchuk1824]

зашел на видео котейку посмотреть

[@ГубкаБоб-р8ъ]

Спасибо, но ничего не понял ))). Попробую пересмотреть

[@zproger]

Бывает :D

[@spiritfrombook]

Материал интересный. Но столько само рекламы отталкивает. В сумме раза 4 зазывал в тг подписки и тд

[@d1nnec4yd]

Название видео вводит в какое-то заблуждение. Я думал, тут будут какие-то сложные техники, или использование специального софта, а тут, по факту, база базы базой погоняемая. К чему тогда это видео, если у тебя уже есть серия курсов по парсингу с нуля? Причем, способ показанный в видео, а именно изучение ответа каждого запроса руками еще более замороченный, чем нужно. Зачем все это, если можно просто скачать любой сниффер (допустим fiddler), отследить все запросы, а потом просто через CTRL + F найти ту инфу, что нам нужна за одну секунду?

[@fuuuuuOo]

Так а где скрытое апи то? Во вкладке нетворк? Так оно не скрыто, смотри сколько хочешь😅

[@zproger]

Ну так конечно не скрыто, потому что я показал где смотреть))

[@ak_leks]

Видос о всём и ниочём. Но програмку скачал, выглядит полезной. А код что написал, никто не будет копировать с видео, а просто пишут задание чату жпт на генерацию кода.

[@Серёга-о4л]

Потом я пошёл посрать, а потом пошёл пожрать, потом вышел на улицу, а потом зашёл обратно чтобы посмотреть в окно, но потом решил посмотреть телек. Вот такая подача информации у вас, вам бы в педагогическом поучиться чтобы понимать как формировать ЗУН.

[@privawd4255]

Это база парса же. Селениумом максимум куки получать

[@aleksandr7043]

Только думал про видео парсинг веб сайта, правда парсить нужно всего лишь ссылки на видео на сайте.

[@zproger]

Гуд, думаю лишним точно не будет :))

[@mifonix88]

Совет. Надо медленнее и подробнее. Слишком сжато! Дроби на несколько видео. Оч сложно воспринимать, твой контент не для развлечения, а скорее для обучения - спешка тут не к чему.

[@zproger]

Благодарю, правда у меня не особо получается говорить медленно, я когда так говорю, то это выглядит странно и скучно) Можно попробовать расширения для ютуба, которые делают контент медленней на заданный процент. Это позволит подобрать оптимальную скорость.

[@mifonix88]

@@zproger Я не об этом. Добавь "воды". Темп у тя охрененный - приятно слушать, но воспринимать... Слишком много инфы на минуту времени.

[@Valipon]

Все норм. Если быстро, включи замедление видео или чаще на паузу нажимай. Воды полон ютуб.

[@dwaynebarry007]

@@zproger не слушай его, ты ужал инфу с часового видео в 13 минут, и ещё и так структурировано всё подал. Респект

[@arman4chok]

А мне норм. В жпу развлекуху ​@@zproger

[@mylife-ej8et]

блин где ты был раньше?!

[@mylife-ej8et]

как отдельно от курса купить приват канал?

[@zproger]

Приветствую, рад что видео помогло, на данный момент купить отдельно приват нельзя, потому что он переплетается с курсом ООП, и когда я буду добавлять новые курсы, то все участники должны быть на равных правах.

[@mylife-ej8et]

@@zproger честно говоря я по книгам и видео учил python и мало уже чего нового могу найти лично для себя, по этому мне интересен именно приват есть там есть какой-то интересный контент, в плане разбор редких фишек языка и какие-то полезные инструменты

[@toomaspark862]

Postman тоже неплох

[@abracadabra5491]

Спасибо! Искал медь, а нашел золото!

[@zproger]

Благодарю за фидбэк

[@gimeron-db]

Возникло желание на публичной кадастровой карте спарсить координаты углов участков. Они как-то подгружаются и накладываются на карты гугла и яндекса. Проблема в том, что в выписке из ЕГРН координаты указываются в МЕТРАХ! Мать их в МЕТРАХ координаты вместо угловых величин! Какие плоскоземельщики это придумали? Агрх!!! upd: Облом. Отрисовка слоя происходит на сервере. Можно конечно обработать картинку и найти углы, но точность будет с пиксель.

[@zproger]

:DDD

[@maximkoltsov9833]

А кто-то парсил иначе такие сайты? Неужели вам на столько не лень тянуть селениум в проект 💀

[@zproger]

Смотря что за проект, иногда он настолько маленький, что скорее лень копать эти запросы :D

[@Keduvar]

Господи сделай видео о линуксе и своем конфиге прошу

[@uttu6064]

Сорт, що 3 к лайков

[@vashnaya_ptica]

ничего не понимаю :)

[@Gretanit]

пытаюсь взомать пентагон. день 1

[@serj-nf7ll]

Одна реклама

[@zproger]

где вы ее тут увидели?))

[@serj-nf7ll]

Пересмотрите свое видео , кстати wb самый легкий сайт для парсинга ,json отдает без всяких костылей. Покажите лучше на примере Ozon поиск скрытого API

[@ЭдуардАсадов-х7н]

вообще ни чего не понятно

[@karandalliik]

Бля!!! Нельзя так издеваться!!! Что а программы для генерации запроса и прочее??? Даже браузер не похож на браузер!!! Начни с этого. Эти программы всегдм нужны!!! Даже если есть уже свои проверенные!

[@zproger]

Так а что тут объяснять, о программе рассказал достаточно подробно в видео, если не перематывать то вопросов не будет, про браузер вообще нечего говорить ибо это кастом Firefox и он к видео никак не относится, ибо без разницы какой браузер использовать. Ну а вообще, я конечно могу перечислить все софты, но видео адресовано для тех людей, которые умеют парсить, но хотят узнать о новых фишках. В видео также говорил, что если парсить не умеете, то можно посмотреть мои бесплатные плейлисты по парсингу на канале, там все софты показываю с нуля. Код пишу в nvchad, хотя тут тоже без разницы где писать, можно хоть в блокноте от винды :D

[@karandalliik]

@@zproger Умею. Прям щас решаю задачу с парсингом одноф букмейкерской канторы и уже не первая подряд за несколько дней. Разгадал много уже чего и на сайте и особенно в приложении. Приложение парсить очень удобно. Там запросы проще. Хотя, иногда, очень нужен реверс, которые еще не покорился. Прям щас легкий перерыв и задача авторизироваться, получить всп события, выбрать, сделать валидную ставку, получать обновлерие коэффициентов постоянно. И все это запросами. Еще 2 параметра найти как формируются без входа на сайт можно будет весь стак вызовов собрать. Очень сложно. Очень интересно. А видео все посмотрел. Но название программы вообще не понятно как называется. Дикция в некоторых словах скомкана и торопишся все время, а с незнакомыми словами еще хуже получается понимать. Только поэтому вопрос.

[@zproger]

Софт для запросов - Insomnia В начале видео - Pycharm и nvim (nvchad) Остальные софты вроде описал в пред.комментарии, надеюсь это поможет :))

[@Keefear]

​@@karandalliikкакую бк парсишь ? Тоже занимаюсь парсингом и созданием ботов для ставок.

[@NNNN-wt3mk]

Ну совсем по детски , nuxt старый как динозавр. Тренируйся

[@zproger]

:))

[@СанекКенас-й8е]

Слово паразит во всех видео у автора "потоМмММмм"

[@zproger]

:)))