Обучение парсингу на Python #10 | Ошибки при парсинге | Парсинг сайта

[@ДаниилШестаков-щ8к]

Братан, дай Бог тебе здоровья. Кот вообще решает. Твоя манера подачи, форматирования видосов, да вообще вся подготовка и поставленная речь делает тебя лучшим на ютубе. Круто!

[@PythonToday]

Большое спасибо за поддержку!

[@АлександрИтяксов-л2р]

дружище, ты настоящий герой!!! хочу стать твоим падаваном, готов каждый день стирать твои носки вручную

[@aleksejborovinskij1155]

О благодарю Вас добрый человек! Желаю Вам улучшения кармы! Очень помогают Ваши труды.

[@PythonToday]

Спасибо за фидбэк! Рад что полезно.

[@БогданОнофрий]

Спасибо за такой контент! Очень помогает в развитии меня как программиста!!!

[@PythonToday]

Спасибо за поддержку! Рад что полезно

[@Openopenkam]

Предлагаю записывать url с ошибкой в отдельный файл чтобы в последующем обрабатывать отдельно список из этого файла, либо использовать в дальнейшем как исключение.

[@orthodox-chanel]

О, вот и практика по страшным рекурсивным функциям)))

[@zakirovio]

крутая функция. недавно как раз думал, как продолжить с того же места в случае возникновения ошибки и тут этот урок прям в тему

[@zakirovio]

может в будущих уроках вы это уже применили, но у меня возникла мысль дополнить ветку if путем добавления прокси. например 3 повторных запроса отправляются с задержкой, если это не помогло, значит возможна блокировка хоста, в следствии чего последние две попытки меняют прокси браузера и работают с ним

[@user-romchik777]

Дружище, огромное тебе человеческое спасибо!

[@PythonToday]

Благодарю!

[@jennysavvage9094]

Молодец, парень! Удачи тебе!

[@PythonToday]

Благодарю! Взаимно 💪

[@alanominatorkiborg5860]

И удобнее будет в отдельный декоратор вынести, а в случае возникновения ошибки до добавлять в отдельный список, а в конце скрипта в файл записать их.

[@rand_name6734]

отличный урок, и анимация к месту 👍

[@PythonToday]

Спасибо!

[@АлексейДроздов-л8р]

Ооо, это полезная тема, спасибо!

[@vigauss1889]

Спасибо👍

[@PythonToday]

Благодарю за фидбэк!

[@dryuni]

Круть! Как обычно (для меня): пока слушаешь/смотришь, как делает знающий человек - всё понятно. Как самому делать? Да хрен его знает...

[@FGFDST]

Ну я когда спорт начал парсить, в частности флешскор и получил облом. Я начал парсить контору с еденичкой в названии тамприходят json ответы. И получилось написать уведомлятор о матчах и событиях в играх. Так и получается пока решаешь задачу, ищешь ответ и учишься по ходу развития своего проекта.

[@Alex.T.H.]

Садиться и писать. Без постоянной практики ничего не получится

[@PythonToday]

Благодарю! Да брать и делать. Это в видео 10 минут. На деле бывает 3-5 часов только библиотеку ставишь, ибо нихрена не работает.

[@blackjack2558]

@@PythonToday соглашусь с тобой, лайк однозначно !

[@IvanTarazevich]

Актуально, спасибо!

[@PythonToday]

Благодарою за фидбэк!

[@birdwatcher_channel]

Благодарю. Очень полезная штука

[@Bazilit]

Интересная задумка. Насколько она применима на постоянной основе, это вопрос. Скорее для нагруженных запросов. Для себя дополнил код записью url с ошибками в отдельный файл. Т.к. по логике, без них данные будут не полные, а их можно будет попытаться повторно проверить по сохраненному файлу.

[@Тимофей-в4х8н]

Как всегда очень интересно и познавательно, можно следующий урок про работу с PDF(то есть залив ответов в PDF, как залив данные в json)?

[@PythonToday]

Благодарю за фидбэк. Пока не сталкивался с такой задачей. На канале есть видео по сохранению данных в PDF, посмотри.

[@blackcatdevel0per]

5:57 🤔 Делал что-то похожее но вариант здесь кажется лучше)

[@Саня-х2м5в]

Очень крутая и качественная подача! Будут ли уроки по Scrapy в будущем?

[@PythonToday]

Спасибо за фидбэк. Возможно когда нормально изучу

[@IgorYakimov-x9p]

Ребят, всем привет! Смотрю этот курс по парсингу с огромным удовольствием и параллельно практикуюсь. Только вот есть вопрос, наверное, его можно отнести к фундаментальному. Подскажите, пожалуйста, почему иногда используются такие вещи, как headers, user-agent, а иногда - нет. Буду рад ответу с коротким пояснением. Спасибо!

[@Видон-л4в]

http заголовки в первых видео упоминалось, что они нужны для идентификации пользователя сервера при запросах (если я ниче не перепутал)

[@ИгорьЛатуха]

Пайтон и котики! Невозможно не лайкнуть )))

[@PythonToday]

💪

[@silvertruenoobs340]

буквально на днях наткнулся на библиотеку grequests, которая в целом как requests (ибо с нее сделана), но работает намного шустрее, прям в разы, ну и попробовал переписать этот обработчик под нее, в итоге получилось прям намного быстрее и если не трогать попытки, а просто обрабатывать ошибки и продолжать работу то прям огонь (список из почти 900 ссылок, обработался за 4 минуты), а вот если трогать исключения, то там я уже прям запутался, так как изначально библиотека grequests пробегается по ссылкам в нашем списке и формирует свой список ответов, а на обработку улетает конкретно один запрос из этого списка, и как его обработать и вернуть обратно, пока загадака... пока что засунул его в обработку через простой реквест и вроде обработка проходит, только вот как полученный ответ вернуть обратно, что бы записать его в список пока не совсем понятно (если кто вкурсе подскажите пожалуйста буду благодарен) пока получается так: - если не обрабатывать попытки код будет: from datetime import datetime import grequests import requests from bs4 import BeautifulSoup import lxml start_time = datetime.now() # функция обработки ошибок def exception_handler(request, exception): print(f'страница {request.url} не отвечает {"-" * 50}') def main(): with open('lesson10/list_url.txt') as file: books_urls = file.read().splitlines() # пробегаемся по ссылкам в списке response = (grequests.get(url) for url in books_urls) # собираем в список полученные ответы, для ошибок вызываем функцию обработки response = grequests.map(response, exception_handler=exception_handler) for book in response: try: soup = BeautifulSoup(book.text, 'lxml') print(f'{soup.title.text} {"-" * 20}') except Exception as ex: print(f'некорректый адрес или страница не отвечает {"-" * 20}') continue finish_time = datetime.now() - start_time print(finish_time) if __name__ == '__main__': main() - если обрабатывать то функция обработки, будет выглядеть приблизительно, так (но по факту хз, так как не совсем понятно отрабатывает ли вообще блок трай - опять же если кто знает как надо расскажите буду очень рад def exception_handler(request, exception, retry=5): try: response = requests.get(url=request.url) except Exception as ex: time.sleep(1) # импортируем библиотеку тайм if retry: print(f'[Info] retry={retry} => {request.url}') return exception_handler(request, exception, retry=(retry - 1)) else: print(f'страница {request.url} не отвечает {"-" * 50}') # вот тут хз нужен ли этот блок для возврата ответа или он пройдет автоматом или вообще все по другому должно быть и сам ретерн например нужно было возвращать в блоке трай else: return response

[@Daniil2010_init_]

Ошибки при парсинге как blood in the bath

[@Andriyklm9]

Полезная инфа

[@PythonToday]

Благодарю, рад что полезно

[@jeyhunzeynalov777]

✌

[@vovast8211]

Какими дополнениями в vscode пользуешся? *Типо для терминала*

[@shpex.2077]

Зачем изобретать колесо когда оно уже существует? Для работы вряд ли будут использоваться отдельные запросы, скорее всего сессия, там же можно будет использовать HTTPAdapter с кол-во попыток и таймером их срабатывания, и не важно какая будет сетевая ошибка, она сразу обработается и будет повторно пробовать повторить действие.

[@PythonToday]

Не знал об этой библиотеке, есть пример кода? Если да, то кинь ссылку на github пожалуйста

[@vasbkamarxil1260]

функция Exception поменялась? что т не так у меня не попадаю в счетчик . . . .

[@FGFDST]

except KeyErrore, except IntegerErrore, и т д. можно было добавить в данный урок

[@PythonToday]

Для чего? Идет обработка всех ошибок ведь

[@FGFDST]

@@PythonToday допустим ловим json ответ а там ключ без значения, а на рендере это отображается как ноль. А ошибка при парсинге integererror.

[@Naberegn]

Где брать accept?

[@АлександрВыскребцев]

Погнал парсить 18 лямов компаний! вот только долго( а можно разделить свою задачу например на несколько ВиртуальныхМ?, пакеты та будут приходить с моего основного роутера, получается сайт будет в любом случае видеть все мои ВМ как одно IP ? и будет ошибку кидать?

[@МаксимМаксимов-ч9т]

А зачем были куплены пару впс?

[@oleksandr6750]

полезное видео, но когда хотел применить к своему коду, оказалось, что с прокси не работает. Возвращает код ошибки , но не срабатывает except, цикл с запросами идет дальше. Есть предположения почему?

[@ПищащийГолландец]

3:02 😄👍

[@PythonToday]

😀

[@НейтральныйМаппер-з2м]

Я бы вместо создания списка через splitLines проходился бы по каждой строке отдельно. Т.е. for link in file: ... Потому что тогда код будет быстрее работать, т.к. создание списка и его итерирование дольше, чем просто итерирование.

[@toxic_not9447]

Добрый день ! пытаюсь сделать парсер, для данного сайта , и возникает провал , в моменте запроса изза первоначальной капчи , как обойти? примерно такой же момент видел у вас в видео, но все таки другое , или нужно перекапашить все запросы , которые делает сайт ? p.s. сайт вот : www.postavshhiki.ru/katalog-postavshchikov/75-oborudovanie

[@scromniy_winner]

Сделай через selenium

[@АлександрРоманов-х4ц9ф]

зачем писать if __name__ == "__main__": main()?

[@PythonToday]

На канале есть подробное видео об этой инструкции kzbin.info/www/bejne/nqDYnamtbphqnMk

[@sonicpark8099]

Я ни как понять не могу почему все юзают bs4 а не scrapy ...

[@intellegetup6941]

9:29