Простой парсинг сайтов на Python | requests, BeautifulSoup, csv

[@beksultantoktobekov6098]

Ахренеть , как вы просто каждое слово в коде объясняете и все нормальным языком. Здоровье вам ❤

[@dmitryv6156]

Отличная подача материал, но есть ряд замечаний: 1. range(1, n) возвращает список начинающийся с 1 и заканчивающийся n-1, соответственно в Вашем случае нужно написать range(1, PAGINATION+1); 2. функцию save_doc(cards, CSV) необходимо сдвинуть влево на уровень вышестоящего for. В текущем варианте записываемые в файл данные будут повторяться с нарастанием последующего прохода цикла парсера. PS Я понимаю, что автор легко нашел бы эти неточности в реальном проекте, но написал для тех, кто будет смотреть данное видео для обучения.

[@АртурТестов-л6д]

Спасибо, что рассказал абсолютно все, даже для диких чайников. Респект 👍

[@Владимир-щ8н3ь]

Изумительное объяснение. Там где надо расставлены акценты. Спасибо!

[@Evis9110]

Мой первый парсер готов благодаря Вам, спасибо огромное)

[@mobilelegends8845]

Братушка от души за контент, очень класно все объясняешь! Плиз побольше питона бро, а с нас царские лайки))

[@baluan_sholak]

Спасибо за видео. Кстати у кого выдает ошибку UnicodeEncodeError, в with open добавьте encoding="utf-8-sig" (если вы работаете в виндовс). Будет выглядеть так: with open(path, 'w', newline='', encoding="utf-8-sig") as file: Отличное обучение для новичков, еще раз спасибо!

[@МаркМалина]

Не мог понять что делать с ошибкой, и тут ответ, спасибо)

[@baluan_sholak]

@@МаркМалина знал, что пригодится

[@evollt]

Здравствуйте. Спасибо вам за курс! Все очень понятно и доступно. Вы объясняете чуть ли ни каждую мелочь и это очень хорошо.

[@goodtrydemongg2033]

Самый лучший и понятный курс по парсингу который я встречал, красавчик!

[@andrievskii]

Спасибо, очень приятно

[@Alex_MacDenis]

Огромное спасибо автору! Всё максимально понятно и подробно, большое спасибо!❤️

[@kayuttv8231]

Огромное спасибо... Уже несколько дней пытаюсь понять, а не получается. А у вас всё понятно каждую строку объяснили. Ещё раз огромный респект!

[@maxymus7884]

Большое спасибо за урок! За один вечер с поверхностными знаниями по python прошел урок и видоизменил его под свои нужды для парсинга с других сайтов(маркетплейс).

[@andrievskii]

Рад, что был полезен

[@mr.akulka]

Поделись пожалуйста кодом для маркетплейса

[@Tobi17460]

Три дня я писал и вникал в этот код, спасибо большое за такой урок очень полезный, теперь я на шаг ближе к своей мечте!

[@swipes1]

Спасибо супер, сделайте парсер с сайтами куда надо заходить с логином, хотя бы легенкий парсер чтобы понять как работать

[@vvsyakiy]

Для всех у кого парсятся непонятные символы вместо русских букв: в функции get_html добавьте строчку " r.encoding = 'utf8' " и всё будет норм

[@nigma933]

спасибо от души

[@grigoriimikhailov703]

а куда её вставить - можно чуть подробнее плиз? не понимаю :(

[@vvsyakiy]

@@grigoriimikhailov703 между r = requests.get(url, headers=HEADERS, params=params) и return r

[@belford_acj2302]

Андрей Андриевский, спасибо Вам большое за решение с Плагинацией. Круто! Все сделал и все получилось! Желаю Вам успехов в 2022-году! :)

[@Mr717273747]

Андрюха, спасибо за доскональный урок. Ты - лучший. Don't get lost !

[@andrievskii]

спасибо за комментарий

[@aleksgor1408]

Круто. Искал нормальное поясняющее видео по парсингу. В этом максимально все понял ))) Спасибо.

[@FriskesTV]

Спасибо за видео, хорошо объясняешь! Помощь тем у кого траблы с кодировкой, это происходит изза символа 'é' в одном из тайтлов карт 'Chaméléon', есть 2 решения, либо подменить эти символы с помощью метода replace(), и тогда эта карта сохранится в наш список, либо просто отбросить данную карту вместе с ошибкой с помощью try except пример: try: writer.writerow([item['title'], item['link_product'], item['brand'], item['card_img']]) except UnicodeEncodeError: print('Получена ошибка: UnicodeEncodeError')

[@РусланИващенко-у6я]

Круто! Получилось! Правда только одну страницу и без сохранения в файл почему-то.. Буду пересматривать еще, видимо что-то упустил. Ждем продолжения!

[@userikzhan6683]

Спасибо за очень полезный и компактный разбор! Лайк и подписка!

[@andrievskii]

Спасибо за подписку

[@ПИОНЕР-МузыкальнаястудиявБрянс]

url в get_html записан маленькими буквами. В то время как константа URL записана большими. Как это работает? Питон ведь чувствителен к регистру. Не понимаю.

[@d0r1s3t6]

Спасибо большое вам! Пытался писать парсера, никак не получалось, зашел к вам на видео - все с первого раза написал

[@MrTimmirs]

Отличный урок, думаю будет всем полезно рассмотреть создание парсера через ООП. Спасибо за труд!

[@Kaiserdom]

Единственный толковый урок. Спасибо, все понятно и ясно объяснил!!!

[@arktikmoon]

Ну блин всё огонь. Кстати там сразу заметил пропущенные двоеточия в словаре на паре ключ значение. Смотрю и думаю сказал словарь, записывает данные как множество. Только множество пустое не так создаётся, и после последнего элемента насколько помню нужно запятую. Что то здесь не то))). И на константе csv pycharm заругался))). Там же как метод воспринимается. Когда без кавычек.

[@arktikmoon]

Огромнейшее спасибо от всей души за урок. Шикарная подача.

[@michaelpodroykin7722]

Андрей!! Круто, молодец Просмотрел весь видос, все ясно и понятно рассказываешь) Спасибо

[@btttt5510]

Сделайте курс по Django plss. Очень круто заходит как вы объясняете материал!!!!

[@cassidy7172]

Спасибо, дружище, всё подробно и по делу. Очень полезное видео.

[@skuse01]

Ты просто лучший, огромное спасибо

[@andrievskii]

Спасибо

[@stradys]

спасибо, хороший урок! сделайте пжл аналогичное видео с использованием Selenium для динамических сайтов, думаю многим будет интересно

[@roman445]

Спасибо за урок, сделал парсер по нему для тех же карточек. Теперь там все поменялось, я переделал. Если кому нужен код, что бы не набивать, пишите. Только у меня названия банков парсятся в неправильной кодировке, не знаю что с этим делать пока.

[@vladmvv4849]

Пропиши utf-8 забей как это сделать

[@vincemanlie4435]

Вышлите мне код пожалуйста

[@othelnik6659]

А почему у меня парсится не страничка объектов а только один объект на страничке??

[@0palev]

отличный урок получился, и у меня почти всё вышло, пока не начал сохранять в csv файл адреса картинок и ссылку на банк, что то с кодировкой. Если написать так with open(path, 'w', newline='', encoding='utf8') as file тогда все гуд, но в екселе абра кадабра, которую уже потом можно декодировать.

[@denisgoldman3255]

Спасибо за видео! Один вопрос, как парсить по списку ссылок? Есть определённые ссылки на страницы, с которых нужно спарсить title и h1. Как это сделать?

[@liubovkernichnaya9610]

Ставлю тебе душевный лайк, видео очень помогло, отличный урок, спасибо тебе за твой труд!

[@ayakovtsev]

Красава! Видос отличный! Спасибо, что заморочился!

[@ghostfromsky]

Спасибо большое вам, объяснили все очень понятно. Мне этот ролик очень сильно помог, здоровья вам!

[@erickwhite1195]

лучшее видео по PYTHON, что я видел. Многие вещи стали понятными. Огромное спасибо! Надеюсь будут и дальше похожие видео) Однозначно лайк, подписка.

[@dryuni]

PythonToday посмотри, тоже чувак толковый

[@artemselivanov6892]

Дякую за урок. Це було дуже корисно!

[@andrievskii]

Гарного навчання

[@ДенисДемиденко-щ5м]

Урок понравился, спасибо. Всё понятно) Даже подписался

[@NavAlextv]

Просто отличная подача материала, супер!!!

[@winssd9496]

На первом этапе вместо Response 200 Response 403. Что делать

[@ИльяИлья-ю2ы]

Отличный урок! Подписался

[@Kosmoswa]

отличный урок. большое спасибо!

[@andrievskii]

Пожалуйста

[@djonikbb5572]

Однозначно подписка ,жду видео по питону

[@Bah1918]

Классное объяснение .Хоть один человек детально всё показал. СПАСИБО. А видео с применением ООП будет.?

[@andrievskii]

Будет в плейлисте о Джанго

[@ХожиакбарБаратов-ъ3ц]

Давайте сделаем шахматы в python-не Спасибо за уроки)

[@ВиталийПотылицын-ж3з]

Спасибо за ваш труд,позновательно!

[@КороткевичМихаил]

Всё очень понятно. Спасибо большое! =)

[@denysmilka6762]

Видос годный) Лайк подписка. Пойду писать код.

[@emilseyfullayev1638]

slov net, prosto bolshoy like

[@ban2479]

я астановился на 20:56 время мне написало что делать? C:\Users\Ban\AppData\Local\Programs\Python\Python39\python.exe C:/Users/Ban/PycharmProjects/pythonProject2/parser.py File "C:\Users\Ban\PycharmProjects\pythonProject2\parser.py", line 13 r = requests.get(url, headers=,params=params) ^ SyntaxError: expression cannot contain assignment, perhaps you meant "=="? Process finished with exit code 1

[@АнастасіяПономарьова-ш1е]

Добрый день, сделала парсер все по уроку, парсит только первую страницу, если написать парсить 2 и более, просто дублирует данные с первой страницы. Прошу помощи

[@НиколайСахаров-к9ь]

ЖИЗА! Решили проблему?

[@АнастасіяПономарьова-ш1е]

@@НиколайСахаров-к9ь да, пагинацию сделала по-другому, привязка к номерам страниц снизу или сверху первой, пример def get_pages_count(url, url_headers): html=requests.get(url, headers=url_headers) # print(html.text) tree = BeautifulSoup(html.text, 'lxml') links=tree.find_all("a", class_='page-link') # print(links[-2]) page_count = int(links[-2].get_text(strip=True)) print("Всего страниц: %d" % page_count) return page_count возвращает кол-во страниц, далее включаю цикл for от 1 до page_count

[@anns7309]

Спасибо за видео! А как правильно пройтись циклом, если нужно пройти по ссылке заголовка банковской карты и оттуда уже брать доп инфо?

[@ayakovtsev]

Если бы еще раскрыл, как изнутри одноименных классов доставать разные значения одинаковых тэгов для отдельных столбцов таблицы, было бы вообще круто... Для понимания: Есть div class = AAA. У него внутри 4 одинаковых подкласса ВВВ. Внутри каждого ВВВ под одинаковыми тегами, р или а или h3 лежат разные значения. Как же их достать?

[@incognito5797]

Можно доставать любой тег по индексу

[@АлександрКирпичев-х5з]

Солидарен, может ли кто-то в двух словах привести пример как с таким работать?

[@АлексейИванов-ц5л3ы]

Спасибо за людское объяснение ))))

[@kachala]

20:50 вместо 200 выдаёт response 403 почитал и пишет что это защита от парсинга стоит

[@Roubs89]

Почему у меня в терминале ссылки не рабочие, нельзя на них нажать и перейти на сайт как на видео?)

[@viktornet-k6x]

Подскажите, пожалуйста, получаю ошибку: 'title': item.find('div', class_='img-crop').get_text() AttributeError: 'NoneType' object has no attribute 'get_text' В чём может быть проблема? Весь код чётко по видеоуроку, ошибку выдаёт после добавления .get_text(), .find(). Если не добавлять .get_text(), .find() выдаёт словарь [{'title': None}].

[@TheRindzinnew]

Здравствуйте я тоже досмотрел все видео и вбил до конца. По всему нету пару советов есть на английских сайтах пока думаю. вот один советует.coderoad.ru/51687872/BeautifulSoup-get_text-возвращает-объект-NoneType

[@Eirstream]

Во-первых в уроке не так написано, там .get_text(strip=True), во-вторых у Вас ошибка в выборе div, где находится класс img-crop, нужно указать правильно вышестоящий div, в котором вы ищите и указать его в строке, которая выше items = soup.find_all('div', class_='ВОТ ТУТ')

[@ЛарисаПантелеева-ь8ь]

Выводит вместо страниц только карты, 2 страницы выбираю парсить, выводит 1 карту, что делать?

[@andrievskii]

Ну значит сменилось что-то в сайте который парсится или парсер не верно написан. могла быть маленькая ошибка. Что же делать!?!?!? 1. Пошагово провести дебагинг приложения, везде где есть какие-то переменные выводить в консоль и смотреть то там что нужно или нет 2. Присмотреться к коду и увидеть визуально. что не так (только если вы понимаете ЯП а не просто списали по видео код)

[@orkenrakhmatulla2127]

Классно , спасибо большое !👍🏻

[@deador6349]

А ты в курсе, что парсишь одну и ту же страницу n кол-во раз ?

[@ВячеславЛавров-р6м]

Единственное не понял в конце: в функции parser() save_doc() внутри цикла for а не за его пределами.(по идее же должен быть на месте pass?). И ещё момент: почему в разных функциях одно и тоже название списка cards? Работаем с тем же объектом?

[@wikigame7942]

Пасаны почему когда парсы на винде 7 то в место Русского языка краказябры?

[@ВладимирЧехун-ц8д]

Понятно и доходчиво

[@talisman7776]

у меня тоже парсер этот не очень работает, парсит только одну страницу - если задаешь больше - он просто дублирует результаты с первой столько раз сколько указано страниц, в эксель парсер просто подгрузил три товара, а тайтлы просто в одну строчку вывел, хотя они были разделены точкой с запятой. Урок конечно крутой - но масса доп вопросов возникла, попробую сам их порешать, а так надеюсь автор еще будет радовать новыми уроками.

[@АртёмАсылгужин-о6с]

при проверке выводятся пустые списки [] в чём может быть проблема?

[@ТатьянаПопова-в8щ]

такая же проблема

[@asd-sl1kv]

Артём, ты просто неправильные классы указал и вероятно блоки, тебе надо разобраться куда что сувать и научиться это делать на разных сайтах ведь везде структура разная items = soup.find_all("div", class_ = "snippet-horizontal") сюда ты должен воткнуть класс всех блоков, которые ты хочешь спарсить, они под одним классом, тебе надо определить под каким,"title" : item.find("a", class_ = "snippet-link"), сюда ты должен уже ввести класс и тег, где находится то что тебе нужно, если то что тебе нужно находится в блоке "a", под атрибутом, href, к примеру, то тебе нужно указать это вот так: "title" : item.find("a", class_ = "snippet-link").get("href")

[@chasesilvers1582]

Если вдруг еще актуально или кому поможет: Средой должен подсвечиваться метод append, т.е. круглая скобка должна быть рядом с ним, без переноса. Не cards.append ( А cards.append( {}

[@ArtDDSS]

Вместо библиотеки bf, рекомендую использовать lxml, а для записи в csv,xlsx, sql - pandas

[@YouMeNow88]

По C# планируете уроки или не работали с ним? Что можете сказать об этом языке? Спасибо

[@Ребятакошки]

В csv файл сохраняется только 40 значений. Помогитет

[@5224Mark]

А у меня вот выкатывается user-agent': (здесь красным ',' expected Statement expected, found Py:COLON) 'Mozilla/5.0 в паучарм. Что делать помогите пожалуйста (No context actions available at this location)

[@IzabelleHell]

Не любой сайт можно таким способом спарсить. В некоторых случаях может понадобиться эмулятор браузера, так как все сайты написаны по-разному и в разных браузерах по-разному могут по-разному выглядеть, поэтому код сайта придется вытаскивать другими способами.

[@python689]

Здравствуйте, помогите плз, как кожно вытащить текст "Wilson Tour Premier All Court 4B" soup = BeautifulSoup(html, 'lxml') title = soup.find('h1', class_='product--title') Tennis balls Wilson Tour Premier All Court 4B

[@VladislavN-v2y]

Хорошее видео. Всё понятно.

[@nyakakun3398]

Атрибут ХРЕФ :D ета луцк, адназначно

[@ЕвгенСахаров]

Недоумение и страх были пол года назад. Тогда я первый раз увидел это видео и ушел с него. Ну а теперь буду смотреть до конца,ну и конечно пробовать что то делать. Да, я еще fake_useragent прикручу.

[@dor1k991]

И как оно?

[@ЕвгенСахаров]

@@dor1k991 Все ОК

[@viktorchemezov927]

Было бы годно если надо было бы персить с авторизацией. Снимите видео, пожалуйста.

[@caiman101]

Спасибо, друже!

[@dimashkarubo8815]

подскажите пожалуйста я сделал парсер он отработал один раз как надо после уже не выдает пустоту что делать?

[@КурскийТИК]

Спасибо большое за видео, все очень грамотно объяснили. У меня небольшой вопрос, а как сделать запрос если в одном классе допустим несколько

[@platonpg]

Как определить какие заголовки необходимы для конкретного сайта? Спасибо

[@vladislavstepanov3454]

у меня при пагинации парсятся на всех страницах одинаковые данные, что я делаю не так?

[@ДарийМар]

очень круто, спасибо

[@Тигра-и6б]

Почему мне возвращает только пустой список в виде скобок [ ]

[@andrievskii]

Есть масса причин, может что-то поменялось на сайте с которого парсим данные, возможно где-то опечатка, еще что-то. Видео нужно воспринимать, как мини туториал, и допиливать с правками под себя и свои задачи!

[@ОлексійСавченко-л7е]

Дякую за приклад. Але сторінка сайту змінена і перевірити код не має можливості.

[@РамильАхмеджанов-т5ж]

На первом этапе вместо Response 200 Response 403. Что делать? Как обходить???

[@TheRindzinnew]

Здравствуйте. Тут у человека такая же ошибка моя очень похоже там 2 линии 25-я строка 49-я и 55-я. вся загвоздка в 25-й get text Я уже 10 ки раз пересматривал и тесты запускал все упирается для начала ошибок с 25- большой строки. Подскажите, пожалуйста, получаю ошибку: 'title': item.find('div', class_='img-crop').get_text() AttributeError: 'NoneType' object has no attribute 'get_text' В чём может быть проблема? Весь код чётко по видеоуроку, ошибку выдаёт после добавления .get_text(), .find(). Если не добавлять .get_text(), .find() выдаёт словарь [{'title': None}]. Я нашел тут несколько решений буду побывать coderoad.ru/21939240/Объект-NoneType-не-вызывается-beautifulsoup-ошибка-при-использовании-get_text

[@openuser]

Те кто благодарят, вы повторяли за автором? Интересно и полезно, сомнения нет, но нет уже одинаковых классов, все разные, и обучение на этом прерывается. Надо искать другой путь! ))

[@ЕвгенийПитиримов-х7ш]

доброе время суток. А как вытащить значения из ключа title для обработки

[@ДарийМар]

сделайте, плиз, по какому-то фрейму урок, желательно джанго)

[@sakov2]

Есть задача по написанию парсера на Python или PHP, есть здесь те, сможет оценить задачу и если договоримся, то сделать?

[@andrievskii]

t.me/frontendwebsos Напиши в группу нашу, только не копируй это сообщение, а распиши хоть немного, что парсить, откуда, как сберегать и т.д.

[@neophron197]

vs тоже хороший редактор

[@Morphem85]

Какой шрифт используете в пайчарм? Красивый...

[@niva622]

Отличное видео спасибо

[@rompabys6899]

У меня такая проблема, загружает первые четыре изображения, а потом игнор, нет их, хотя вс инфа есть, кроме самого изображения

[@HATyPAJI1]

Поразительно знакомый урок парсинга...

[@АнастасіяПономарьова-ш1е]

Добрый день, обнаружилась новая проблема: парсит отлично, но после примерно 20 прогона (меняю ссылки вручную) стал сохранять лишь первый товар из списка, при этом все товары bs4 выгружаются, но с сохранением беда( Коллеги, сможете помочь?

[@jacksparow5289]

Привет спасибо за урок! Подскажи пожалуйста , есть такая задача : локальная сеть в ней несколько сетевых принтеров с локальной веб страницой ( адрес по типу https:\\10.10.10.5) и хотелось бы получать информацию о состоянии тонера, в рамках одного документа csv . Пробую по примеру как в видео не выходит. Есть некоторые внутренние cайты принтеров без SLL сертификата

[@maxim_mahadeva]

Спасибо тебе огромное!