Парсинг сайтов на Python. Выполняем заказ на фрилансе.

  Рет қаралды 118,399

PythonToday

PythonToday

Күн бұрын

Пікірлер: 243
@rahim047
@rahim047 4 жыл бұрын
Капееец. Я никогда не видел такого понятного повествования о программировании. Спасибо чувак, удачи)
@tatumdeshawn4237
@tatumdeshawn4237 3 жыл бұрын
i know im asking randomly but does anybody know a way to get back into an instagram account..? I was stupid lost my login password. I would love any help you can offer me
@laytontate6845
@laytontate6845 3 жыл бұрын
@Tatum Deshawn instablaster :)
@tatumdeshawn4237
@tatumdeshawn4237 3 жыл бұрын
@Layton Tate i really appreciate your reply. I found the site through google and I'm trying it out now. Takes quite some time so I will reply here later when my account password hopefully is recovered.
@tatumdeshawn4237
@tatumdeshawn4237 3 жыл бұрын
@Layton Tate it did the trick and I finally got access to my account again. I am so happy! Thank you so much you saved my ass!
@laytontate6845
@laytontate6845 3 жыл бұрын
@Tatum Deshawn no problem :)
@user-LvSerg777
@user-LvSerg777 Жыл бұрын
Хочу сказать очередное Спасибо АВТОРУ! За отличное объяснение и подачу! То что данный плейлист записывался около 2 лет назад, и то, что сайты немного изменились(а некоторых уже вообще нет) - это даже к лучшему! Не просто повторяешь, а сам разбираешься и вникаешь! Также хочется отметить то, что АВТОР отвечает на комментарии! Очень приятно!
@tillullenspiegel5193
@tillullenspiegel5193 2 жыл бұрын
На текущий момент сайт имеет изменения отличные от видео, поэтому код необходимо будет немного дописать: 1: persons = soup.find_all('a') записать вместо persons = soup.find_all(class_='bt-open-in-overlay'), так как класса 'bt-open-in-overlay' больше нет. 2: Теперь сайт блочит от частых запросов, необходимо, что бы итерации проходили рандомно-медленно. Дописываем sleep(random.randrange(2, 4)) - я воткнул после count += 1( в теле цикла). так же необходимо будет импортировать from time import sleep и import random
@radmir2799
@radmir2799 2 жыл бұрын
да, тоже сразу заметил что сайт поменялся но наоборот, это добавляет немного интереса - не чисто слизывать с видео, а уже включить голову и самому разобраться, что требуется поменять)
@sansanwz
@sansanwz 2 жыл бұрын
не забывайте про headers)
@astoriy1085
@astoriy1085 2 жыл бұрын
спасибо, не думал, что можно забрать все ссылки только с помощью persons = soup.find_all('a'), не указав класса
@mors6577
@mors6577 2 жыл бұрын
спасибо большое
@orthodox-chanel
@orthodox-chanel Жыл бұрын
у этого видео 84 973 просмотра если хотя-бы 20% зрителей еще параллельно повторяли урок то в бундестагиемогли подумать, что какие то шпионы очень внимательно следят за ними))
@siarheilabetsik5658
@siarheilabetsik5658 2 жыл бұрын
Да, ваш канал это просто кладезь ценной и понятной информации. Спасибо за ваше творчество!
@PythonToday
@PythonToday 2 жыл бұрын
Большое спасибо за фидбэк и поддержку!
@MsSlava1997
@MsSlava1997 3 жыл бұрын
На данном сайте можно вывести всех участников в виде списка, там тоже есть свой GET запрос. Уже прошел почти год, но все же)) Вообще огромный респект автору, все очень доступно объясняет!)
@silvertruenoobs340
@silvertruenoobs340 2 жыл бұрын
со списка и правда куда проще вытянуть ссылки, особенно если учесть что с тех пор список увеличился (всего на 16 имен но все же, при этом метод с ренджой более универсальный, для тех сайтов где такого списка нет, так что надо бы где-нибудь записать что б не забыть что так можно)))
@СиндромСамозванца-ц9ц
@СиндромСамозванца-ц9ц 4 жыл бұрын
ну вот, годнота!!! жду следующего)))
@northedx
@northedx Жыл бұрын
Просто идеально) Спасибо такую четкую пошаговую подачу информации 🙏🏼
@reflectorfiveone3562
@reflectorfiveone3562 4 жыл бұрын
Отличный гайд, хотелось бы все же услышать про многопоточность, надеюсь в след видео будет.
@rushfree8314
@rushfree8314 Жыл бұрын
1) Автору огромное спасибо! Всё доступно и по дело. Состояниям на сейчас сайт немного изменился. 2) Строку №11 изменил на persons = soup.find_all('a') 3) Строка №33 person = soup.find(class_='bt-biografie-name').find('h3').text 4) На 103 прогоне сайт обрубил доступ. Добавил паузу в цикл.
@ТибальтСладкоголосый
@ТибальтСладкоголосый Жыл бұрын
Я тоже сначала не понял из-за чего список не спарсился целиком. Перезапускаю скрипт и он тут же ошибку выдал. Мои мысли, ну как так, я опять что-то сломал, пока не додумался вывести в терминал ответ от сайта .
@ГалинаСухарева-л9к
@ГалинаСухарева-л9к 4 жыл бұрын
Давно присматривалась и искала парсинг сайта с помощью Python.Честно не смогла разобраться , а смотрю ваше видео и начинаю доходить до истины.Спасибо.
@medik353
@medik353 4 жыл бұрын
Отличные видео. Спасибо автору. Практические примеры намного важнее теории, которой и так полно.
@chlorine7785
@chlorine7785 3 жыл бұрын
Заказы с фриланса - это реальная практика. Делай побольше таких видео
@PythonToday
@PythonToday 3 жыл бұрын
Обязательно
@ЕрмолинНикита-у7м
@ЕрмолинНикита-у7м 2 жыл бұрын
Просто и ясно!) Решил посмотреть по парсингу твои видео, которые ещё не посмотрел!)
@АнтонСоломатов-ж6з
@АнтонСоломатов-ж6з 4 жыл бұрын
Хорошее видео на пайтон с карточками. Фриланс, классная штучка. Все четко и идеально передано автором. Все , как говорится , по полочкам. Автору за труд, лайк!
@coffeebook-sh
@coffeebook-sh 9 ай бұрын
Там кстати была кнопка чтобы показать всех людей списком на одной странице, чтобы не скакать и не мудрить с подменой чисел в ссылке. А так очень круто и понятно, спасибо за видео!
@iolar_si
@iolar_si 8 ай бұрын
Хе, вот это прикол, я и не заметил. Возможно, она появилась недавно, а видео-то записано 3 года назад. Html-вёрстка страниц поменялась местами за это время.
@АлександрГуляев-в6ф
@АлександрГуляев-в6ф 4 жыл бұрын
Больше уроков по парсингу для совсем начинающих!!!
@ТамжитПинхаева
@ТамжитПинхаева 4 жыл бұрын
Спасибо автору ролика за познавательное видео про мир парсинга, фриланса и удачи каналу!
@AntonHHO
@AntonHHO Жыл бұрын
Отличное видео, с удовольствием посмотрел и повторил. Сперва пробую писать сам, а потом сверяюсь. Очень приятный голос и подача материала
@PythonToday
@PythonToday Жыл бұрын
Благодарю!
@MINECRAFT-sg7lv
@MINECRAFT-sg7lv 4 жыл бұрын
Очень хотела разобраться в данной теме. Благодаря вашему видео я все поняла. Спасибо.
@ВикаТесля-х7ф
@ВикаТесля-х7ф 4 жыл бұрын
Спасибо за такой крутой и интересный пост! Буду следить за вашим профилем! Удачи вам!
@КонстантинЮрьевич-в9ю
@КонстантинЮрьевич-в9ю 7 ай бұрын
Хочу сказать спасибо комментаторам: нахожу ответы на вопросы по коду.
@mao13132
@mao13132 2 жыл бұрын
Голос нормальный, и хорошо объясняется. Благодарю!
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за фидбэк!
@ТоликРолик-м5я
@ТоликРолик-м5я 2 жыл бұрын
Очень информативно, единственное, что смутило - это то, что в прошлых видео был немного другой код. Но как я понял - это потому что этот сайт более спокойно к парсингу относится. Спасибо за видео!
@ProgrammingBro-e9t
@ProgrammingBro-e9t Жыл бұрын
Если ты про заголовки или постояннное сохранение html, это дело вкуса и сайта , ты абсолютно прав
@user-LvSerg777
@user-LvSerg777 Жыл бұрын
Только сейчас обратил внимание, что подписчиков 200К стало! Поздравляю 🎉🎉🎉
@illiastorozh
@illiastorozh 2 жыл бұрын
спасибо бро за работу. часами сижу каждую строчку по косточке вникаю
@PythonToday
@PythonToday 2 жыл бұрын
Практика лучший учитель! Благодарю за фидбэк!
@illiastorozh
@illiastorozh 2 жыл бұрын
@@PythonToday акогда маленькие победы вызывает реально прям кайф)
@SPECTRRODIUMmedia
@SPECTRRODIUMmedia 3 жыл бұрын
Отличные уроки! Хотелось бы увидеть разбор парсинга Яндекс карт и Гугл карт
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк. Как появится время, обязательно сделаем проект
@grigorypalas2747
@grigorypalas2747 2 жыл бұрын
@@PythonToday ДА, было бы потрясающе, если бы объяснил как можно парсить организации в гугл картах, прошу)
@Uazovod
@Uazovod 3 жыл бұрын
Это самый лучший туториал о программировании))) Спасибо автору! Лайк, подписка и тык в колокольчик))
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за поддержку!
@lexluter963
@lexluter963 4 жыл бұрын
Хух.... Ооочень качественный материал, один из самых понятных в ютюбе. Удачи в развитии канала, однозначно лайк и подписка
@PythonToday
@PythonToday 4 жыл бұрын
Благодарю за фидбэк 💪
@ivanokkekes8370
@ivanokkekes8370 Жыл бұрын
Для тех кто написал и не понял почему в именах есть значения /U+00F6/ и т.д. Проблема в кодировке. Просто допишите в: with open('data.json', 'w')as json_file: json.dump(data_dict, json_file, indent=4, ensure_ascii=False) #ensure_ascii=False!!!
@ТибальтСладкоголосый
@ТибальтСладкоголосый Жыл бұрын
спасибо
@EgorkaTubeOne
@EgorkaTubeOne 3 жыл бұрын
Круто, прошлый сайт спарсил смотря видео, этот сайт сначала сам спарсил - потом посмотрел видео
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@nadyamoscow2461
@nadyamoscow2461 3 жыл бұрын
Огромное спасибо. Очень доступное, качественное объяснение.
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@КошкинЯрослав
@КошкинЯрослав 2 жыл бұрын
Спасибо вам огромное!!! У вас самый крутой канал в IT направлении
@ЕвгенийМихайлович-ш8ы
@ЕвгенийМихайлович-ш8ы 3 жыл бұрын
Ну вообще супер! Молодец! Отличный контент!
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за поддержку!
@alinaveter7371
@alinaveter7371 3 жыл бұрын
Восхитительно! Сложно делать грамотный хвалебный отзыв, ибо я делала их на предыдущих видео, но, господа-товарищи, новенькие на этом канале, определонно годно, рекомендую!)
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за поддержку!
@ТарасТарновецький-з1ю
@ТарасТарновецький-з1ю 2 жыл бұрын
Мужык, ты крут класный голос, и обяснение супер + в список любимых каналов
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за поддержку! Надеюсь видео будут полезны)
@SereginSF
@SereginSF 2 жыл бұрын
Очень интересно. Буду смотреть дальше.
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю за поддержку!
@shortvideos9955
@shortvideos9955 Жыл бұрын
Интро твоих видео просто - зачёт👍
@IWannaSaySmth
@IWannaSaySmth 4 жыл бұрын
Хороший контент ) Желаю развития каналу
@delafdelaf
@delafdelaf 2 жыл бұрын
Шикарный урок! Благодарю!
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за поддержку!
@air961
@air961 2 жыл бұрын
Друже, благодарю! )
@bdrgames_official
@bdrgames_official 4 жыл бұрын
Классное видео, все повторял за тобой все получилось, люблю питон но кроме него знаю еще JavaScript на нем больше сижу, сейчас тоже сайты делаю нравится, спасибо за ролик! 😁
@Reshila-us6uc
@Reshila-us6uc 3 жыл бұрын
Красавчик братан спасибо большое
@PIEIgorEfremenko
@PIEIgorEfremenko 3 жыл бұрын
Супер! Очень доходчиво и понятно.
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@55sintez
@55sintez 3 жыл бұрын
Очень вдохновляет, учу пайтон и вот завис на парсинге, на вашем канале, перед тем как перейти к изучению классов и ООП. Спасибо за труды!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю. Практика, наше всё)
@Alekseyild
@Alekseyild 2 жыл бұрын
Спасибо, реально полезный и интересный контент.
@shalvaimnaishvili9284
@shalvaimnaishvili9284 4 жыл бұрын
спасибо за ваш труд удачи вам и успехов видео просто супер топ )
@АлимджанХаметов
@АлимджанХаметов 4 жыл бұрын
Нормальный ролик, посмотрел пару раз, попробывал сам, увы не получилось но то не проблема, я целеустремленный все равно у меня получиться, ее раз спасибо за разяснения в ролике.
@diatm1506
@diatm1506 2 жыл бұрын
Спасибо за контент. То мне php нравился то nodejs теперь python полюбил
@DrZlad
@DrZlad 2 жыл бұрын
и у меня так было. Не знаю как, правда, избавиться от js)
@magicskyvideo1687
@magicskyvideo1687 2 жыл бұрын
Спасибо за видео! Могли бы вы еще рассказать где брать подобные заказы? В идеале видеогайд)
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за фидбэк, на канале есть видео по фриланс биржам.
@Mr-in8km
@Mr-in8km 4 жыл бұрын
запишите видео для новичков, или какие первые проекты писать, что бы хоть что-то начать понимать =) буду очень благодарен!)
@iolar_si
@iolar_si 8 ай бұрын
Если новичок в python вообще, то советую начать с книги "Любанович Б. - Простой Python". Лучший самоучитель Python, написан с юмором, с интересными нешаблонными примерами, с кучей разнообразных культурных отсылок... Просто шедевр.
@Mr-in8km
@Mr-in8km 8 ай бұрын
@@iolar_si увы, я стал веб дизайнером. на питоне написал только, что то вроде калькулятора. сам язык учил на Степик, для себя понял что код не мое
@АндрейИнвентор
@АндрейИнвентор 3 жыл бұрын
Спасибо! Сделал всё по шагам! Получил результат! Возник один вопрос. Подскажите, пожалуйста, почему эти две строки кода with open('data.json', 'w') as json_file: json.dump(data_dict, json_file, indent=4) находятся внутри цикла по ссылкам? Может быть имеет смысл вынести из этого цикла наружу?
@brr3534
@brr3534 3 жыл бұрын
я бы оставил в цикле, а список data_dict очищал на каждой иттерации после записи в json
@devZu9
@devZu9 4 жыл бұрын
Почитал комментарии и был крайне удивлён, что никто не задал вопрос, где вы нашли такой простой заказ за 40 долларов. Я на биржах постоянно получаю заказы где нужно подставлять разные юзер-агенты, прокси, где необходимо всё делать через авторизацию и за это не готовы платить больше 1000 рублей за которые ещё нужно побороться, потому что все снижают стоимость до 400-500 рублей. А тут 40 долларов. Это же больше чем 3000 рублей. ГДЕ? КАК? Неужели конкуренты проспали? Или просто повезло?
@PythonToday
@PythonToday 4 жыл бұрын
Т.е 40$ это много что ли? 🤨 Первое правило клуба - старайся никогда, НИКОГДА не работать с СНГ и рублями. И да, конечно когда ищу заказ бывает несколько дней мониторю. Зачем браться за что-то сложное и малооплачиваемое. На биржах ежедневно проскакивают простые заказы, главное оказаться в числе первых отозвавшихся + заказы от постоянных клиентов.
@stoparb357
@stoparb357 3 жыл бұрын
@@PythonToday ну есть вариант брать мелкие заказы, зато часто, такими темпами работаю в свободном режиме, чистая прибыль с вычетом всех комиссий около 30к, при этом изучаю ещё все
@АлександрКолесников-ц4ь
@АлександрКолесников-ц4ь 2 жыл бұрын
@@PythonToday а где искать на вашем канале видео о фриланс биржах? В каком плейлисте?
@Свежиеновостидня
@Свежиеновостидня 4 жыл бұрын
как всегда видео урок на высоте!!!
@ВикторияФедюкина-ф1ч
@ВикторияФедюкина-ф1ч 4 жыл бұрын
Отличный способ заработка на фрилансе. Парсинг сайта с помощью питона удобнее, чем, допустим, на яваскрипте.
@kuatkerei
@kuatkerei 3 жыл бұрын
Доброе время суток, отличный контент, но то что ты делаешь не видно, может нужно увеличить шрифт.
@serhiikvas4038
@serhiikvas4038 2 жыл бұрын
круто ! благодарю тебе !
@PythonToday
@PythonToday 2 жыл бұрын
Спасибо за поддержку!
@СергейСмирнов-ь8у
@СергейСмирнов-ь8у 3 жыл бұрын
Большое спасибо!!!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@РусланАлексеев-з6й
@РусланАлексеев-з6й 4 жыл бұрын
Спасибо за Интересное видео и полезное информацию
@zakirovio
@zakirovio 2 жыл бұрын
В ходе просмотра увидел, что можно было поменять отображение всех членов на одной странице в алфавитном порядке, поймать запрос при нажатии на эту кнопку и получить единственную страницу со всеми членами, чтобы в дальнейшем не перебирать по 20 человек
@amadeus1300
@amadeus1300 3 жыл бұрын
спс за наглядный пример !)
@PythonToday
@PythonToday 3 жыл бұрын
💪
@Sh-Alex
@Sh-Alex Жыл бұрын
Добрый день, я немного не понимаю, а зачем создавать в начале виртуальное окружение, разве при создании проекта в PyCharm он это не делает? и другой вопрос есть хороший материал где ни будь по теме виртуального окружения?
@ИльназМингазов-з6л
@ИльназМингазов-з6л 2 жыл бұрын
спасибо за урок!
@pianocovers-nickbutnar8413
@pianocovers-nickbutnar8413 2 жыл бұрын
в строке № 36 person = soup.find(class_='bt-biografie-name').find('h3').text выдает ошибку: person = soup.find(class_='bt-biografie-name').find('h3').text AttributeError: 'NoneType' object has no attribute 'find' Подскажите, пожалуйста, как исправить. Весь код такой же как у вас. Не могу найти ошибку
@Anton-eu2qx
@Anton-eu2qx 2 жыл бұрын
У меня такая же ошибка была. Сменил ip, процесс запустился снова, но потом снова прервался. Причина вероятно в том, что сайт блокирует множество запросов сразу. Но код рабочий!
@grigorypalas2747
@grigorypalas2747 2 жыл бұрын
во первых добавь после принта time.sleep(random.randrange(2, 4)) во вторых через впн делай
@grigorypalas2747
@grigorypalas2747 2 жыл бұрын
@@Anton-eu2qx чтобы не прерывался, добавь time.sleep(random.randrange(2, 4)) после print(f"# {count}:")
@iolar_si
@iolar_si 8 ай бұрын
Парсер BeautifulSoup поменяй с 'lxml' на 'html5lib'
@дмитрийМельник-в3м
@дмитрийМельник-в3м 3 жыл бұрын
Красавчик! Спасибо!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@SanjarRaxmanov-n7q
@SanjarRaxmanov-n7q Жыл бұрын
здраствуйте, ваши курсы просто бомба! Но у меня возникли проблемы! Я не могу сохранять ссылки или HTML код, пожалуйста подскажите мне что делать. А иногда само HTML код невозможно получить.
@КурскийТИК
@КурскийТИК 3 жыл бұрын
Спасибо большое за видео, все очень грамотно объяснили. У меня небольшой вопрос, а как сделать запрос если в одном классе допустим несколько
@arsen19990
@arsen19990 8 ай бұрын
Почему вылазит ошибка TypeError: Object of type Tag is not JSON serializable когда в конце сохраню данные в json файл?
@КавоШо-ы1ы
@КавоШо-ы1ы 3 жыл бұрын
Спасибо за контент! Вопрос - (я нуб в программировании) - что мне нужно изучить ДО парсинга в питоне? И насколько тяжело новичку брать заказы на фрилансе?
@an1metyrbooo745
@an1metyrbooo745 2 жыл бұрын
Я и сам кстати новичок но думаю будит немного трудновато что-то делать самому а не по видиу с ютуба.😁😁😁
@ОлександрДобровольський-ц9н
@ОлександрДобровольський-ц9н 2 жыл бұрын
Изучайте Пайтонначиная с переменных и принта заканчивая парсингом
@oxlapc7233
@oxlapc7233 2 жыл бұрын
Вот скажите мне пожалуйста. Откуда беруться эти вот "а давайте сделаем так..." Откуда вы знаете порядок действий, который приведёт вас к цели? А если что то пропустить из этого? Как в этом разбираться. Вот чутка моя задача отличается от вашей допустим и я уже, как маленький малыш, который не умеет еще ходить.
@Thallrasha
@Thallrasha 2 жыл бұрын
Обычно в документации к библиотете идут примеры с порядком действий.
@АндрейИнвентор
@АндрейИнвентор 3 жыл бұрын
Спасибо за видео!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@ЮрійГуменюк-г4в
@ЮрійГуменюк-г4в 3 жыл бұрын
Отличное видео. Мелко только.
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк
@АндрейШайдюк-с9ф
@АндрейШайдюк-с9ф 3 жыл бұрын
отличное видео! но хотелось-бы чего-то посложнее. я както сталкивался с сайтов на котором не смог вытащить данные т.к. по нужному мне тегу выдавалась абсолютно другая инфа которой не было на этой странице.
@Bodya_-du7lqds
@Bodya_-du7lqds 4 жыл бұрын
Все очень хорошо описано, спасибо вам за контент лайк, пиписка )
@PythonToday
@PythonToday 4 жыл бұрын
Благодарю за фидбэк
@scalpx05
@scalpx05 3 жыл бұрын
Пиписка😂
@ГеоргийГудков-щ2у
@ГеоргийГудков-щ2у 2 жыл бұрын
А, и ещё моментик, видно щас всё на сайте изменилось и щас сайт при таком парсинге, скидывает тебя в архив, где нету контактов этих депутатов, что в таком случае делать? Тип, сейчас он по ссылкам, которые мы получили в текстовом файле, кидает на архивы этого сайта. А когда имя из архивного сайта ищешь на обычном, он выдаёт что 404.
@s41nt2
@s41nt2 3 жыл бұрын
Оооочень всё хорошо объяснил
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю 💪
@SMi-rp5rb
@SMi-rp5rb 2 жыл бұрын
здравствуйте. В google chrome в Devtools открываю вкладку Network, но у меня не появляется столб метод. Соотвественно не могу найти на какую странице отправляется запрос. Preserve log ставлю галочку, но все равно не получается. Подскажте, что не так
@igorchagor9307
@igorchagor9307 4 жыл бұрын
Просто огонь!
@PythonToday
@PythonToday 4 жыл бұрын
Приветствую, благодарю за фидбэк
@grigorypalas2747
@grigorypalas2747 2 жыл бұрын
сайт изменили, убрали класс из тегов , поэтому методом проб и ошибок понял, что нужно писать строку persons = soup.find_all("a") вместо строки persons = soup.find_all(class_='bt-open-in-overlay') но у меня получилось только 37 ссылок вытащить, сайт больше не даёт
@tillullenspiegel5193
@tillullenspiegel5193 2 жыл бұрын
воспользовался "persons = soup.find_all("a")" и удалось выгрузить все 739 (на текущий момент) ссылок, спасибо за подсказку
@iolar_si
@iolar_si 8 ай бұрын
soup = BeautifulSoup(result, 'lxml') поменяй на soup = BeautifulSoup(result, 'html5lib') и да, библиотеку html5lib нужно будет установить. lxml вообще очень хреновый парсер на самом деле, не раз спотыкался об него, в итоге вообще не использую.
@Webian
@Webian 11 ай бұрын
только перезапись json-а на каждой итерации идет. -tab надо
@MrPavel1207
@MrPavel1207 2 ай бұрын
спасибо ты топчик
@ivan100kg
@ivan100kg 3 жыл бұрын
Здравствуйте, в чем разница .content и .text у объекта полученного из requests.get, soup как я понял принимает оба варианта?
@Vladimir-re8xl
@Vladimir-re8xl 3 жыл бұрын
разобрались?
@ivan100kg
@ivan100kg 3 жыл бұрын
@@Vladimir-re8xl да, content - байт код, text - текст.
@Vladimir-re8xl
@Vladimir-re8xl 3 жыл бұрын
@@ivan100kg почему он именно здесь решил использовать content, вместо text?
@ivan100kg
@ivan100kg 3 жыл бұрын
@@Vladimir-re8xl я уже не помню, в мануале к requests там все просто, прочтите документации, там все ответы
@AleksandrGrouse
@AleksandrGrouse 3 жыл бұрын
Почему нельзя не задавать offset, а просто подставить limit = 99999, таким образом достав все карточки, все равно на бэке это подставляется в запрос. Таким образом можно уменьшить кол-во обращений до 1
@radmirsharifullin5770
@radmirsharifullin5770 2 жыл бұрын
Класс!
@Wot-blitz-ua-v8i
@Wot-blitz-ua-v8i 3 жыл бұрын
Начал изучать питон ) надеюсь у меня все получится
@PythonToday
@PythonToday 3 жыл бұрын
Обязательно!
@АлексейДроздов-л8р
@АлексейДроздов-л8р 2 жыл бұрын
как успехи?
@nickershov609
@nickershov609 Жыл бұрын
Помогите пожалуйста. Не получается сохранить ссылки в файл.
@silvertruenoobs340
@silvertruenoobs340 2 жыл бұрын
вот что странно, я вытягивал ссылки со страницы с полным списком участников, поэтому изначально сохранял именно ее и не делал отдельный файл, для ссылкок, просто нашел их в сохраненном хтмл файле страницы списка, спарсил и засунул в список в коде, после чего погнал этот список дальше по циклу с переходом по ссылкам из него, и вот в чем проблема, он скрипт по какой то причине зацикливал первый элемент списка, т.е. проходил по первой ссылке, заканчивал ее и снова шел на первую ссылку, в итоге не придумав ничего лучше я добавил блок с сохранением ссылок в отдельный файл (как было и тут, только до этого процесс чуть иной), закоментил весь код ниже, перелил ссылки из списка в отдельный файл и потом из него же вытащил обратно в новый список с комментированием кода сверху и о чудо, по новому списку пошло как по маслу (с третьего раза, первые два видимо сайт огрызался т.к. сначала на 5 карточке ошибку выдавал, мол атрибут find('h3') не найден, потом на 22, тоже самое, оба раза зашел перепроверил по ссылкам все ок, ничего не меня запустил в третий раз - прошел полный цикл до конца). Причем это зацикливание внутри списка вытянутого с сохранней хтмл страницы уже не первый раз, перед этим парсил сайт стартапов, из комментов с прошлого урока, там такая же фигня, прохожу на страницу стратапов, там захожу в карточку вытягиваю лого название и описание идеи, так там если вообще история, если код обращения к сайту закомментирован то цикл зацикливает первую карточку на странице стартапов, если не закомментировано, по проходит нормально, по очереди одну задругой 🤨🤔 (что за ситуевина пока хз, либо я не понимаю чего то очевидного, либо это что то неочевидное) - если кто сталкивался и знает в чем может быть причина - буду благодарен разъяснение
@rossik08
@rossik08 Жыл бұрын
Может мне тоже пора заняться фрилансом? Ведь этот заказ даже я могу сделать
@PythonToday
@PythonToday Жыл бұрын
конечно нужно пробовать
@РавильШаймердянов
@РавильШаймердянов 3 жыл бұрын
Годный контент
@delji9430
@delji9430 4 жыл бұрын
Видео ТОП Почему dump в цикле, оно постаянно заново все записувало?
@PythonToday
@PythonToday 4 жыл бұрын
Не понял твой вопрос. json.dump() Записывает объект Python(в данном случае словарь) в файл в формате JSON.
@tillullenspiegel5193
@tillullenspiegel5193 2 жыл бұрын
@@cupertino1972 partei genosse?)
@wtkmlinux9495
@wtkmlinux9495 2 жыл бұрын
Написал в телеграмм. 25-го! Можно как-то связаться?
@vovkodinak2416
@vovkodinak2416 Жыл бұрын
Сайт теперь не очень лояльный. На 108 строчке парсинг оборвался.
@falling1887
@falling1887 Жыл бұрын
А теперь вопрос. Заказчику нужен только json файл, или сам код?
@PythonToday
@PythonToday Жыл бұрын
Всегда по разному, кому-то результат, кому-то сам парсер, кому-то нужно его настроить на сервере и запустить и тд
@daniel7007
@daniel7007 2 жыл бұрын
Отличный контент, благодарность автору. Товарищи подскажите как комментировать блок кода в пайчарме, с помощью #, но не каждую отдельную строку
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю за фидбэк. Почти во всех ide ctrl + /
@Shlapachok
@Shlapachok 2 жыл бұрын
Здравствуйте, подскажите на каком сайте можно найти заказы?
@КирКирыч-ф2к
@КирКирыч-ф2к 3 жыл бұрын
Блин, всё получилось, только не даёт json создать жалуется, что class_="bt-biografie-name" AttributeError: 'NoneType' object has no attribute 'find'
@shaggyba2023
@shaggyba2023 2 жыл бұрын
Как я понял, это проблема с верификацией на сайте, скорее всего от частых запросов :/ Где-то примерно на 90 запросе начинает блокировать
@pavelkharitonov9065
@pavelkharitonov9065 2 жыл бұрын
@@shaggyba2023 у меня тоже так было. добавил в конце цикла: pause = random.randint(0, 5) time.sleep(pause) и все отработало без проблем. Дольше, но зато есть результат
@minusebalo527
@minusebalo527 3 жыл бұрын
на 6:25 ты сделал весь текст серым и чтобы пайчарм его не видел, можешь сказать пожалуйста сочетание кнопок
@dimamelnik1513
@dimamelnik1513 3 жыл бұрын
ctrl + /
@emrullahergun7318
@emrullahergun7318 2 жыл бұрын
Здравствуйте, я хочу извлечь данные с иностранного сайта. За определенную плату. вы можете помочь?
@ИбрагииГацаевъ
@ИбрагииГацаевъ Жыл бұрын
Откуда ты берешь задания
@vialomur__vialomur5682
@vialomur__vialomur5682 3 жыл бұрын
Спасибо!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@wetru6666
@wetru6666 3 жыл бұрын
ПАСИБ!!!ПОНЯЛ ВСЕ О СЕЛЕНИУМЕ А ТО НЕФИГА ЗА ДВА ДНЯ ИЗУЧЕНИЯ ДОКУМЕНТАЦИИ НЕПОНЯЛ.Акак работать с капчей? при работе с формой вот например с фейсбуком или любой другой сайт.
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк. Можно использовать компьютерное зрение и разгадывать самому, либо сервис для разгадывания капчи и работать с ним по api
КОГДА К БАТЕ ПРИШЕЛ ДРУГ😂#shorts
00:59
BATEK_OFFICIAL
Рет қаралды 8 МЛН
ТВОИ РОДИТЕЛИ И ЧЕЛОВЕК ПАУК 😂#shorts
00:59
BATEK_OFFICIAL
Рет қаралды 4 МЛН
小丑揭穿坏人的阴谋 #小丑 #天使 #shorts
00:35
好人小丑
Рет қаралды 52 МЛН
Crafting the Tools I Wish I Had as a Game Developer
14:53
Final Parsec
Рет қаралды 2
Простой парсинг сайтов на Python | requests, BeautifulSoup, csv
1:11:50
Андрей Андриевский
Рет қаралды 135 М.