Обучение парсингу на Python #9 | Выполняем заказ на фрилансе | Парсинг сайта

  Рет қаралды 36,006

PythonToday

PythonToday

Күн бұрын

Пікірлер: 186
@shortvideos9955
@shortvideos9955 Жыл бұрын
Тот кто пишет , что на заводе больше зарабатывают, тот чистый индеец. Да, возможно иногда так бывает,но есть большая разница, тут ты как вольная птица работаешь, выполняя задания по душе и с интересом, а на заводе ты как терпилло должен заниматься ненавистной х*йней и ещё плясать под дудку начальника долбоящера. Поэтому не слушай никого, а просто продолжай в том же духе, у тебя четкие видео для всех желающих учиться👍🤝
@nick_s6434
@nick_s6434 3 жыл бұрын
Отличные обучающие видео, опыт, который Вы даёте - бесценен. И в СНГ сообществе егго почти нигде не найти
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю! Рад что полезно
@stupidnoob
@stupidnoob 3 жыл бұрын
@@PythonToday если не секрет, то расскажи где ты берёшь заказы?
@PythonToday
@PythonToday 3 жыл бұрын
kzbin.info/www/bejne/Z6GvnYtvrZtjqK8
@АлександрШурыгин-з3о
@АлександрШурыгин-з3о Жыл бұрын
Верно сказано! Труд без удовольствия - это работа! Труд с удовольствием - это кайф!
@Артемий-б7ь
@Артемий-б7ь 3 жыл бұрын
Самое познавательное видео в ютубе по парсингу на Pyton Продолжай в том же духе!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк! Рад что полезно
@MrPavel1207
@MrPavel1207 6 ай бұрын
бесценная информация, очень подробно и понятно, спасибо
@Zer-st6qv
@Zer-st6qv 3 жыл бұрын
Огромное спасибо! Лучший канал по практике на Python!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@Zer-st6qv
@Zer-st6qv 3 жыл бұрын
ps, прибалдел от музыки))
@Soul.game.
@Soul.game. 3 жыл бұрын
Твои уроки по паресеру лучше чем у хауди
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@алмасмурзалиев
@алмасмурзалиев 3 жыл бұрын
Ждем видео про асинхронку!
@ilyamurychev8713
@ilyamurychev8713 2 жыл бұрын
отличные видео. Смотришь и получаешь удовольствие.
@Bazilit
@Bazilit 2 жыл бұрын
Спасибо за урок! Все получилось. По сравнению с тем, что попадается в интернете, сайт Лабиринта не такой замудренный и агрессивный. Приятно с ним было поработать.
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю за фидбэк!
@ВикторВоеводов
@ВикторВоеводов 2 жыл бұрын
Ура-а-а-а...!!! Нашёл в HTML таблицу - как будто до центра Земли докопался...Как всё очень глубоко зарыто...Сколько лет это сокровище верстальщики закапывали в недра Земли...
@АлександрШурыгин-з3о
@АлександрШурыгин-з3о Жыл бұрын
БлагоДарю!
@SV-cs3hd
@SV-cs3hd 3 жыл бұрын
Спасибо за Вашу работу!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@birdwatcher_channel
@birdwatcher_channel 2 жыл бұрын
по твоим видео легко учиться. Благодарю
@АлександрВыскребцев
@АлександрВыскребцев 3 жыл бұрын
Круто, я первый заказ выполнил на Upwork по твоим туторам, спарсил данные на стоимость кВт света в каждом городе США, закинул в CSV и потом его отсортировал по алфавиту. Но клиент наверное проморозится профиль то пустой( Ну и ладно, опыт будет. П.с. На Аляску не переезжайте, там 1кВт/ч 50¢.
@PythonToday
@PythonToday 3 жыл бұрын
Большое спасибо за фидбэк! Молодцом!)
@lemuriets
@lemuriets 3 жыл бұрын
Твои try-except, обрабатывающие все исключения, божественны (+ их очень мало) ... (сарказм)
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк. Мне не нужно было ловить конкретный exception, задача положить в переменную результат если он произойдет. Как бы сделал ты?
@ИгорьВенгер-х9я
@ИгорьВенгер-х9я 3 жыл бұрын
Отличный контент! Все доступно и наглядно показано.
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@aleksejborovinskij1155
@aleksejborovinskij1155 3 жыл бұрын
Благодарю! Очень благое дело творите!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@denisos7399
@denisos7399 2 жыл бұрын
Уважаю людей, которые делятся своим опытом !
@KolBbl4
@KolBbl4 3 жыл бұрын
Огромнейшее спасибо вам за видео и ваш труд!!
@PythonToday
@PythonToday 3 жыл бұрын
Огромное спасибо за фидбэк!
@sviteribuben7245
@sviteribuben7245 3 жыл бұрын
Отличная практика) интересно было бы про асинхронную реализацию посмотреть
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Скоро выпущу видео
@ПищащийГолландец
@ПищащийГолландец 3 жыл бұрын
"ускорит в 10 раз"?! 😳 у меня парсер работает около 5 часов!!! из-за огромного количества товаров, даже с минимальной задержкой между парсингом 2-5 сек. на страницу! Буду ждать с нетерпением следующий урок!
@PythonToday
@PythonToday 3 жыл бұрын
Однажды мой парсер работал 10 дней с трех компов, в несколько потоков ) 5 часов норм, молодцом! Только изучаю асинхронку, до этого почти всегда писал синхронно(потоки в php не в счет). На сколько понял GO в этом чемпион, даже изучить захотелось.
@PythonToday
@PythonToday 3 жыл бұрын
p.s спасибо за фидбэк!
@ПищащийГолландец
@ПищащийГолландец 3 жыл бұрын
@@PythonToday тоже в планах изучить GO. Но данный момент пытаюсь внедрить в свой парсер телеграм бот, чтоб по запросу(кнопке) парсилась только выбранная категория. Посмотрим, что получится😊
@PythonToday
@PythonToday 3 жыл бұрын
Тоже балуюсь) Если код в открытом доступе, пришли пожалуйста ссылку на гит. С удовольствием посмотрю
@ПищащийГолландец
@ПищащийГолландец 3 жыл бұрын
@@PythonToday на локальном git только. Сырое не решаюсь туда выкладывать. Там только бот для инсты. и тот уже требует наверно допилки в связи с внедрением нового функционала в инсту.
@55sintez
@55sintez 3 жыл бұрын
Нифигасе, асинхронный код! Круто!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@seposmd
@seposmd 3 жыл бұрын
Супер! Теперь ждём версию с async
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Только изучаю, видео будет готово на неделе
@РоманСуворов-й2т
@РоманСуворов-й2т 3 жыл бұрын
Спасибо за труд!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@user-vz2cd8tw5b
@user-vz2cd8tw5b 3 жыл бұрын
Здравствуйте! Затроньте, пожалуйста, в одном из своих видео тему парсинга сайтов, контент на которых подгружается скриптами. Как пример - днс. Его конечно можно подгрузить используя селениум как костыль, но хотелось бы понять как такое можно организовать на реквестах. Было бы интересно увидеть как вы взаимодействуете с этим сайтом. Авторизация, сбор данных, взаимодействие с ЛК и тд. Спасибо за видео!
@НураалыТоктоназарУулу
@НураалыТоктоназарУулу 3 жыл бұрын
Тебе хочу сказать отдельное спасибо!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю!
@АлексейСамаркин-ы2н
@АлексейСамаркин-ы2н 3 жыл бұрын
Спасибо за видео!!!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@Eugene_Pashkov
@Eugene_Pashkov 3 жыл бұрын
Контент безумно качественный , в русском сегменте точно номер 1. Извините , конечно, но один пункт ТЗ заказчика не был выполнен: добавлять в список только те книги которые есть в наличии. Видимо нужно добавить проверку условия , если переменная равна "на складе" то добавлять в список/json/csv
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк! Пункт выполнен, т.к в параметрах гет запроса помимо остальных присутствует параметр available=1. Что и означает только то, что в наличии
@PythonToday
@PythonToday 3 жыл бұрын
Привет. Верно, наблюдательный)
@PythonToday
@PythonToday 3 жыл бұрын
@@Сергей-щ5д2и У меня наоборот)) Видимо yt проверяет комментарии
@PythonToday
@PythonToday 3 жыл бұрын
💪
@МихаилКазанцев-у1ф
@МихаилКазанцев-у1ф 3 жыл бұрын
Просто вау!!!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо!
@dmitriy-vasilevich
@dmitriy-vasilevich 3 жыл бұрын
Я начинающий, учу python потихоньку в свободное время, месяца два. Посмотрел первые пару минут ролика, чтобы узнать задачу и попробовать сделать самостоятельно. Провозился два часа, сделал, думал очень медленно. Досмотрел ролик, чтобы сравнить, оказалось нормально)! Можно на фриланс потихоньку выходить). Если у кого есть задача по парсингу, пишите, сделаю недорого).
@6blctpo_cnatb464
@6blctpo_cnatb464 Жыл бұрын
спарси амазон )))
@rinatyagafarov5328
@rinatyagafarov5328 3 жыл бұрын
Благодарю за видео!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк!
@rinatyagafarov5328
@rinatyagafarov5328 3 жыл бұрын
@@PythonToday Супер. пишу парсер для ebay, был затык, после выгрузки 5 страницы магазина, результат возвращал 0. Подглядел в видосе про headers, все заработало. Грузит все данные как миленький)) Еще раз благодарю!
@PythonToday
@PythonToday 3 жыл бұрын
@@rinatyagafarov5328 Молодцом! Рад что полезно
@zverge85
@zverge85 3 жыл бұрын
Спасибо за видео.
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@FoxRedmiNote
@FoxRedmiNote 3 жыл бұрын
Замечательно 👍
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю
@vialomur__vialomur5682
@vialomur__vialomur5682 3 жыл бұрын
Большое спасибо!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@michaelrozhkin9380
@michaelrozhkin9380 3 жыл бұрын
Привет, я пытаюсь брать заказы на фриланс биржах, но пока безрезультатно, было бы круто если бы ты сделал гайд как, что и где брать по фрилансу на python с советами для новичков, обзорами бирж фриланс и тд. Спасибо!
@PythonToday
@PythonToday 3 жыл бұрын
Привет, видео полгода лежит на канале kzbin.info/www/bejne/Z6GvnYtvrZtjqK8
@michaelrozhkin9380
@michaelrozhkin9380 3 жыл бұрын
@@PythonToday ООО спасибо!!!
@PythonToday
@PythonToday 3 жыл бұрын
💪
@jennysavvage9094
@jennysavvage9094 3 жыл бұрын
Молодец, парень!
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю!
@nikitabbrv5947
@nikitabbrv5947 3 жыл бұрын
Гайз, важное замечания в конце про "на работу мы потратили 2 часа времени". Если вы новичок, вы можете на аналогичный проект и 4-8 часов потратить, не думайте, что "норма" - 18 минут (длительность видео). На сколько уместно такой парсер юнит-тестами покрывать?
@antonsemeenov5182
@antonsemeenov5182 3 жыл бұрын
Какой смысл? Вам же нужно просто собрать и сохранить данные
@НураалыТоктоназарУулу
@НураалыТоктоназарУулу 3 жыл бұрын
Ты Крутой БРО !!!
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк
@ДастанСаматов-к6г
@ДастанСаматов-к6г 3 жыл бұрын
Братан все шикарно но ну так чисто на вскидку , не забывай про DRY , создай наконец функцию по get_html
@alexaeb5908
@alexaeb5908 3 жыл бұрын
Отличный контент дружище, так держать! Интересно узнать в каком виде предоставляешь финальный продукт клиенту, в виде скрипта или копмилируешь в экзешку?
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк! Почти всегда файлы с данными, иногда + скрипт, бывает создаю web интерфейс, редко просят залить в БД.
@olegkrav5527
@olegkrav5527 2 жыл бұрын
Четко все
@PythonToday
@PythonToday 2 жыл бұрын
Благодарю!
@WorldSkaynet
@WorldSkaynet 3 жыл бұрын
Асинхронка 🔥🔥🔥
@PythonToday
@PythonToday 3 жыл бұрын
💪
@evgensoldatov6924
@evgensoldatov6924 2 жыл бұрын
Подскажите пример сравнения 2х json с ценами на товар.!?
@pavelsaichkin7742
@pavelsaichkin7742 3 жыл бұрын
Бро в очередной раз низкий поклон за контент. Может сделаешь хоть одно видео с тщательным разжёвывание более простого парсера? Так сказать настоящий урок часа на три, с объяснением всего что пишешь, всех функций и методов, откуда что берётся и т.д. Что скажешь?
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк! С начала плейлист по парсингу смотришь? Абсолютно все методы, все параметры, сохранение в JSON и CSV файлы детально объяснял в предыдущих видео, нового здесь ничего не было. Думаю повторять значение параметров в каждом ролике не стоит.
@pavelsaichkin7742
@pavelsaichkin7742 3 жыл бұрын
@@PythonToday Да не с самого начала, буду пересматривать. Хочется этим заниматься, программирование даже на начальном этапе вызывает у меня эйфорию, а сижу на заводе - прям как ты и сказал в ролике)))
@PythonToday
@PythonToday 3 жыл бұрын
Если есть желание, и "программирование вызывает эйфорию" поверь, 50% дела уже сделано. Без этого, ничего не выйдет.
@ZemT861
@ZemT861 3 жыл бұрын
Видео было полезным и интересным. Вопрос, как вы передаете программу клиенту? Скрипт?
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк, рад что полезно. В зависимости от желания клиента, часто только собранные данные. Если нужен исходный скрипт + к цене. Бывает заказчик просит разместить и настроить скрипт на сервере, редко обернуть в django и сделать графическую оболочку на сайте.
@АндрейКоченко-е9ц
@АндрейКоченко-е9ц 3 жыл бұрын
@@PythonToday добрый день, а про это будет видео?? Ваш контент просто супер!
@youtypIdiNaxS_obnovleniamy
@youtypIdiNaxS_obnovleniamy 10 ай бұрын
А можно ли запихать парсер в плагин для google Chrome?
@endorfin182
@endorfin182 3 жыл бұрын
Сделай пожалуйста видео парсинго сайта с авторизацией.
@orthodox-chanel
@orthodox-chanel 2 жыл бұрын
мне нравится делать паузу и самостоятельно пытаться решить задачу, с пагинацией пришлось повозиться из-за того, что посто лень было более тщательно просмотреть html код, вот результат моих мучений: gen_pag = list(set(list(x.text.split(' ') for x in soup.find(class_='pagination-number-viewport').find_all('div'))[0])) pagenation = max(int(y) for y in (filter(lambda x: x.isdigit(), gen_pag)))
@sergeyn310
@sergeyn310 3 жыл бұрын
нужна серия по нейронным сетям)
@ivanpopovich8639
@ivanpopovich8639 3 жыл бұрын
У меня такая проблема, сайт работает только через впн, я подключил прокси но при этом когда делаю запрос и после этого вывожу код страницы, выводится совсем другой код страницы нежели через впн в браузере, можешь сказать в чем проблема и как можно пофиксить?
@mister_robot01
@mister_robot01 3 жыл бұрын
Здравствуйте. Очень полезные у вас уроки! Вопрос: а нельзя было все в один try except обернуть или есть какие-то нюансы ?)
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк! И что это даст? Задача каждого try/except , чтоб в случае невозможности найти и забрать данные из элемента, занести в конкретную переменную значение для дальнейшего сохранения в dataset.
@АлександрБольшеголов
@АлександрБольшеголов 3 жыл бұрын
В таком случае, ты никогда не узнаешь, на каком конкретном месте код завершился с ошибкой:)
@mister_robot01
@mister_robot01 3 жыл бұрын
@@АлександрБольшеголов благодарю за пояснение)
@maksatgurbanow5343
@maksatgurbanow5343 3 жыл бұрын
Ребята можете помоч??!!! Какие книги надо читат чтобы стат питон девелопером. И что надо умет
@serezha1322
@serezha1322 3 жыл бұрын
Видео отличные как по парсингу, так и другие. Автор спасибо!! Но есть вопрос. Зачем запуск парсинга идет через функции?
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк и поддержку! Ты имеешь ввиду почему не в классах или почему не простыней без функций и классов?
@serezha1322
@serezha1322 3 жыл бұрын
@@PythonToday второе
@ДмитрийОльшанников-м4б
@ДмитрийОльшанников-м4б 3 жыл бұрын
А в видео не допущена ошибка? По идее нужно сохранять только те позиции, которые находятся на складе?
@PythonToday
@PythonToday 3 жыл бұрын
Посмотри внимательно на параметры строки. Отбор уже включен.
@ДмитрийОльшанников-м4б
@ДмитрийОльшанников-м4б 3 жыл бұрын
@@PythonToday Всё, вижу, на сайте уже стоит фильтр, что бы отображались только книги, которые сейчас есть в наличии, это лучше чем делать фильтрацию в своём коде, спасибо за ответ)
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк)
@АлексейВиноградов-ю9ю
@АлексейВиноградов-ю9ю 3 жыл бұрын
Господа, подскажите, как настроить кодировку для создаваемого CSV?При открытии в офисе на маке одни кракозябры получаются.
@PythonToday
@PythonToday 3 жыл бұрын
При чтении/записи в файл используй параметр encoding="нужная кодировка".
@denisos7399
@denisos7399 2 жыл бұрын
Всем привет! А у меня получается 50 на 50, какие то моменты кракозябры процентов 30, а какие то норм.. Русский язык видно в общем, но не везде.. Еще ответа не нашел, почему так...кодировочку Utf-8 указал, без кодировочки вообще всё плывёт
@AnryRu
@AnryRu 3 жыл бұрын
Написал по вашему уроку скрипт и потом увидел, что книг на сайте куча, а более 17 страниц он никогда не выдает, в таблице пишет например 180 000 книг, а парсит только 999 т.к. остальные книги по какой-то причине не попадают в таблицу. Прийдется формировать ссылки по айди книги и на каждую переходить и брать инфу
@arhangelartur1
@arhangelartur1 3 жыл бұрын
Там есть условие «книги в наличии на складе», конкретный жанр в видео, а не весь сайт
@stupidnoob
@stupidnoob 3 жыл бұрын
Где боать такие заказы?
@daniel7007
@daniel7007 2 жыл бұрын
Благодарноть за достойный контент! Подскажите пожалуйста что делать с этой ошибкой: UnicodeEncodeError: ‘charmap’ code.... Я уже использовал encoding=”utf-8″ не помогло
@ByTyoma
@ByTyoma 2 жыл бұрын
utf-8-sig
@TahirKabilov
@TahirKabilov 3 жыл бұрын
Единичные заказы на фрилансе должны иметь МИНИМАЛКУ от 5-10 тр, время на общение с заказчиком это тоже затраты. Можно делать за 2 тр. хоть бесплатно если ты УЧИШЬСЯ, но будь добр предупреждай об этом заказчика, чтоб не расслаблялись и не наглели
@kosko4703
@kosko4703 3 жыл бұрын
Чтобы не продешевиться, есть какое-то среднее адекватное, может строчка должна стоить не меньше определенной суммы ? А может еще и количество файлов ? Желательно зарубежная биржа, а то у нас как понял рубят пополам, как минимум.
@TahirKabilov
@TahirKabilov 3 жыл бұрын
@@kosko4703 если и есть прайсы то у тех кто на этом специализируется и продает как услугу. на них можно ориентироваться только в том случае есил они могут быть в предложениях и составляют конкуренцию в остальном же ориентируешься прежде всего на свои временные затраты, стоимость своего времени уже определяешь сам для себя. у тех кто учится. предпочитает реальные проекты учебным, другое целеполагание. тут главное взять проект. но чтобы не спугнуть заказчика дармовым предложением. лучше сразу обосновать его. Честность цениться нормальными заказчиками, но и нельзя позволять садится себе на шею, как правило много среди заков фриланса проженных мудаков. с нормальными же заказчиками имеете все шансы получить постоянного клиента в будущем и по нормальным ценам, искать других как правило не будет если уже с вами сработался. так что свое вы все равно заберете.
@Дмитрий-у8ъ6б
@Дмитрий-у8ъ6б 3 жыл бұрын
Всем привет! Я только начал осваивать Python. Установил PyCharm и библиотеки (requests, lxml, bs4) Далее получаю на строку > ошибку /// AttributeError: 'NoneType' object has no attribute 'find_all' ////, хотя у автора ролика все норм. Подскажите, пожалуйста, что я делаю не так? Самостоятельно разобраться не смог, бьюсь над проблемой второй день. Буду вам очень признателен за помощь.
@arhangelartur1
@arhangelartur1 3 жыл бұрын
Ты код автора копируешь? Если да, то в описании на гитхабе код из урока скопируй и сравни со своим, скорее всего в url будет несовпадение, так как url меняется, если на сайте отображение страницы переключить в виде таблицы. При этом помимо url меняется и html страницы, появляются те самые элементы с классом “tr”
@arhangelartur1
@arhangelartur1 3 жыл бұрын
Не с классом, а тегом «tr” то есть
@Дмитрий-у8ъ6б
@Дмитрий-у8ъ6б 3 жыл бұрын
Дрбрый день. Да я копирую код автора. Воспользуюсь вашим советом. Спасибо за ответ,
@berdkivi9023
@berdkivi9023 3 жыл бұрын
А что за крипто-бот? Можно больше информации о его функциональности, что он вообще делает у вас сейчас?
@aleksejborovinskij1155
@aleksejborovinskij1155 3 жыл бұрын
т.е посмотреть другие видео автора не судьба?
@berdkivi9023
@berdkivi9023 3 жыл бұрын
@@aleksejborovinskij1155 а я не видел у автора видео с крипто-ботами. Было недавно видео по взаимодействию с АПИ криптобиржи, но то что он там показал, нельзя назвать Ботом. Он просто показал механизм взаимодействия не более того. Вот я и спрашиваю - что за крипто-Бот, что он делает?
@aleksejborovinskij1155
@aleksejborovinskij1155 3 жыл бұрын
@@berdkivi9023 Да, вы правы, такой конкретики маловато в том видео.
@imameteraway
@imameteraway 3 жыл бұрын
привет, может кто знает в чем дело? при загрузке файла в джейсон или csv в обоих случаях на выходе получаю кучу вопросительных знаков и лишь пару названий полученных из кода, я даже попытался просто скопировать код автора с гитхаба и все равно получил такую ошибку, кто-то сталкивался с подобным?
@PythonToday
@PythonToday 3 жыл бұрын
Предположу, что проблемы с кодировкой, и ты любитель windows... Следовательно добавляй параметр encoding="кодировка" при работе с файлами. Нюансы разбирал в этом видео kzbin.info/www/bejne/hqGVpICknqxjfLc
@VladSkepa
@VladSkepa 3 жыл бұрын
Спасибо за уроки, но есть 1 вопрос. Как вписать в класс для парсера не 1 слово а несколько если они идут через пробел ? Это очень важно так как например class_ = 'hello world' - это одна группа товаров, а class_ = 'hello' - это 2 группа товаров. если вписать по 1 варианту то нечего не находит, а если по 2 то находит всё, а для меня это лишнее ( При 2 варианте выбивает ошибку : 'title': item.find('a', class_='marginright5 link linkWithHash detailsLink').get_text(strip=True) AttributeError: 'NoneType' object has no attribute 'get_text' но с class_='marginright5' работает чётко ( Хотя делал по туториалу и раньше работало и по 1 варианту у автора видео (
@vinosserg
@vinosserg 3 жыл бұрын
class_ = ['hello', 'world']
@VladSkepa
@VladSkepa 3 жыл бұрын
@@vinosserg спасибо, попробую
@VladSkepa
@VladSkepa 3 жыл бұрын
@@vinosserg ​ Спасибо за подсказку, но не помогло, правда ошибка пропала, но нечего не находит теперь ( оригинальный класс с хтмл : class="marginright5 link linkWithHash detailsLink" как я попробовал : class_=['marginright5','link','linkWithHash','detailsLink'] как работает: class_='marginright5 если взять любое значение со средины, например : class_='linkWithHash' , то тоже не ищет (
@vinosserg
@vinosserg 3 жыл бұрын
@@VladSkepa попробуй так soup.select('div.A.B')
@VladSkepa
@VladSkepa 3 жыл бұрын
@@vinosserg если я верно понял то надо было написать так : item_title = soup.select('a.marginright5.link.linkWithHash.detailsLink').text.strip(). к сожалению ошибка ( AttributeError: ResultSet object has no attribute 'text'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?
@hogwood3002
@hogwood3002 3 жыл бұрын
пффффф, не все зарабатывают за 2 часа по 2к рублей:) И ведь этим можно и находясь на основной работе заниматься
@PythonToday
@PythonToday 3 жыл бұрын
О том и речь. Спасибо за фидбэк!
@hogwood3002
@hogwood3002 3 жыл бұрын
@@PythonToday проблема в том как начать выполнять эти заказы:))
@ЛобачевскийНиколай
@ЛобачевскийНиколай 3 жыл бұрын
@@hogwood3002 Бро, брать и делать. Я сам масленок, берусь за то что могу и делаю ) Самоучки недопрограммисты никому не нужны ) Шкрябаюсь как могу, время от времени делаю всякую мелочь на фрилансе чисто для портфолио )
@hogwood3002
@hogwood3002 3 жыл бұрын
@@ЛобачевскийНиколай ну окей взял и если не смог сделать?
@ЛобачевскийНиколай
@ЛобачевскийНиколай 3 жыл бұрын
@@hogwood3002 печатал 3км текста и комент удалили :(
@Eugene_Pashkov
@Eugene_Pashkov 3 жыл бұрын
Жду асинхрон
@PythonToday
@PythonToday 3 жыл бұрын
💪
@Никита-е3х6д
@Никита-е3х6д 3 жыл бұрын
Хочу асинхронные уроки
@PythonToday
@PythonToday 3 жыл бұрын
Благодарю за фидбэк!
@ОлегЧеркашин-ш7с
@ОлегЧеркашин-ш7с Жыл бұрын
все видео про парсинг однотипны(( сайты легкие, попробуй провести парнсинг например какого-нибудь сайта недвижимости , где чтоб отобразился номер нужно кликнуть на кнопку
@herypank3367
@herypank3367 3 жыл бұрын
Ты пишешь неплохой контент для новичков, но твой код довольно плох. Как миним использовать чистый except вообще не рекомендуется. Хотя возможно это простительно в парсерах.
@PythonToday
@PythonToday 3 жыл бұрын
Спасибо за фидбэк! Что бы ты написал? Посчитал, что Exception выводить мне нет смысла, т.к задача положить в значение переменной конкретный текст для записи в файл. raise логично, что тоже. Есть ещё варианты?
@herypank3367
@herypank3367 3 жыл бұрын
​@@PythonToday В целом в этой задаче возможно и except приемлем, так как это парсер, но вот если мы ловим все исключения, то не понимаем, что происходит. Может произойти ошибка которую мы не обработали, но могли бы. Представь, что где-то элемент был, а ты его не спарсил. Чтобы я сделал, я бы посмотрел где программа падает и по каким ошибкам, если эти ошибки не обработать, то я бы названия ошибок внес в except типа так except (Error1, Error2): ... # тут что-то делаешь Сам урл необходимо было бы разделять на params, представь тебе надо что-то менять в нем. Я просто смотрю на этот заказ, как на продукт которым будут и потом пользоваться. О себе мета инфа: Контент мне твой нравится и я хотел бы делать подобный, но пока не знаю стоит ли начинать. Программирую на питоне 2 года, из них 1.5 года на фрилансе и полгода в компании. Просто я пишу парсеры уже месяцев 6 и в офисе фулл тайм, так что немного разбираюсь.
@PythonToday
@PythonToday 3 жыл бұрын
Не совсем понял "Представь, что где-то элемент был, а ты его не спарсил." - так для того try и написан. Если не получилось забрать то, что мне нужно, в переменную записывается соответствующее значение. И задачи поймать конкретное исключение и обработать его не стоит. "Чтобы я сделал, я бы посмотрел где программа падает и по каким ошибкам, если эти ошибки не обработать, то я бы названия ошибок внес в except" - ещё раз, мне не важно какая ошибка возникает. Важно, что если нет данных, либо их не получилось забрать по заданному паттерну - записать соответствующее блоку значение в переменную. "Сам урл необходимо было бы разделять на params, представь тебе надо что-то менять в нем. Я просто смотрю на этот заказ, как на продукт которым будут и потом пользоваться." - Парсер пишется под конкретную задачу. Если бы задача стояла написать гибкий парсер, под разное наличие товаров, фильтры цены и разные типы книг. Данные были бы запрошены у пользователя при старте. "О себе мета инфа: Контент мне твой нравится и я хотел бы делать подобный, но пока не знаю стоит ли начинать. Программирую на питоне 2 года, из них 1.5 года на фрилансе и полгода в компании. Просто я пишу парсеры уже месяцев 6 и в офисе фулл тайм, так что немного разбираюсь." - Есть чем поделиться и есть желание - бери и делай. Если сомневаешься, точно не стоит браться. Запала хватит максимум на пару видео. Это хобби отнимает колоссальное количество времени.
@nikitabbrv5947
@nikitabbrv5947 3 жыл бұрын
"зарабатывают больше на заводе" -за 2 часа. Эмм, ну так на заводе вы одни и те же действия делаете и через лет 5 дай бог до начальника отдела вырастите) А написав несколько парсеров - уже апнешь скилл языка для дальнейших проектов за 5000 и 10000к или на фуллтайм работу)
@arhangelartur1
@arhangelartur1 3 жыл бұрын
Если писать одни лишь парсеры, никакой скилл кроме парсеров не апнешь :)
@АлександрШурыгин-з3о
@АлександрШурыгин-з3о Жыл бұрын
БлагоДарю!
БАБУШКА ШАРИТ #shorts
0:16
Паша Осадчий
Рет қаралды 4,1 МЛН
Я сделал 3D Танчики с Денди :3
12:09
Хауди Хо™ - Просто о мире IT!
Рет қаралды 2,5 МЛН