Устраиваемся на работу | Выполняем тестовое задание на Junior Python разработчика | Парсинг

[@PythonToday]

Всем привет, контакты рекрутера в телеграм. Успехов и хорошего дня!

[@ОлегЧеркашин-ш7с]

это не рабочая почта, сообщение не доставлено

[@PythonToday]

@@ОлегЧеркашин-ш7с Здравствуйте, всё отлично работает, больше 100 откликов менее чем за сутки 😵‍💫 Если вы отправляете с .ru почты, не забывайте, что сервера protonmail заблокированы в России, возможно ваш почтовый сервес так же блокирует отправку. Например с gmail никаких проблем не возникает

[@deus7204]

Вроде всё понятно, но прям провалы периодически После просмотра возникает чувство собственной неполноценности :) Больше практики друг, большое спасибо за контетн, лучший канал в ру сегменте точно!

[@PythonToday]

Главное практика, всё будет) Спасибо за поддержку!

[@GamerGDS]

почти 1 в 1 такой же коммент был под другим видео где тоже выполнял ТЗ на позицию джуна, хммм, бот чтоли?)

[@yawneed]

09:12 на 34 строке. Если не будет ключа `'src'`, то метод `get` вернет None, дальше вы не сможете вызвать метод `get` у None. поэтому надо делать так item.get('src', {}).get('original')

[@PythonToday]

Большое спасибо!

[@Zer-st6qv]

Огромное спасибо за труды и практику! Сил и успехов в развитии)

[@PythonToday]

Благодарю за поддержку!

[@77ShamaicH77]

Учу пайтон . Вот недавно проходил JSON . Оказывается можно вызывать get несколько раз и так в одну строку раскрыть несколько вложенных словарей. Благодарю.

[@takiekakmi7532]

Прям ностальгия по первым шагам☺️ я б сделал через asyncio + async with (либо тредами раскидал (тут как раз бы небыло пересечение по зонам памяти)) и, все-же стоит печатать ответ от серва, чтобы понимать - тебя дропнул серв за количество запросов или просто по таймауту отвалился)

[@PythonToday]

Большое спасибо за фидбэк!

[@jerrykerry1]

Самый чёткий канал про python

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@medmaksik]

+

[@gaben_aTan]

Хорошо зайдет видео , если уже была практика с парсингом данных. Из всего , новое это прогресс бар, буду эту библиотеку использовать в следующих прогах. Спасибо автору за видео !!!!

[@ivanes0473]

Не реклама, промокод в описании)))

[@sdxfk]

Супер. К сожалению мануал устарел, сейчас pexels защищены cloudflare и данный пример не работает. Есть варианты обойти без селениума?

[@rrahll]

Спасибо, друг! Лучший канал) лучший ментор)

[@PythonToday]

Спасибо дружище!

[@Vladimir_F609]

Спасибо бро, за твои видосы!!! Они помогли мне вернуть мотивацию!!! 👍

[@PythonToday]

Рад что полезно и мотивирует, спасибо за фидбэк!

[@rrahll]

Спасибо за контент и обучение! Всегда годноту выпускаешь)

[@PythonToday]

Благодарю за поддержку!)

[@pungushe]

Спасибо большое. Я очень давно смотрю тебя и мне нравится твои видео. Удачи во всем😊

[@PythonToday]

Большое спасибо за поддержку! Взаимно!

[@СергейРозанов-ш9н]

Если я только начинаю изучать python и понимаю из этого видео только if и for это нормально?

[@OasisWordLessons]

Как всегда очень полезная информация, будет интересно увидеть продолжение и для видео.

[@megabait_]

можно парсинг кинопоиска? срочно нужно, почему-то не парсит фильмы

[@АвенирПрокопенко]

Давай больше таких видео

[@Ma_X64]

Меня всегда интересовало, где находится верхнее подчёркивание.

[@seoonlyRU]

СЕООНЛИ - кодер легенда, ставит лайк!

[@antonyincognito1256]

Выглядит сложно))) но чем сложенные тем становится ещё интереснее)) спасибо за видео👍

[@PythonToday]

Главное практика, всё проще чем кажется! Большое спасибо за фидбэк!

[@guavka_dev]

Это вообще не сложно, тут даже никакой структуры кода нет, чисто первые 4 урока по пайтону + знание какие библиотеки нужно брать

[@mralexxp3278]

​@@guavka_dev новичкам кажется сложным потому, что они думают, что он сразу из головы этот код транслирует в идешку.

[@guavka_dev]

@@mralexxp3278 та понятно, для людей не в теме it вообще магия какая-то

[@vigauss1889]

Как всегда лайк, очень годный контент, полный практики и прекрасной подачи. На видео все просто. интересно сколько времени ушло на такое тестовое) Спасибо за труд мужик!

[@PythonToday]

Большое спасибо за фидбэк и поддержку!

[@СеменКопачевский]

Ребзя. Есть конструктор сайтов, где курсы имеют свои номера Вот зашли на нужный курс. Нажали ПКМ в хроме, внизу "Посмотреть код". Появляется справа окно, где все элементы данной страницы с инф-й. Пишем парсер, пытаясь взять этот код, но приходит код, который содержится в Network => "код курса => Response. Вот вопрос, как выйти на тот код, который в "Посмотреть код". Не пойму куда копать, что искать, чтобы взять нужный код.

[@ELEKTRODMAN]

Норм контент. Какой у вас стаж в програмировании на питоне?

[@PythonToday]

Спасибо за фидбэк. Года 3, но это моё хобби

[@кремик-р2ю]

а как ты использовал функцию до начала ее создания? сначала использовал => потом объявил, как не вышло ошибки?

[@EvilLolaBunny]

Было бы интересно увидеть парсинг яндекс карт/2 гис

[@andreyruban4554]

Привет) спасибо за видео - поставил напоминалки на все = очень хорошо разбираешь и объясняешь. И есть вопрос - есть где разбираешь ООП в python? что то не нашел на канале. Спасибо

[@PythonToday]

Приветствую, благодарю за филдбэк! Нет, курса по ооп на канале пока нет

[@3aKODuPoBaH]

Где найти такой заказ? Как называется сервис?

[@Bruno-mv3zz]

это для джуна???

[@serikzhanmukhametalin5765]

как вы вызвали функцию до ее обьявления когда скачивали фотографии?

[@СергейМартышов-с5й]

Крутой канал! автору спасибо большое за контент. По поводу Яндекс Практикума - никому не советую, цена завышена очень сильно, тренажер имеет большое количество багов, материал курса легко гуглится/смотрится на ютубе, по всем возникающим сложностям вы будете гуглить, вероятность, что вам помогут "наставники" крайне мала. Единственный плюс курса - ревьюеры, которые проверяют ваши работы и дают реально ценные советы. Курс очень сильно растянут по времени, вероятно для того, чтобы зарядить ценник побольше.

[@PythonToday]

Благодарю за фидбэк!

[@ОлегШевелев-й1ь]

Вам предложили бесплатный курс по питону. Там платить не надо.

[@MegaTraxxas]

@@ОлегШевелев-й1ь Нет, бесплатный там только пробный фрагмент, потом платно

[@MoraLP]

Не реклама! ... Ссылка и промокод в описании:)

[@БакытУмешов-ъ5ч]

Спасибо тебе

[@OlegDenysenko-dc9fb]

Scraping video is also interesting.

[@zxchain]

Можно в разы увеличить скорость используя grequests, вместо обычного requests в цикле.

[@PythonToday]

Поверю на слово, нужно как как нибудь попробовать данную библиотеку, а то уже несколько раз писали. Спасибо за фидбэк!

[@zxchain]

@@PythonToday Обязательно попробуйте, чем больше запросов, тем сильнее выигрыш по скорости выполнения. Асинхронщина тут решает 😉

[@ОлегШевелев-й1ь]

классный контент! Спасибо! Кем работаешь сейчас и почему до сих пор Джуниор?

[@PythonToday]

Большое спасибо за фидбэк, сейчас в нескольких компаниях на удаленке, преимущественно бэкенд и скрапинг. Хз почему джун, до сих пор считаю что знаю недостаточно

[@ErgoFrosty]

Подача не плоха, но есть много нюансов, которые хотелось бы подметить в коде. Это не душка автора, а просто для того, чтобы те, кто вдохновляется на изучение и собирается двигаться дальше не писали плохой код. 1) Метод scrap_pexels назван некорректно, название не отображает его работу. 2) сохранение в файл - для этого отдельный метод 3) либа requests не особо хороша для асинхрона, который был бы здесь кстати. Лучше использовать httpx 4) в аргумент url для requests лучше использовать либу urljoin 5) нет докстрингов и нет аннотации типов очевидных, хоть и указано [] 6) в методе download_images не нужен else, надо было if not response == 200: print ("Error"), а потом просто выполнение кода. Это более очевидное. 7) метод scrap_pexels надо разбить на еще 2 метода, как минимум. 1-ый собирает данные, второй будет выполнять оставшееся с if-else. 8) добавление к п.7 при разбиении методов появятся return, соответственно что они возвращают надо описать В целом всё, это мелочи, но когда вернётесь к этому коду через пару недель то будете вспоминать как он работает. А так всё будет легче и понятно в дальнейшем. Автор, если не сложно попробуй выпустить видео с хорошим кодом в скрипте. Удачи в развитии канала!

[@TheMorpheios]

Я бы цикл page с двух запустил, первый то у нас уже есть, можно сразу положить в массив.

[@iklintsov]

tqdm зачетная библиотека. Не знал о ней.

[@PythonToday]

Надеюсь будет полезно!

[@kitaecdays5699]

авансом лайк)

[@Frensski]

Яндекс Практикум я уже проходил кстати)

[@АндрейМакаров-у6ч]

Прошу помощи, выполнял всё по инструкции на при запуске начинает ругаться на ine 19, in scrap_pexels return f'Ошибка: Статус код - {response.status_code}, {response.json()}' ^^^^^^^^^^^^^^^ raise RequestsJSONDecodeError(e.msg, e.doc, e.pos) requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0) посоветуйте пожалуйста как это можно вылечить, заранее спасибо

[@PythonToday]

Для начала распечатается результат в терминал и посмотрите, что вы вообще получаете в ответе. Возможно там нет данных

[@tvoyprince]

Ну это лайк )))0

[@vater122]

А вот за tqdm отдельное спасибо.

[@nameless8385]

А у меня вопрос (считаю это то место, где помогут макс быстро). Есть скрипт, который условно генерирует фразы, затем ищет эти фразы в подключаемом файле txt. В этом файле 30+млн строк, в каждой строке 1 фраза, весит он 1ГБ. При запуске питон начинает кушать до 4.3ГБ RAM, но почему то минут через 10-15 падает до 3.8-4ГБ, а по прошествии примерно часа начинает потреблять всего 1ГБ оперативки. И это значение уже не изменяется. Если перезапускать или запускать копию, все то же самое. Почитал про кэширование и очистку RAM самим питоном, но толком не понял, он сам каким то образом кэширует или почему так происходить, что расход памяти уменьшается со временем?

[@stoparb357]

очистка мусора?

[@nameless8385]

@@stoparb357 не знаю, а какого мусора? Есть (очистка) высвобождение блоков, когда скрипт, занятую ранее оперу отдает системе, если эти блоки кэшированы и больше не используются. Но разве это происходит автоматически? Никакого кэширования вручную в скрипте не прописано

[@nameless8385]

@@stoparb357 ну да, нашел такое понятие как "сбор мусора", но подразумевается то, что питон сам выделяет память под сценарий, а затем освобождает ее, если какой то объект больше не используется. Но ведь у меня один тестовый файл, что там может не использоваться? Или другой вариант: он берет память с запасом, а лишнее потом освобождает. Не знаю, точного ответа пока что не нашел

[@Vladimir_F609]

@@nameless8385 скорее всего, да, "garbage collector"

[@ookhands3843]

Кста... это же вроде кейс для много-поточности? Да?

[@SeriesWOT]

Новая подача рекламы ) прикольно

[@hoopengo2289]

Не реклама!!! ссылка на сервис и промокод в описании...

[@qu1k127]

WAPT сдал ?)

[@wuzimo]

недавно, менеджер закинул заказ, спарсить 1 страницу яндекс услуг, пробовал через юзер айджент, сохранение куки, селениум, все упирается в капчу, кто знает или догадывается как можно решить эту задачу?

[@FalseHuman]

Используй для этого Selenium + профиль Chrome, то есть логика такова сначала авторизуйся при помощи Selenium на услугах авторизационная инфа сохранится будет в этом профиле и потом запускай парсер с этим профилем и все, профит

[@rusik-pusik]

обходить капчу, есть сервисы для этого

[@B-S-A]

Попробуйте undetected_chromedriver

[@vasapupkinsolo]

учу питон но нехватает практики, хочу спросить как лучше практиковаться???

[@PythonToday]

Странный вопрос, брать задачу и практиковаться ежедневно

[@Frensski]

На степике

[@imfiwile8995]

LeetCode/CodeWars/Заказы на биржах

[@enot_m8142]

@@imfiwile8995заказы особенно хорошо, для ученика😂😂😂😂😂😂😂😂😂😂😂😂😂😂а остальные норм сайты, там практика нормальная.

[@bjj1423]

Вобще я ничего не понимаю))) вроде прошёл на степике кус для начинающих с отличием и продвинутый прошёл наполовину). Щас изучаю джанго. Но всеравно не понимаю😂

[@mralexxp3278]

На степике хороший курс, но к реальным задачам имеет слабое отношение. 90% курса занимаешься математикой. Потому после степика сложно смотреть на такие видео. Мне более менее понятно за счёт того, что после начального курса уже писал программы для себя, потому с опытом самостоятельного использования понял, что если не занимаешься аналитикой и не создаёшь игры, то курс степика лучше проходить после того, как уже поймёшь, что тебе нужен жёсткий матан. В остальном, там учат только основам, а их можно выучить на практике даже на Ютубе. А ещё лучше придумать себе несколько сложных проектов и после изучения синтаксиса - идти и делать их с помощью Гугла, параллельно конспектируя свои решения и части кода. Ты так и руку набьешь, и с библиотеками работать начнёшь, и научишься сразу общаться с другими серверами. А если твой проект будет построен на микросервисах, то будешь уже иметь достаточную компетенцию и хорошую работу в портфолио, чтобы идти на Джуна.

[@bjj1423]

@@mralexxp3278 спасибо

[@rudeusvaster4787]

ничего не понял, но было интересно))))

[@PythonToday]

Несколько лет живу с этим чувством)

[@rdgygensgah4715]

Пожалуйста сеньор оставляйте название трека в описании к вашим видео , есть люди которые смотрят потому что музыка(((***

[@albakiev]

слишком сложный код, потом читать не затрудняетесь?

[@dssd8388]

Да где такие лёгкие тестовые задания для Джунов, я не понимаю

[@PythonToday]

Данная вакансия была на hh долгое время

[@asg5511]

Ролик отличный! Музыка раньше лучше была, эта как то напрягает.

[@PythonToday]

Большое спасибо за фидбэк и поддержку! За музыку обидно :(

[@PTT1-te8pz]

Очень интересно,но ничего не понятно!)

[@SoyRen_37]

ничего не имею против рекламы. При этом говорить "это не реклама" считаю так скажем не этичным. 3 рекламных интеграции на 12ти минутный ролик даже ВК себе не позволяет

[@АлексейИванов-ч3ы6к]

Ищете питонистов писать парсеры фоточек котиков? Ну удачи) Тут либо интересная задача, либо рабочая схема заработка, либо получаете ленивого вкатыша и идёте лесом. Такие дела.

[@3699-y8l]

Благо...

[@alexchto]

Парсить в синк не лучшая идея

[@jamjam3337]

👏👍

[@p.h.i.l.9]

Почта рекрутера недействительна

[@PythonToday]

Всё прекрасно работает, читайте комментарии в закрепе

[@p.h.i.l.9]

@@PythonToday м, окей. Сейчас с другой почты отправлю. Спасибо

[@mlnbtcdollar]

Будет полезно чтобі создать сайт и не светить своими айпиадресами и данными особенно если ты криптобарон и владеешь ботнетом)

[@d1sh1x]

Почему не сварить суп? Разве это не проще

[@PythonToday]

Проще чем работа с апи? :/

[@elkins87]

Мда. Называется "совсем не сложно". очень смешно

[@happer2009]

junior...

[@даниилпавленко-ъ2з]

Вы хоть работодателю сказали что вы не джун? А то иначе круто подняли планку всем джуниорам... Разве всё это должен понимать джун? Мне чёт кажется что такие знания на уровне крепкого мидла

[@PythonToday]

Джун должен знать и понимать более. На видео не так много показано. Себя считаю джуном(

[@ОлегНасыров-б7я]

Я за 12 часов зарабатываю столько, сколько ты, скажем подрабатываешь за 4 часа работы по 15$ за час 🥲🥲🥲🥲😭😭😭😭😭😭😭

[@PythonToday]

Никогда не поздно учиться и менять профессию! Главное чтобы нравилось чем занимаешься и всё получится!

[@СвятойюношаМарк]

Зачем реклама этого Яндекса))) там ничего нет))) ни чему там не учат. Обычный текст с обычным смыслом. А практики ноль

[@romanmedyanik1268]

Лол

[@ShudJsjene-eh7rw]

Первый

[@DreamingDolphing]

У тебя парсинг головного мозга, раз ты не знал, что у популярных иностранных сервисов есть доступный API.

[@PythonToday]

ок

[@scar7948]

Recwesco in pache