Pandas - разбор всех основных возможностей на реальном датасете

🔥 Telegram t.me/ershov_diary
🔥 Индивидуальная программа по обучению data science под вашу цель с моей менторской поддержкой до результата:
ershov.io/dsprogram?...
Тут я рассказываю почему я создал эту программу, для кого она подходит и в чем ее преимущества:
• Video
🔥 Мой Telegram канал о Data science: t.me/ershovds
🔥 Поддержать канал: / @alexanderershov
Ссылка на код:
github.com/ershovio/youtube_t...
📖 Контакты
Instagram: / ershovio
Twitter: / ershovio
Facebook: / ershovio
LinkedIn: / ershovio
GitHub: github.com/ershovio
⏰ Таймкоды:
0:00 Введение
1:17 Создание датафрейма (DataFrame)
3:49 Экспорт датафрейма
4:38 Первичный анализ датафрейма
6:17 Одномерные данные / Series
7:18 Фильтрация по строкам (rows) и столбцам (columns)
14:43 Сортировка данных
16:20 Объединение датафреймов с помощью concat и merge
21:40 Аналитические функции (describe, mean и т.д.)
23:31 Группировка данных с помощью group by
26:12 Подсчет корреляции
26:33 Визуализация данных с помощью функции plot (matplotlib)
28:47 Изменение данных в Series и DataFrame
#ershovds
alexander ershov,александр ершов,pandas,pandas туториал,pandas для анализа данных,анализ данных,пандас,машинное обучение,аналитик данных,аналитик данных с нуля,аналитик данных профессия,pandas с нуля,pandas dataframe,pandas series,pandas series tutorial,pandas merge,pandas join,pandas group by,pandas groupby,python pandas,python pandas tutorial,pandas обучение,визуализация данных и машинное обучение:,визуализация данных,визуализация данных python

[@user-ze1jo3ln5k]

Александр, прекрасная работа! Спасибо! Всё понятно и полезно!

[@andreychayka4018]

Отлично получилось рассказать об основных моментах четко и сжато. Супер. Еще было бы здорово выложить под видео ссылку на ноутбук с представленным материалом.

[@sofiasmith4659]

Спасибо! Всё очень понятно и наглядно, очень нравится ваш способ просто объяснять!

[@user-it2hg6po5z]

Благодарю Вас, Александр! Очень полезный, понятный курс!

[@inthedark122]

Спасибо за краткую выжимку, довольно полезно для начинающих

[@alcomadness]

Самое лучшее, что есть про Pandas в российском KZbin. Спасибо вам!

[@kirillmelnikov1700]

Обалденное видео, просто раскрыли глаза, всё очень понятно, спасибо за ваш труд ! И кстати видос этой либы совместно с NumPy было бы очень полезно))

[@faritr9988]

Отлично прошёлся по базе. Большое спасибо!

[@svetlanapopova5012]

Спасибо огромное! пересмотрела кучу видео но только вы объясняете понятным для не экспертов языком.

[@alexkochevnicke5122]

Очень хорошая работа. Всё понятно, интересно и увлекательно. Благодарю. Присоеденюсь к просьбе сделать лекцию по numpy.

[@PetrovMaxim3dmarks]

Отличное видео, очень полезно на первых порах. Спасибо!

[@user-xs4ly2cw8e]

Очень классно видео, все просто, наглядно и без воды!

[@oldzas]

Отличная грамотная речь, приятно слушать

[@kssmss1240]

Спасибо! Лучшее видео по теме библиотеки Pandas!!!!!

[@NIKERRUS]

Спасибо, отличный материал! Интересно посмотреть от вас про numpy)

[@AlexanderErshov]

Постараюсь снять)

[@sergg2711]

@@AlexanderErshov а что означает такая конструкция df[df['Age'] == (5|1)]?

[@user-rn9jx7gt7r]

Спасибо) Класс, доходчиво

[@user-kw6sb1rt5b]

Оч круто. Нужно еще пару разков прослушать ❤

[@MI-fd9es]

Спасибо, отличный урок!

[@user-xy7sf6il5w]

Отличное видео, все понятно объясняете, спасибо!!!

[@user-cw2pt5dd7q]

Очень круто! Добавил в закладки

[@donfedor007]

Спасибо ! Хороший ролик!

[@user-hk2rk5yh9f]

Спасибо за видео! очень емко, но все понятно.

[@maksbelov2155]

Классное видео, спасибо больше. Очень помогло.

[@alexeyishkov2236]

Спасибо! Очень эффективное повествование!

[@user-bw2uc6pw5y]

Нашел книги по Pandas - Б.Пасхавера, А.Груздева и Хейдта, под 1000 страниц каждая, читал, вникал и вдруг наткнулся на это 35-минутное видео с блокнотами из колаба!!! За 35 минут так охватить тему! Александр, слов нет, здорово! Спасибо!!!!!

[@RUSn9]

Благодарю, отличное видео.

[@vladsol-wb7kg]

Спасибо, очень доходчиво объяснено

[@SamirHabib]

Спасибо большое, очень полезное видео. Многое узнал за полчаса. Привет из Баку!

[@sanjarsanjarov4262]

Замечательное видео! Автор благодарю!

[@photo_graf_khv]

Отлично подан материал👍

[@erasylzhumadilov4359]

все просто и понятно, спасибо

[@user-iv5hw8rm8x]

Не человек, а глыба! Уважение автору!

[@user-fo2lh9he2e]

Видео - топ! Спасибо! Для тех кто знает SQL и хочет Pandas изучить идеально подойдет.

[@Go_ny]

Бро, просто имба, выручил

[@Alex-yx2ye]

Спасибо за инфу и код

[@user-ed1hy3by5p]

Реально лучшее вводное видео по пандасу! Лайк со всех моих гугловских учёток.

[@cyberpwn4332]

Очень годный видос для новичков, единственное есть замечание по df.shape и df.columns. Это не функции а параметры объекта, и потом в случае классов и объектов правильнее говорить не функции а методы, хотя суть конечно одна и та же. В любом случае пожелаю вам удачи в развитии канала, с меня лайк и подписка

[@user-qy5oz9zd6f]

Очень содержательно. Только изображение лучше разворачивать на весь экран

[@informatikavaxti7512]

Cпасибо! А как можно изменить ряд колонн на дф или удалить их?

[@user-dg1wo8hs7e]

Мне понравилось лаконичность, и подача. Все понятно. Можно использовать как справочник. Я сейчас прохожу курс по DC, так там на все это ушло три недели. Хотя там практики тоже много. Но видео мне будет в помощь, не раз еще пересмотрю. Автору Респект!

[@user-go1cm3bi7g]

Не Яндекс Практикум ли? :)

[@ilia_meysak]

Спасибо!

[@lazyknight8106]

А как выводить информацию как у Вас (красивая табличка)? у меня какая-то неструктурированная ерунда на выходе

[@gorbatchev41]

Александр, как вы скопировали путь к файлу csv в аргумент в начале видео?

[@user-dt2ub9no2z]

Скоро зима, скоро зима, пароноя. Этот мчк просто находка тем кто смотрит за горизонт, для меня пока на лету, надо готовиться к зиме. У нас 10 месяцев зимы, остальное все лето.

[@user-tz1sf2qr6d]

Спасибо!!

[@mariascofa]

спасибо!

[@_tiredofidiocy_]

Если у меня получится с кикстарта с этого видоса один из своих алгоритмов из Mathcad воплотить на пандах то моей благодарочке не будет предела. Для начала услышал csv, уже хорошо, с этого начинаются все мои алгоритмы)

[@Dmitrii-Zhinzhilov]

Благодарю! Я полный новичок в Pandas, перепечатывал код, всё получилось, разобрался, понял. Отличное идеальное изложение! 👍💯🔥 (подписка на канал +1, лайк по умолчанию)

[@Dmitrii-Zhinzhilov]

подписка на канал +1, лайк по умолчанию

[@kab333]

Всем привет. Проблема есть, в общем данные с екселя импортирую в таблицу (oracle), при чтении (read_excel) ошибка выходит UnicodeEncodeError, конкретно ругается на казахскую букву қ. Добавлял параметр encoding='utf-8' в read_excel и with open не помогло. Как это решить, помогите пжл?

[@p.4017]

Хороший урок! Но вопрос, а как создать новый столбец где будет писаться например возраст от 0-18 дети, 18-35 молодёжь и тд? Просто все я смотрю либо булевые значения, либо вообще никак не говорят, хотя знать интересно)

[@photo_graf_khv]

Отличный материал!

[@jrdipper9616]

хуичный

[@rassulkz4486]

Александр, программа обучения уже не работает? Спасибо за видео

[@user-os4ud5vs5n]

Круто! Спасибо за видео!

[@worldtech2770]

Спасибо! подскажите пожалуйста, как сделать так что бы в pandas отображались оригинальные числа которые я открыл с файла .csv добавляются лишние 0 и в некоторых столбцах не на том месте точка стоит. Вот оригинал строки: 82; 1; 40.79326147; 354064; 0.1637; 5.12; 5000000000 Вот что показывает pandas: 82 1.000000 40.793261 3.540640e+05 0.16370 1 5.120000 5.000000e+09

[@melodic_tech_house]

Подскажите почему в pysharm гистограмма не отображается в виде картинки¿? Только данные AxesSubplot() может в ps нет такой опции?

[@nataliepodgainova6582]

А если в столбце есть имя и фамилия, как можно сделать выборку только по имени? Имя идёт первым

[@23fire23]

На 5:50 разве shape и columns это функции?) Это же атрибуты класса)

[@AlexanderErshov]

да, ты прав, неправильно выразился

[@miladiter9830]

если я знаю всё то что Вы рассказали в этом ролике - мой уровень Пандас можно определить как 1 из 10 или на этом этапе 0? :)

[@user-lh6xe3zi1t]

👍👍👍 + подписался!

[@user-sg9dd7zz1w]

вы супер

[@user-lh6xe3zi1t]

👍👍👍

[@VlasTrunov]

@Alexander Ershov, я вижу, что среди источников есть SQL. А зачем бы я использовал pandas, когда все практически те же функции я могу использовать в самом postgreSQL? Я, кстати, не в курсе, может ли pandas парсить так же, как и pg, строки jsonb. Иными словами, поясни, пожалуйста, когда pandas нужен и когда не нужен. Спасибо за видос.

[@AlexanderErshov]

Pandas позволяет делать в том числе и визуализацию, ну а так - да многое можно сделать и в sql

[@Yelemessi16]

Полезное видео, спасибо

[@vogor7]

Потрясающий материал! Я прохожу курс онлайн (не у вас), и там половина курса примерно - вот это получасовое видео =) Очень круто, увидел новые фишки (для себя), например обращение по loc и iloc, до этого их не очень понимал. Также понял, что plot - очень простой инструмент в обращении (поначалу по крайней мере). И очень наглядный материал, всё же Титаник - легенда =) НАчинаешь уже сам ковыряться в этом. Спасибо огромное!

[@AlexanderErshov]

Спасибо, у меня если что не онлайн курс, а именно индивидуальная программа с менторской поддержкой

[@vogor7]

@@AlexanderErshov , сорри, неточность.

[@SP-cd8be]

@@AlexanderErshov поддерживаю человека, во многих моментах это редкий по понятности в ру-сегменте видос по пандас не только в плане объема, но и донесения информации.

[@alexanderkoretskiy5260]

А что за онлайн курс?

[@vogor7]

@@alexanderkoretskiy5260 Udemy, Data Science

[@andreyo.945]

Большое спасибо!

[@user-rh1vi6cd2z]

круто

[@user-gd9ki4mp4t]

Хотел бы спросить. Если я повторяю Ваши действия в IDLE в интерактивной сессии с открытием файла по Титанику в df, а затем записываю с помощью метода to_csv, то почему-то при открытии с помощью Excel у меня каждая строка (в т. ч. заголовки) записываются в одну клетку первого столбца вместо красивых строк и заголовков. Что может быть не так?

[@sagatdk2843]

csv файл в exel открывайте через "Данные - получить данные - из текстового файла/csv файла". это нужно сделать в новой таблице

[@user-gd9ki4mp4t]

Спасибо, попробую

[@Sergiypsm]

А что за браузер такой? Как-то прикольно выглядит юпитер

[@kairatalmenov9558]

ДД. помогите плз, что-то я запнулся в самом начале, не смог прочитать с Excel. пишу так df=pd.read_csv('C://Users/locadm/Desktop/sber.csv') но выходит ошибка. не могу разораться как нужно указывать путь к файлу Excel чтоб его открыть?

[@osukewa7687]

надо слэши поменять на обратные слэши

[@markblack9378]

а как он так jupyter настроил, мб вкурсе кто как включить меню слева, а курс реально лучший просто слов нету, как все понятно.

[@murasakir1n448]

Извините, а эта библиотека нужна для дата инженера или другая? Просто все видео о том, что эта библиотека используется для аналитики и нигде не видел, чтобы говорили о том, что она используется для инженерии данных

[@ekaterinapetrik1008]

Реально, то что надо

[@dGDeika]

very good nice

[@RManar7]

То что надо!Лайк) p.s. первый)

[@grafist025111]

пилите ышшо, в рунете слишком мало подобного!

[@rumvitrumvit8055]

А что это за среда разработки? Кажется удобной.

[@user-cd7bk5xn7w]

вряд ли вопрос ещё актуален, но отвечу для тех, кого заинтересует в комментариях среда разработки называется Jupyter Notebook

[@GunaevVO]

Народ pandas установлен но выводит ошибку import pandas as pd ModuleNotFoundError: No module named 'pandas' у кого такая же проблемы была? питон стоит версии 3.9

[@user-ul3on9fi8b]

Возможно не на тот Python установлен модуль. pip freeze покажет вам все установленные модули Попробуйте pip3 install pandas

[@user-yg8xm6oq5q]

Александр Вы на высоте!, может подскажете ( Ваше мнение авторитетно), с помощью какой программы создать активный дашборд? Мы работаем в сфере экологии и нам никто не может объяснить!

[@AlexanderErshov]

Можете посмотреть это www.tableau.com/learn/get-started/dashboards

[@A.M.8181]

Можно узнать, а почему не power bi?

[@MrHeavy-po2or]

спасибо за обзор

[@user-zl3rb8rr3t]

Шикарно

[@user-ex7px3np4y]

Тысяча лайков

[@MisterDraiman]

пользователи Титаника одобряют

[@iiavuk631]

Пожалуйста, прочитайте, что такое функция, чтобы каждую язву функцией не обзывать.

[@hinomuratomisaburo4901]

Крутой контент ващпе 😃😃😃👍👍👍👍👍👍👍👍👍👍👍👍👍👍

[@rz799]

как скачивать ноутбук с github? если сохранить по ссылке, то при открытии в JN выдает ошибку.

[@AlexanderErshov]

Клонировать себе весь проект

[@rz799]

@@AlexanderErshov как это сделать? подскажи пожалуйста, обычный csv даже скачать не получается, точнее открыть потом у себя на компе

[@AlexanderErshov]

@@rz799 git clone github.com/ershovio/youtube_tutorials.git

[@vliafto2829]

Все отлично. Но я бы увеличил масштаб написания кода для слабовидящих людей. То что самое важное - происходит на площади 1 кв. см. самого экрана. Если бы не звук, закрыл бы видос.

[@lazyknight8106]

3:20, необязательно, можно не дописывать .from_dict

[@spectorone7429]

А как в этой же задаче решить следующее: 1)Подсчитать долю выживших среди тех, у кого было несколько кают. 2)Найти выжившую девушку в возрасте от 18 до 25 (включительно) у которой был самый дешевый билет. Никак не могу допереть.

[@ingmarvanchikoff7199]

Забыл, что она должна выжить. Правильно будет так: df[(df['Survived']==1) & (df['Sex']=='female') & ((df['Age']>=18) & (df['Age']

[@sviteribuben7245]

хммм. .notna() удобно. Решал иначе данную фильтрацию.

[@user-hd8oy9xp8m]

Зачем нужен pandas если есть. Excel?

[@AlexanderErshov]

зачем нужен excel если есть pandas ?)

[@user-hd8oy9xp8m]

@@AlexanderErshov не знаю, вот хотел узнать

[@bolatu8273]

Лайфхак: на скорости 1,5 тоже всё понятно :)

[@dobroubro]

зачем дергается картинка то ? чтобы раздражать ? не буду смотреть сразу

[@nickolaytelelichcko7203]

В избранное.

[@evgeniyagorovaya8075]

Невозможно слушать… местечковые объяснения, «каннект»… пока-пока

[@user-ec8qx6vo9b]

Код не работает. Пишет Error tokenizing data... Expected 1 fields ..... и.т.д

[@user-lk1dl3kz6t]

Почему df.groupby('Sex')['Age'].plot(kind='kde') и sns.displot(data=df, x='Age', kind='kde', hue='Sex') выдают разные графики?

[@mikenerovnya3524]

Потому что при отрисовке у них разные стандартные параметры пропускной способности (Погуглите как присваивать вручную и поиграйте со значениями.

[@C0n3]

"будем мёгджить ", не проше говрить "объеденять"