Лекция 1. Pandas. Открытый курс OpenDataScience по машинному обучению mlcourse.ai

For lectures in English, check out this playlist bit.ly/2zY6Xe2
Это видео совпадает с bit.ly/2pX0KJp, только звук улучшен (Denis Cera, Oleg Butko)
В 1 лекции мы обсудим курс и попрактикуемся в первичном анализе данных с помощью библиотеки Pandas.
Слайды - bit.ly/2ErP7DI
Сайт курса mlcourse.ai
О курсе на Хабре goo.gl/NDG9d2
1-ая тема на Хабре goo.gl/zCZSk2
Jupyter-notebooks в репозитории курса goo.gl/UNsGj5
Демо-версия задания bit.ly/3lWquDp
При организационной поддержке Mail.Ru Group.

[@Igor-sp7tw]

Спасибо огромное за курс

[@MsTanuffa]

Спасибо!!!! Курс огонь)

[@tonibalog]

Вводная часть заканчивается на 33:10

[@Alex-hh5oe]

Скорей начинается)

[@notyourangevil]

Спасибо

[@VentureMLops]

отличный курс!

[@festline]

Спасибо!

[@АндрейМиронов-п2н]

Огромное спасибо!!!!

[@doniyordjon_pro]

Значит, прогнозируя отток клиента в случае, когда число звонков в сервисный центр больше 3 и подключен роуминг (и прогнозируя лояльность - в противном случае), можно ожидать около 85.8% правильных попаданий (ошибаемся всего 464 + 9 раз). Эти 85.8%, которые мы получили с помощью очень простых рассуждений - это неплохая отправная точка (baseline) для дальнейших моделей машинного обучения, которые мы будем строить. а почему 464+9, немного не понял этот момент

[@festline]

см. табличку (confusion matrix) выше этой фразы habr.com/ru/company/ods/blog/322626/. 464 записи, где условие не выполняется, но отток все равно был (Churn = 1), 9 случаев - когда где условие выполняется, но Churn = 0.

[@doniyordjon_pro]

@@festline спасибо, прочел что значит confusion matrix и понял о чем речь)

[@cupcake8145ify]

Конец перерыва на 1:35:35

[@ВиталийСпиридонов-е8и]

Что-то я не особо понимаю Как можно приступить к решению задания с титаником и пр. Где файлы исходные брать.

[@festline]

Jupyter-ноутбуки - в репозитории курса, конкретно практика с титаником - тут github.com/Yorko/mlcourse.ai/tree/main/jupyter_russian/topic01_pandas_data_analysis. Можно скачать просто .ipynb файл, но лучше склонировать репозиторий и работать в нем. Если есть сложности с гит - вот хороший вводный тьюториал githowto.com/

[@ВиталийСпиридонов-е8и]

@@festline Благодарю

[@МаксимГолдобин-д9д]

Здравствуйте, а где-то есть разбор домашек?

[@festline]

Добрый день! На сайте курса mlcourse.ai/ - демо-задания с решениями. продвинутые домашки, тоже с решениями - за донат на Patreon или Boosty.

[@МаксимГолдобин-д9д]

@@festline Подскажите, как купить продвинутые домашки?

[@festline]

@@МаксимГолдобин-д9д на главной курса все сылки mlcourse.ai, из РФ проще всего на Бусти boosty.to/ods_mlcourse

[@НикитаЕрмолюгин]

Скажите, а где можно найти информацию по поводу индивидумального проекта? Не нашел в репозитории и в конце курса тоже

[@festline]

это было релевантно для "живых" запусков курса. Вот шаблон в репозитории tinyurl.com/yduabwjb, там же рядом выполненные проекты. Вот еще список тьюториалов и проектов, сделанных во время курса github.com/Yorko/mlcourse.ai/wiki/Individual-projects-and-tutorials-(in-Russian)

[@СергейПанченко-ь5н]

добрый день, у меня есть сильное ощущение своей тупости, обьясните пожта. как выполнить ДЗ, я перехожу по ссылке, там я попадаю в тетрадку, где мне предлагают внести код отвечая на каждый вопрос, но сами клетки для внесения кода не активны. как быть???

[@МаликКадиевНИЯУМИФИИЯФиТ]

Добрый день. У меня та же самая проблема. Буду очень благодарен если на этот вопрос ответят

[@festline]

Добрый день! Если речь про бонусные задания, то jupyter-book - это read-only формат. Чтоб редактировать, надо запустить jupyter-notebook, сделать копию ipynb-файла и ее уже редактировать. Можно пролистать вводную лекцию по Jupyter на русском, например, в нашем курсе квантового ML semyonsinchenko.github.io/qmlcourse/_build/html/book/pythonblock/python_l3.html

[@xxedric6811]

Доброго дня, Юрий! Хотел бы спросить у Вас, какие книги Вы бы точно посоветовали своим студентам для большего погружения в область?

[@festline]

Приветствую! Очень обширный вопрос. Смотря что более интересно - теория? практика? Какая именно область интересна? Тут же от аналитики до хардкорного ML engineering. Я не так много книг сам читал. Из похожего на мой кур посоветую "Machine Learning Simplified" Andrew Wolf. По теории классика - Bishop и Murphy, их все советуют, но я не видел человека, который хоть одну из этих книг реально прочитал.

[@xxedric6811]

@@festline Спасибо за ответ! Возможно Вы когда-нибудь сталкивались с хорошей практической литературой? Имею ввиду следующее: Наиболее популярные курсы и книги сейчас - это сборник теории, подкрепленный довольно простыми практическими задачками. Но реальность такова, что такие знания очень тяжело применять в работе без хорошего наставника, который поделится опытом. Встречали ли Вы курсы/литературу/научные работы, где автор делился бы опытом применения науки о данных к каким-либо большим и непростым проектам?

[@festline]

@@xxedric6811 нет, честно - не встречал. Бывают курсы с заточкой на реальные проекты, но книг подобных не видел

[@constantinegeist1854]

Т.е. Pandas это, получается, переизобрели Sqlite на корявых Питон-методах с помощью Numpy P.S. посмотрел бенчмарки -- Pandas и медленнее в 1.5 раза...

[@festline]

пандас - это намного больше, чем просто SQL. Но да, SQL - это важная его часть.

[@ВладиславГаджиханов]

Актуален ли курс сейчас?

[@festline]

Да, основы анализа данных и машинного обучения не так быстро устаревают.

[@kelavr8961]

@@festline а сейчас?)

[@festline]

@@kelavr8961 зелен как огурчик!

[@kelavr8961]

@@festline шикарно! Спасибо за труд!

[@RusFarFaz]

Этот курс полностью бесплатна и доступна? или есть какая-то закрытая и платная часть?

[@festline]

В текущем виде все доступно и бесплатно. Готовится расширенный набор домашних заданий - за скромный донат, около $10-$15, еще придумаю, как это устроить

[@solowawe]

Добрый день! Недавно нашел Ваш курс. Подскажите, почему при попытке скомпилировать в jupyter notebook появляется ошибка name data is not defined ?

[@festline]

Добрый день! по такому описанию непонятно. Вы пытаетесь выполнить "jupyterbook build ."?

[@solowawe]

@@festline Добрый день! А скачивать файлы не получится, да?

[@festline]

@@solowawe добрый день! А какие файлы не получается скачать?

[@solowawe]

Базы csv

[@festline]

@@solowawe можно пример? Иначе абстрактный вопрос выходит

[@МаксимНиколаевич-е6т]

в ДЗ 1 не получается разделить пол.(adult.data.csv) data[ 'sex' ] == 1 (Male пробовал вместо 1) выдает каждое значение False. К ак мне их разделить? спасибо

[@danilzarubin_tv9621]

pd.crosstab(data[data['sex'] == 'Male']['married'] , data['salary'], margins=True) married - добавленный признак, через lambda или как Вам удобнее

[@elenalevasheva3830]

Спасибо за полезный и интересный проект. А как скачать данные для урока? Если кто знает подскажите, пожалуйста, не могу найти

[@festline]

Спасибо! Данные можно найти в репозитории курса github.com/Yorko/mlcourse.ai

[@ЖанайдарКеттебеков]

А где можно скачать данные beauty?

[@festline]

Course repo github.com/Yorko/mlcourse.ai

[@АлександрЛобанов-щ2п]

на 1:10:00 ошибочка - female это женский пол, а не пол в целом. Поэтому признак должен называться ['sex'] с типом данных "male", "female", а не ['female'].А так за курс спасибо большое, контент и ресурс шикарны! Однозначно лайк!

[@alextim7126]

Это булевая переменная, и поэтому чтобы не путать что подразумевают под 1 а что под 0, называли так.

[@andreykomyagin5556]

+

[@Андрей-о2з7д]

Спасибо, курс хороший, но только по картинкам сложно смысл уловить. Звука то нет.

[@festline]

Включите у себя звук и не смешите людей

[@Андрей-о2з7д]

Yury Kashnitsky то громко, то тихо - это разве звук? Насилие над ушами какое-то...

[@festline]

@@Андрей-о2з7д C удовольствием примем ваше предложение на запись курса в студии с профессиональным оборудованием :) И не преувеличивайте - разобрать все можно. Если что, в более свежих лекциях на английском звук лучше

[@Олег-ж8м2з]

@@howtowebit8033 дурашка, это же запись лекции, а не видео-урок!

[@kuaranir2440]

Тебе блять что в поролоновой комнате надо было записать уроки?

[@dmitriidoronin2114]

Отличный курс, автору спасибо

[@elenalevasheva3830]

Спасибо за отличный курс.

[@mephistotel87]

А как вы так копируете части кода без выделения? Например на 1.40.15 вы скопировали код без return и я нигде не заметил использование мыши или выделение. Как?

[@festline]

сейчас тоже не понимаю, как я это сделал :) наверное просто выделение не отобразилось в трансляции

[@nikitainiciative356]

Здраствуйте, вопрос про слак канал. Есть ли ограничение по возрасту, а то я 4 дня жду ответа

[@festline]

Добрый день! Ограничений нет, заявки в течение недели рассматриваются.

[@nikitainiciative356]

@@festline Спасибо, жду

[@andreyhamma4767]

Почему нельзя объяснить как пользоваться средой разработки, потому что не могу понять как подключить файлы или фото свои ?

[@festline]

mlcourse.ai/prerequisites