001. Вводная лекция - К.В. Воронцов

Курс "Машинное обучение" является одним из основных курсов Школы, поэтому он является обязательным для всех студентов ШАД.
Лектор: Константин Вячеславович Воронцов, старший научный сотрудник Вычислительного центра РАН. Заместитель директора по науке ЗАО "Форексис". Заместитель заведующего кафедрой «Интеллектуальные системы» ФУПМ МФТИ. Доцент кафедры "Математические методы прогнозирования" ВМиК МГУ. Эксперт компании "Яндекс". Доктор физико-математических наук.
Программу курса можно посмотреть по ссылке: shad.yandex.ru/program/machine...

[@springmirror1]

Прошёл несколько курсов на курсере и степике, и хочу сказать, что краткость и выразительность математического описания всех явлений в этой лекции просто потрясающая! После всех возможных словесных построений, которые я уже успел в себя загрузить, так приятно услышать исчерпывающую и максимально строгую постановку задачи.Надоели болтуны и продажники. Учёные спасут мир))) Спасибо вам за эти материалы и за труд!

[@assilsigma7359]

0:00 Спасибо, что пришли. Меня зовут Воронцов Константин Вячеславович 1:10 Что в вводной лекции (много примеров, немного методологии) 2:12 Машинное обучение - это наука о том, как проводить функцию через точки *Основные понятия и обозначения* 3:30 Задача обучения по прецедентам 5:40 Объекты и признаки (бинарный, номинальный, порядковый, количественный признаки) 8:20 Ответы и типы задач (классификация, регрессия, ранжирование) 11:00 Пример: задача классификации цветков ириса (Фишер, 1936) 13:18 Модели алгоритмов 15:55 Пример: задача регрессии, модельные данные 19:23 Метод обучения 20:20 Этап обучения 21:12 Этап применения 22:58 Функционалы качества (функции потерь для задач классификации, регрессии, эмпирический риск) 26:20 Сведение задачи обучения к задаче оптимизации (метод минимизации эмпирического риска, проблема обобщающей способности) 27:34 Проблема переобучения 31:05 Пример переобучения (функция Рунге) 36:32 Формализация понятия «обобщающая способность» (hold-out, cross-validation, теоретическая оценка ожидаемой потери, вероятности переобучения) 41:25 Переобучение: подытожим 43:28 *Примеры прикладных задач* 44:32 Задачи медицинской диагностики 47:28 Пример переобучения: задача предсказании отдаленного результата хирургического лечения атеросклероза 49:10 Задача кредитного скоринга (дать кредит или нет, классификация) 52:06 Задача предсказания оттока клиентов (классификация) 55:02 Задача категоризации текстовых документов (в какую папку положить новость, классификация) 56:56 Задача прогнозирования стоимости недвижимости (регрессия) 58:36 Задача прогнозирования объемов продаж (регрессия) 1:03:43 Задача ранжирования поисковой задачи от Яндекса *Методология машинного обучения* 1:07:50 Эксперименты на реальных данных 1:17:35 Эксперименты на модельных данных (известна истинная у(х)) 1:20:39 Место машинного обучения в бизнес-процессе (CRISP-DM: CRoss Industry Standart Process for Data Mining)

[@anastasiakuznetsova5118]

Очень понравилось изложение материала и сам лектор приятное впечатление производит. Не раздражает, как другие молодые "специалисты"

[@ivanturkin9338]

Спасибо за хорошо изложенный материал!

[@HDDimon]

спасибо огромное!

[@altstnl]

Почитал некоторые комментарии под видео и возник такой вопрос к их авторам. Откуда вы такие берётесь? Это курс Школы Анализа Данных, на которую производится жесткий отбор, и обучение в ней предполагает знание математике на уровне примерно двух курсов очень хорошего технического вуза. Зачем вы смотрите этот курс, если не знаете основ? Машинное обучение - это раздел математики, а не import * from xgboost.

[@alikdzhalolov6898]

@@serg8483 в любой топовой компании это спросят, ИИ построен на математике. От тебя требуют не в тупую перебирать алгоритмы, а примерно сразу представлять, что делать. Да и потом представление выборки это тоже математика, если она не репрезентативна, то сосешь писю. А ШАД готовит очень крутых специалистов, которые работают не только в Яндексе, но и спокойно за границей. Тут важно уточнить они готовят Data scientist, не тех, кто в своих проектах по фану там нейронку сделают, нет. Они готовят профессионалов. Все топовые разработчики ИИ знают математику очень хорошо. Почитай вон книгу Гудфеллоу, там же одна математика.

[@artrails1139]

классная лекция и лектор, хоть стало понятнее все, есть представление

[@ClosiusBeg]

Просто великолепное объяснение! Огромное спасибо!!!

[@valeriiilin4006]

Зацепила фраза про «Законы природы». Такая трактовка ML только упрочила стремление учиться далее. Весьма интересный подход. Дар преподавателя играет важную роль все-таки. Спасибо за лекции!

[@user-id1ht8pq9o]

Отлично объясняет.

[@user-zi8ve6fv1t]

Задачи по курсу где можно посмотреть?

[@sergsmok7379]

Жаль, что в описании нет данных Воронцова и нужно их списывать с экрана

[@leonidgaidai1989]

Советую просмотреть курс Andrew Ng на coursera от Stanford. Полностью проявляет свет с теоретической и практической стороны. После его лекций у меня лично появилось интуитивное понимание задач и их решение. Можно прослушать лекции бесплатно и попрактиковаться www.coursera.org/learn/machine-learning/home/welcome

[@user-er5tm5rt8b]

Было бы действительно хорошо, если бы не на английском языке

[@Gigatless]

Блин понимать бы все эти формулы.. Так рассказывает, будто всё максимально понятно

[@sergeyz1597]

Отличный лектор! Респект

[@korniliusjr1333]

ШАД красавцы!

[@user-rs1lw2gg8l]

Не плохо!

[@RasulKerimov]

Где можно найти семинары к этим замечательным лекциям?

[@Arti32Lehtonen]

Семинары конкретно из шада в интернет не выкладываются. Есть материалы семинаров с аналогичных курсов в МГУ, МФТИ или ВШЭ, например, здесь можно посмотреть github.com/esokolov/ml-course-msu

[@stelmahIO]

Коллеги, кто уже посмотрел курс, ищу материал по построению семантических сетей, затрагивается ли эта тема в курсе? Я в теме анализа данных полный новичок, поэтому сразу прошу прощения, если вопрос глупый. Если кто-то занимается этой темой и посоветует с чего начать буду признателен. Спасибо

[@user-nu2nv1uq9z]

Шаумяна почитай

[@maestro256]

Если вы про Semantic Web, то это вообще другая область.

[@neo7555]

Кто скажет.Это академический курс или приближён к реалиям (практике) машинного обучения?

[@user-du9ju8nr3f]

Это deep learning твоих мозгов по deep learning'у. Хочешь делать лучше - делай по науке.

[@DiamondSane]

^_^ отлично

[@user-tj3dr5se4n]

Вспомнил своего препода. Убаюкивающая лекция😂 хочется уснуть

[@user-kx8no8dr4f]

Норм так)

[@user-tu8mc9hm6h]

Кнут, это ты?

[@light_s1960]

Двоюродного брата Чарльза Дарвина зовали Фрэнсис Гальтон.

[@glebchik]

все лекции kzbin.info/aero/PLJOzdkh8T5kp99tGTEFjH_b9zqEQiiBtC

[@calidum_aestas]

спасибо

[@AnatolyKosorukov]

Очень жаль, что в процессе лекции аудитория не задавала вопросы, а вела себя пассивно (хотя лектор настойчиво просил вопросов). У меня на каждом "перерыве на вопросы" они появлялись. :-) Молчаливое согласие на "Всё и так понятно" - говорит как раз об обратном. Возникают сомнения - а действительно ли то, о чём говорить лектор волнует слушателей? Если у аудитории нет вопросов - было бы замечательно, если бы лектор их задавал, вовлекал аудиторию. Но, может быть, такой задачи не стояло? Всё-таки лекция записывалась.

[@MrRadiostep]

Ну ага! Если ты задаёшь вопросы, то ты чего-то не понял, а если ты не понял, то ты тупой и не видать тебе работы в Яндекс никогда, тебя навсегда запишут в базу данных и не пригласят на собеседование до конца жизни.

[@toxic_narcissist]

?

[@alikdzhalolov6898]

@@MrRadiostep чего вы такое несете? Всегда ценится активность людей, но а там просто легкие вещи были

[@alikdzhalolov6898]

Ну как бы это выпускники преимущественно топовых вузов с, как правило, математических направлений, им я думаю все понятно. Даже мне понятно, а я второй курс и в не топовом заведении.

[@user-br9dl9cy2e]

Гораздо лучше "аналогов"

[@flutesong7]

Мне интересно, где можно найти легенду обозначений переменных? Лекция объясняет на метаязыке без приведения словаря, тем самым делается невозможным обучение не владеющих метаязыком, позволяя донести информацию только до других носителей используемого метаязыка.

[@kenichimori8533]

P

[@ibl8587]

кто знает рыжую?

[@vladislavgusak2309]

Весь технарь

[@user-db8yy9rc8k]

Давайте честно, тема интересная, человек, очевидно, разбирается в ней, неплохо объясняет, но есть один момент. Зачем говорить: "Да по-моему пока все понятно", "Да пока что все просто". Естественно никто не будет задавать вопросы, раз все понятно и это снимают на видео, то зачем задавать вопросы, потом разберусь. А вот нифига, не понял ты на 10ой минуте что-нибудь, всё, остальные 50 сидишь как овощ, а почему? Потому что все понятно. Понимаете, одному понятно, другому нет. Люди боятся спрашивать, я вот много чего не понял сразу, но ничего бы не стал спрашивать, потому что все понятно да и вообще это элементарно. Нельзя так относиться к аудитории, люди разные, поэтому надо спрашивать. Если им все понятно, надо спросить, что же им понятно на самом деле. Показать, что ничего страшного нет, что со знаниями не рождаются, что у всех разный уровень, что даже самые элементарные вещи, как 2+2, не элементарны и, конечно, знать золотую середину(увлекаться вопросами тоже нельзя, все-таки лекция). Но все равно хорошо. Огромное спасибо за труд.

[@DiamondSane]

Лектор выразился так, говоря о линейной алгебре, она действительно должна быть известна тому, кто хочет освоить этот курс. Претензия не вполне корректна.

[@MrRadiostep]

а если все забыли эту алгебру сразу после сдачи ЕГЭ и вот так вот вводить вводную лекцию сразу на сухую больновато. Может сначала имеет смысл уловить саму суть машинного обучения, а потом уже вдаваться в дебри, когда дело дойдёт до решения конкретных задач и разбора примеров? Я не учился программированию в ВУЗе, но в школе был у нас препод по информатике, который так объяснял, что всё предельно ясно и понятно было. Вот сейчас смотрю лекции по компьютерным наукам и заметил, что большинство русскоязычных лекций рассчитаны на аутистов, которые всю вычислительную мощь мозга концентрируют на одной теме, игнорируя все прочие раздражители. Похоже задача лектора не научить, а отфильтровать суперодарёных, которым всё понятно даже когда так сложно объясняют. Сравните с лекцией гарварда на ту же тему, которую я выложил у себя. Перевод плохой, но можете найти оригинал.

[@wwnnbb9482]

линейная алгебра изучается на первом курсе, соответственно студенты на втором обязаны ее знать.

[@user-te7zs2st1l]

Эти лекции рассчитаны на сильных студентов, они для ШАДа -- на ШАД был отбор.

[@sarbasov]

Noratsirabma тогда зачем он это объясняет и зачем спрашивает, есть ли вопросы? Американцы всегда спрашивают, есть ли вопросы, а затем еще ждут 5-10 секунд, чтобы люди могли осмыслить полученную информацию и сформулировать вопрос.

[@mastertaro]

Очень круто, что есть возможность получать такие знания на русском, но... Получается, что кроме теории ничего больше нет? А практика? Как это всё применять на практике? Толку от этой теории, если не понимаешь, как это применить в реальности?

[@Frie666]

Почему все кто делает видео уроки и ведет курсы про машинное обучение так сложно объясняют. Неужели нельзя начать с инструментов, показать как закидывать данные и получать результаты и в процессе объяснять сложности с которыми приходится сталкиваться и нюансы, и формулы давать тем кто в них разбирается. А то одна теория от которой в голове остается бардак и ничего не понятно.

[@light_s1960]

Наверное потому, что машинное обучение не такая простая штука )))

[@ne4to777]

Xela_Bold, на самом деле все сложное состоит из набора простого. Но каждый раздвувает сложность своей области как может, чтобы набить себе цены и жить на что-то.

[@railotrailot521]

я не согласен, почитайте зарубежные курсы этот же стенфорд, эти академические понты сейчас не в моде

[@alikdzhalolov6898]

@@railotrailot521 ой бля, ну да вот только на курсах от стэнфорда всегда практически стоит пометочка в названии, что это ознакомление. И без академических знаний, тебя в топовую компанию типа Яндекса не возьмут

[@user-sl6op9mw3l]

Потомучто есть работы, где можно обучится по схеме "повторяй за мной, нюансы разберем" - например, штукатурка стен. А есть работы, где без понимания теоретических основ ничего не выйдет. Попробуйте придти в авиаконструкторское бюро и скажите, ребята, к черту подробности, где тут у вас проектировочная программа, нюансы разберем по ходу )))

[@IgorDataScience]

подача материала и качество лекций очень слабые

[@user-co8nb3kv1e]

+Игорь Клейнер В чём слабость по Вашему мнению?

[@ClosiusBeg]

+Игорь Клейнер Sapienti sat!

[@user-ni4vw6yw8b]

+Игорь Клейнер Позвольте простому студенту, который смотрел и Ваши лекции тоже, прокомментировать. Ваша подача материала не лучше. Там есть все: и затянутость и невнятное объяснение и т.д. и т.п.

[@IgorDataScience]

+Сергей Русинов я 3 года получал звание лучший преподаватель. Поэтому позволю вам ваши слова считать бесполезными и предвзятыми.

[@IgorDataScience]

+ClosiusBeg глупому моча божья роса.

[@MrIgoreha]

Как же печально наблюдать превращение успешной свободной технологической компании в мерзкий и отвратительный бизнес. Еще хуже становится от мысли что это мерзкое существо впитывает в себя молодые умы.

[@BardusProstoi]

"Мерзкий" бизнес держит небо цивилизации. Потому что он существует тогда когда он нужен людям в противоположность чистым измышлениям, которые нужны только тому кто измышляет или как пример ненужности - государство.

[@MrIgoreha]

Лучше трезвым отвечать на комментарии... иначе измышлизмы сами по себе заживут, отдельно от сути и смысла. Яндекс - инструмент в руках ублюдков. А из чего инструмент сделан, из благородного серебра, или вонючего говна - дело другое.

[@user-is3kd9ye9h]

Не могли бы вы развернуть свою претензию? Что за ублюдки и как они используют Яндекс во вред?