Data Scientist: кто нужен бизнесу и как их обучить | Виктор Кантор, Data Mining in Action

[@victor311kantor]

Пользуясь случаем, выражаю признательность своим коллегам по специализации на Coursera - Жене Соколову, Жене Рябенко и Эмели Драль, а также всей команде DMIA разных лет: руководителям направлений Илье Ирхину, Саше Гущину, Арсению Ашухе, Антону Панкратову и Никите Селезневу, соруководителю проекта Эмели Драль, без которой мы бы вряд ли перевезли курс в Москву, начали устраивать выпускные и вообще научились бы не опаздывать и не отменять лекции, менеджерам курса Виктории Цветковой и Анне Илюкович-Страковской, многочисленным преподавателям курса и создателю факультатива про анализ данных в МФТИ, из которого потом вырос DMIA, Никите Пустовойтову. Без всех этих людей ничего бы не вышло :) Кроме того, огромное спасибо слушателям упомянутых курсов (как DMIA, так и специализации на Coursera), вовлеченность которых постоянно драйвила у авторов желание и интерес создавать хороший контент!

[@pred9990]

про нейронки тоже запилите что-нибудь

[@andreimartynkin530]

Спасибо! Очень понравилась беседа. Такое удовольствие послушать умного глубокого человека! И мне кажется, что это неспроста, когда человек серьезно разбирающийся в Data science поднимает такие глубокие вопросы - о смысле наших действий и оптимизации своей жизни. Я тоже пришел в Data science через свой интерес к тому как работает наша психика и мозг. Вижу, что гостя тоже очень занимают эти вопросы. С удовольствием подписываюсь на канал Виктора в Телеграме.

[@Irades]

Классный разговор, спасибо ❤

[@wiki7312]

Отлично, не хватало подобных интервью на youtube!

[@enjoyrobotics]

Спасибо, очень познавательно и интересно!

[@MachineLearningIS]

33:42 О теоретической физике. После этого интервью, в 2018 в NeurIPS вышла статья Neural Ordinary Differential Equations, а в 2019 в Comp. Physics вышла статья Physics-informed neural networks. Это дало новое направление машинному обучению. Машинное обучение без знаний алгебры, анализа, вероятности сложно представить. В этот список только что добавилась теоретическая физика.

[@S0ERDEVS]

Отличное интервью

[@hello_world_zz]

Спасибо, очень интересно послушать зрелых умных, как Виктор

[@leeartem1010]

Виктор, спасибо Вам огромное, отличное интервью, как и все остальные материалы! Пожалуйста, продолжайте в том же духе)

[@romanhulenko51]

Классный и позитивный гость и интересная личность.

[@STASEG1994]

понравились рассуждения насчет стереотипов

[@antondzodzikov8892]

Ведущий харизматичный. Продолжай!

[@paranormanoid1928]

Виктор, спасибо за интересное и полезное интервью.

[@Fless]

Канал Виктора Кантора в ТГ: t.me/kantor_ai

[@lvan_Aleksandrovich]

понравились мысли про стереотипы и неожиданный поворот про то, что с точки зрения другого человека работа (пусть даже хорошая) 40 часов в неделю, может оказаться бессмысленной, а ему важнее семья, допустим очень вдумчивый гость

[@homasonya8178]

Лучше сразу семинар, до начала которого ты даёшь нормально подготовленную теорию, а на котором вы закрепляете на практике изученный материал, но это только для тех кто готов учиться самостоятельно

[@googleplexer]

Виктору респект! :)

[@alexphone6432]

Мне понравилось как сделано вступление

[@MsWokan]

гость интересный человек

[@redeyes256]

Зачем такая громкая музыка на вставках. Можно как-то выравнивать по уровню голоса в будущем? А то приходится убавлять/прибавлять)

[@aleksandr_sp7721]

Он у меня в ВУЗе (РУДН) делал курс по машинному обучению. К сожалению ,так и не попал на него.

[@RSht-d2s]

Крутой формат!

[@АлександрМарковский-о9с]

Обидно стало за водителей такси)

[@eugeneivanin4646]

Спасибо!

[@rufatmustafaev1894]

Спасибо за выпуск! Кстати, планируется ли создание подкаст-канала? Такой формат был бы очень кстати

[@Fless]

Подкаст - это аудио где-то на iTunes? Пока не думали об этом

[@valeriaplatonova2902]

@@Fless можно плейлист на Яндекс-Музыке, например. Звуковые дорожки с видео вполне подошли бы:)

[@ione88]

хочу рассказать про моё видение условий получения "безусловного дохода" и переобучения людей. 1. он должен быть ограниченным по времени, допустим от рождения и до 20-25 лет (это ограничение сверху, точнее до времени окончания получения образования и трудоустройства). если человек продолжает учится, то его "безусловный доход" должен сокращаться. 2. после 50-60 лет доход снова возвращается. опять же должен быть минимальный стаж, но если у человека уже много внуков и он хочет выбрать возможность вместо работы заниматься с ними, то у него должна быть такая возможность. с теми, кто по здоровью не трудоспособен, понятно, отдельный разговор. Это важно, что бы родители могли спокойно рожать детей, не боясь того, как всех прокормить и дать им образование. а бабушки/дедушки, могли оставить работу ради воспитания внуков, пока их родители на работе. 3. необходимо что бы минимальная зп всегда была выше этого дохода. хотя б в 2 раза, что бы была мотивация работать у самой активной части населения 25-50 лет, но при этом время потраченное на работу не осложняло их отношения с близкими их людьми. 4. про проф.переподготовку для тех, чьи способности больше не нужны экономики. Тут отдельными законами, можно прописать, что в такие-то года люди, кто были заняты в таких то профессиях, могут получать стипендию на переподготовку. Но опять же довольно быстро за 1-2 года эта стипендия должна сокращаться до минимума, что бы человек быстрее находил работу.

[@Fless]

Иван, спасибо за развернутую идею! Ты, как мне кажется, делаешь акцент на том, чтобы сохранить мотивацию для людей работать, а не валять дурака. Т.е. это что-то пенсии или пособия по безработице. Мне же представляется, что функция мотивации уйдет на второй план: те, кто еще смогут работать и зарабатывать (а их останется не так много), все равно будут работать, т.к. любят свое дело. Просто это будет не "работа", а "деятельность" или "стиль жизни". Те же, кто не сильно хотят работать, просто не будут иметь возможности работать - их интеллектуальных и творческих способностей не будет хватать, чтобы принести пользу в ИИ-экономике. Исключения из двух групп, мне кажется, редки.

[@ione88]

тогда я бы рассматривал отсутствие подходящий квалификации для рынка труда, как потерю трудоспособности. в этом метафорическом смысле образование становится "частью медицины". грубо говоря, неспособность считать дроби это такая же болезнь как и больная почка. некомпетентный человек тот же больной, поэтому ему положена пенсия по утери трудоспособности. я бы тогда сформулировал вопрос так, как сохранить в таких людях человечность? Грубо говоря, когда у человек больное тело, но при этом он чувствует себя в рассудке, о нём можно позаботится и он это воспринимает адекватно. проблема, когда он не компетентен, тогда, он душевно больной, то он может легко стать жертвой для производителей алкоголя, наркотиков и в конечном счёте преступных организаций. и перестать адекватно воспринимать помощь. нужно ли их изолировать от общества? какой вид помощи вернёт их в строй? и кто определит, какое их поведение адекватно (только ли то, что нужно капиталистам)? можно посмотреть во что превратился город Лос-Анжелес за последние годы, где муниципалитет раздает шприцы для бездомных, а теперь хочет строить здания, где они могут употреблять наркотики безопасно. Я уже не уверен, что такая помощь тем, кто оказался вне экономики идёт им на пользу. Так что вопрос "безусловного дохода" подлежит дальнейшей дискуссии. Так же как алкоголь, наркотики, азартные игры, проституция, тюрьмы и другие проблемы, связанные с тем, что человек выбывает из позитивной экономической деятельности общества. В которые попадают люди потерявшие работу, способность или смысл к саморазвитию. С одной стороны, мы не хотим, что бы у нас была диктатура, что бы труд был обязанностью (как у коммунистов) С другой, мы не хотим, что бы люди деградировали, до состояния, когда нам тяжело воспринимать их одного вида с нами (мы ж не фашисты, что б так думать). Однако, третьего варианта, решения проблемы я пока не вижу.

[@ione88]

Всё же я смотрю позитивно в будущим, 100 лет назад абсолютное большинство не было способно к письму, чтению или простому счёту в уме. Я думаю, в ближайшие 10-15 лет мы увидим большие изменения в образовании и те, кто сегодня, кажутся вне экономики смогут адаптироваться к новому миру

[@Fless]

Да, я в это верю. Забавно, как 130 лет назад рабочие боялись машин и механизмов, а спустя несколько десятилетий научились ими искусно оперировать. Воображаю через 15 лет сотрудников колл-центров, которые настраивают NLP-модели для общения с клиентами

[@ohmyorion]

Теорема кантора вспомнилась )))

[@Fless]

Их есть несколько =) Мне вспоминается множество Кантора - когда-то сильно перевернуло мне мозг en.wikipedia.org/wiki/Cantor_set

[@victor311kantor]

Ага, как минимум есть теорема Кантора из курса матанализа о том, что функция, непрерывная на компакте, равномерно непрерывна на нем, есть теорема из теории множеств о том, что мощность множества всех подмножеств любого бесконечного множества строго больше, чем его собственная мощность, есть теорема Кантора-Бернштейна из той же теории множеств, ну и если не ограничиваться теоремами - действительно ещё можно вспомнить Канторово множество, имеющее меру ноль по Лебегу, но не измеримое по Жордану, при этом том ещё замкнутое и совершенное, а также Канторову лестницу, неубывающую и непрерывную, но имеющую нулевую производную почти всюду (кроме множества меры ноль по Лебегу), не будучи константой. Ну и, конечно, диагональная конструкция Кантора, часто используемая в начале курсов матанализа для обоснования того, что мощность множества действительных чисел больше, чем мощность множества рациональных. Георг Кантор вообще много интересного придумал, так что в отличие от последних лет его жизни, его вклад в науку вызывает по-доброму мотивирующие нотки зависти )

[@Fless]

Мини-курс анализа в одном комментарии =)

[@temsanone]

Меня это вопрос мучает в последнее время: работе отдаю самое энергичное время, на что его трачу? Работаю в ит отделе, внутренняя разработка. 1с. Сыто и хорошо. Но скучно

[@Fless]

А лучше, чтобы голодно, но весело? =)

[@petrkassadinovich2705]

13:02 жиза xDD

[@maximprotasov5105]

Типичный работодатель - ищу универсала профессионала за копейки 😂😂

[@slightlygruff]

Я думаю, если люди победнеют, то они будут нападать на хипстеров и отбирать телефоны. Их пристроят в тюрьму и там они будут работать, как в США шить джинсы, а остальная часть таксистов будет их охранять. Единственная проблема, если хипстер в процессе отбора заартачится, он может получить травму

[@oxrets]

(!Условно и грубо говоря!) В 80х-90х были "программисты" которые получали огромные деньги за то, что умели переустанавливать винду. Затем появился дружелюбный интерфейс и каждый школьник мог устанавливать винду, пользоваться вордом и собирать компы=) Потом программисты хорошо зарабатывали на разработке сайтов, но появились дружелюбные cms, позволяющие за копейки сделать сайт любому. До сегодняшнего времени, эти ремесла требовали индивидуального подхода, поэтому спрос на программиста был высокий. А что будет с data science? Будут ли открываться в маленьких городках повсеместно по 20-30 организаций, внедряющие решения ds (как с сайтами). Я так понимаю, есть выверенный алгоритм, в итоге получается коробочное решение, достаточно лишь изменить входящие данные на свои и все...тогда рынку понадобится немного инженеров? Ка считаете?

[@Fless]

Кто же знает, что будет. Любое знание рано или поздно становится широко распространенным. То, что было сложным в программировании в 90е, сейчас уже неактуально. Но в программировании появились новые сложные вещи (алгоритмы во внешней памяти, высоконагруженные системы и т.п.). То же ждет и DS, я думаю. Алгоритмы пятилетней давности уже никого не удивят и (иногда) могут внедряться из коробки. Зато появились новые идеи в обработке изображений, видео и языка. Дальше будет больше. Там пока непаханное поле. Кажется, все впереди.

[@РусланТалипов-у1й]

Зачем ты пишешь в тетради, видео же пишется?

[@Fless]

Видео да, а мысли нет

[@Fless]

Тут напрашивается пример... Путина. Не буду о политике, но как профессионал он достоин подражания. Его всегда пишут камеры и 100500 помощников. И все же на встречах сидит с блокнотом и делает пометки. Зачем? Чтобы не рисковать упустить важное и иметь возможность вести разговор, привязанный к словам собеседника, а потом дать распоряжения

[@Данила-м9х]

@@Fless .пут это делает для иллюзии, что вопрос поставлен на заметку и будет решен. Прием же такой.

[@datamind6208]

Haha. oh ye, i know what you guys mean.. right!

[@Fless]

Thanks for showing up. Hold on, English subs are coming

[@datamind6208]

would love that! you guys sound interesting if that makes any difference.

[@iesh00a]

Чувствуется, что автор канал из другого, высшего вида, чем таксисты. Ку! Ку! Ку! Ку! Ыыыы!

[@Fless]

Вид-то один. Но волна внедрения ИИ и прочих технологий могут привести к такому расслоению, что разные социальные классы будут казаться разными видами. Высший класс умнеет, богатеет, живет дольше за счет уникальных и невероятно дорогих достижений медицины. Средний класс остается на месте. Низший класс теряет работу, средства к существованию, возможность дать образование детям. Я не ставлю себе в заслугу принадлежность к среднему классу (спасибо родителям). Мне повезло, что у меня есть хорошее образование и куча "беджиков" в резюме, которые помогут всю оставшуюся жизнь хоть как-то зарабатывать на хлеб. И у меня много друзей детства, без пресловутых "беджиков" и образования, которые работают в "автоматизируемых" профессиях. Мне не все равно, как сложится их судьба. Комментарий "автор канала из высшего вида" здесь абсолютно не уместен. Как помочь оказаться в среднем классе людям, кто из-за технологий рискуют из него вылететь и никогда не вернуться? Кто бы знал! Можно забить на эту проблему, сказав "мы все равны, ты рассуждаешь надменно и т.п." Эдакий вариант стратегии cover and duck. Так не пойдет. Я хочу найти способ поправить положение. Это желание и послужило созданию Fless и этого канала в частности. Что я хочу? Общество, в котором люди могут менять карьеры по мере желания и необходимости на протяжении всей жизни. Легко ли этого добиться? Конечно нет! Обучать взрослых людей, даже с сильным бекграундом, оказалось не так просто, как я думал. Но мы научимся

[@АнтонАлександровичГорячев]

Fless первое и главное составить наиболее полный список (каркас) последовательно связанных базовых тем(возможно следует указывать и все синонимичные названия подобных разделов дисциплин, ведь разные авторы порой одни и те же темы именуют по разному), которые идут в виде оглавления необходимых для элементарного,основного-базового или академического либо лицейского курса по; математике,физике,химии и биологии,это настоящий quadrium дисциплин. И изложить этот список в виде pdf. Тут конечно потребуется не тривиальный список литературы с хорошем изложением теории и задачниками. К примеру для освоения Алгебры взять учебник Киселёва,либо Сканави,для Анализа учебник основателя нашей Московской математической школы Лузина,а задачник взять Гюнтера и Кузьмина,его рекомендовал Владимир Арнольд. Аналогичные списки тем и литературы есть в ВШЭ,но важно иметь наиболее полный и надёжный именно для уровня наших средних школ,с такой Задачей,чтобы добраться до академического изложения(аксиом и принципов на которых они строятся,стохастической или вероятностной природы мира; самоорганизации, саморегуляции материи,принципа минимизации энергии,правил запрета для сложных систем) самому в разумные сроки. Может быть поможет рекомендательная система преподавателей РФ,многие из которых в состоянии изложить каркас темы как об этом говорил Виктор Кантор. И это было бы очень кстати, нужна такая сеть из лекторов лучше других передающих знания по конкретным разделам математики,физики,химии,биологии. Возможно люди которые готовы предложить свои варианты такого последовательного списка тем для освоения элементарного,основного или базового академического курсов мат.дисциплин уже есть,возможно есть и документы осталось их собрать и направить в одно место например во fless. Кстати многих наших инженеров готовят по американским учебникам физики,они менее математизированны и обладают более ясной и последовательно раскрытой структурой, возможно это учебники MIT. Необходимо: Выделить те темы которые сейчас реально на практике применяются в растущих отраслях индустрии,чтобы можно было уделить им больше времени. Поскольку для вычислительной математики,важны искусственные и естественные языки. Предложить: Ресурсы которые могли бы поставить навык низко уровневых,среднеуровневых и высоко уровневых языков. Среди этих языков есть языки с меньшим и большим количеством исключений например Ruby или языки которые пользуются большим спросом у компаний -SQL. Важно знать операционные системы,тот же Linux. Возможно то как устроена сети и администрирование. Либо непосредственно железо,я помню,что в Силиконовой долине из русскоязычных преподавателей этим занимался Юрий Панчул. Если взять потенциальную научную информацию список мог бы выглядеть так. Схему предложил в1985г И.Л. Викентьев в виде своеобразной матрицы имеющий следующие рубрики. Попытаюсь вольно пересказать как я её понял. 0.Психотерапия 1.Типичные Ошибки. 2.Некие основные данные об объекте,эвристики,принципы или know how,лучшие практики. 3.Методы,скажем метод построения имитационных моделей для прогнозирования,порой для него возможно применить теорию катастроф ("складки Уитни)см.Дмитрия Сергеевича Чернавского "Кому нужна Синергетика и кто её выдержит",либо концепцию Курдюмова и Малинецкого-"Русла и Джокеры". 4.Законы или закономерности их вероятные модели в виде формул аналитических уравнений или системы уравнений. Наверное важно понимать как строить и читать такие модели и проверять их на противоречия с реально наблюдаемыми объектами, убирать такие противоречия,работать над когерентностью (?). Закономерности как некие инварианты(?),сопровождают определенные эффекты,ценность знания этого уровня заключается в меньшей зависимости от законов. 5.Некие важные идеи,концепции или гипотезы,иерархия гипотез. Именно метод аналогии,точнее некого синтетического переноса теоретических моделей или объяснительных схем из одной области в другую позволяет раздвигать границы теории.(В.С.Степин) Проверенных и работающих Идей ограниченное при том не слишком большое количество. Роман Михайлов предложил своё прочтение концепции теории категорий, естественность-категорность: "Структуру можно представить как набор связей". Жизнь можно представить как сеть,любая сеть которая не растет умирает см.Geoffrey West.The surprising math of cities and corporations. Любая биологическая структура формируется в потоке энергии.(Савельев.С.В) Социобиологический процесс можно представить как конфликт разных групп занимающих примерно одни ниши за ресурсы.(Сергей Борисович Морозов). Популяция состоит из родовых линий,на разных уровнях рассмотрения это может быть семья,племя, субъраса или подраса и большая раса. Популяции бывают локальные либо смешанные. Состав популяции может включать в себя здоровые родовые линии и вариативные, более специализированные главное,чтобы избежать вымирания популяции держать баланс между родовыми Линиями,что достигается механизмами подбора или отбора,а вы только их и обсуждает в этой теме. Выживание человека можно представить как выживание его родовой линии главное для которой появление внуков (Еськов). 6.Уровень проблем или задач,вопросов,любой шпион в прошлом занятый заказами ВПК знал,что ему покупать у представителей иностранных фирм,сделки проходили легально,задача шпиона была в том,чтобы распознать прообраз тех технических документов которые он получал. Не любой школьник знаком со списком проблем избранного им направления.

[@АнтонАлександровичГорячев]

Fless вид даже гипотетически не один,кроме того каждые 25 лет усиливается дивергенция,вид делится на разные расовые очаги или стволы или ядра локальных популяций (имеющих разные гибридные составляющие,где-то неандертальскую-европеоиды,где то примеси хабилис и эректус-негроиды,где то денисовцы-австралия -океания,где то синантропы(?)- Ю.В.Азия,см.Ричард Фэрле Эффект Гибридной силы),на счёт моногенизма(центризма) или полигенизма(центризма) есть другие не менее надёжные гипотезы(взять хотя бы лекции по Антропологии в изложении Перевозчикова и Хрисанфовой-модель сетчатой эволюции или Карлстона Стивенсона Куна). Более того эволюция гоминид это прежде всего изменения конкретных органов и систем,к примеру наибольшей изменчивостью обладает нервная система,отвечающая за поведение и скорость его изменения, причём поведение парадоксальным образом связывает через поясную извилину ассоциативные поля и подполя неокортекса и лимбическую систему палеокортекса (Вадим Петрович Зворыкин и тема синхронизации и структурных перестроек сенсомоторных анализаторов коры головного мозга на основе цитоархетектонических коллекций мозгов выдающихся людей в сравнении с другими млекопитающими), эволюция основывается на индивидуальной изменчивости нервной системы которая перекрывает половую и расовую(Иван Николаевич Филимонов),тоесть ~каждые 25 лет рождается новый вид людей в каждой популяции из за связи между условными рефлексами или социальными инстинктами и подбором людей,как в голубятне,кому то шею сворачивают,кого-то размножают. Проблема вырисовывается следующая в наших европеоидных популяциях в следствии отбора начинают преобладать специализированные (вымирающие)родовые линии обладающие большой вариативностью нервной системы и этих линий уже может быть больше чем здоровых.(Сергей Борисович Морозов) Новые рабочие места срабатывают прежде всего как поприща искусственного отбора,они убивают одних и дают репродуктивные преимущества другим,так было всегда,но сейчас явно нарушен баланс и возможно из за неписанных правил искусственного отбора,- геноцида большей части популяций.(Савельев Сергей Вячеславович) Итак индивидуальный подбор двигатель видообразования или эволюции он покоится на процессах морфогенеза.(Лев Владимирович Белоусов) Как нас выбирают женщины либо за наше здоровье(запах феромонов,который улавливает орган Якобсона или вомеронозальная железа полового обоняния встречающаяся ещё у ископаемых Амниот,запах указывает-гистосовместимость,он запечатывается как правило на 4 года) и адаптивные качества,часть их перечислил Григорий Иванович Россолимо в своём психологическом профиле,по видимому важны так же рост осанка(Десмонд Морис "Человеческий Зверинец),голос(центры полового возбуждения женщин расположены не далеко от слуховых центров), либо за деньги-социальный статус,статус и биологический ранг не всегда совпадают,любовь не только правит миром,она способна его угробить,посмотрите на мир вокруг это всё в том числе и результаты женского выбора.(см.Секс и Ранг Сергея Борисовича Морозова). Определенная сложность состоит в многоуровневом отборе или подборе. Обычно выделяют следующие виды подбора; индивидуальный отбор видимо(брачный), родственный подбор(помощь своим),реципрокный альтруизм (помощь тем кого посчитал своими,его выделяет Роберт Сапольски),концепция неогрупового отбора какие то черты могут быть не адаптивны для особи,но полезны для выживания группы(возможно тут в дело вступает связь культуры-у ловных рефлексов-социальных инстинктов-внегеномного наследия и подбора отбора) которая конкурирует с другими группами за территорию (жизненное пространство или пространство для жизни),самок,ресурсы,жизнь питается жизнью,сильный узел сети,слабым.

[@Apal127]

Data engineer оскорблен ХД

[@Fless]

=(

[@Apal127]

@@Fless Очень крутой канал, считаю экосистему датасантистов самой положительной, насчет дата инженера- будучи преподавателем по датасайнсу и датаинженером , математика нужна в обоих случаях, если хочешь быть на качественно другом уровне.

[@Fless]

кажется, в любой непонятной ситуации около DS и CS знание математики помогает

[@dmitriishakshin2248]

@@Apal127 ну давайте будем честны.DE- раб сила для подготовки витрин, датафраймов и выставления апих на хранилищ. Да, баковые знания статистики и арифметики нужны , чтоб посчитать нагрузку на хранилище и объём данных, но не более

[@denis_kolmykov]

Собеседник каец скучный. Ещё и от вопросов уклоняется. Жаль, что позвали