#25. Метод главных компонент (Principal Component Analysis) | Машинное обучение

Идея метода главных компонент (Principal Component Analysis - PCA). Понятие собственных векторов и собственных чисел.
Инфо-сайт: proproprogs.ru/ml
Телеграм-канал: t.me/machine_learning_selfedu

[@Alex-ho8ke]

Хоть и не занимаюсь, не понимаю, не смотрю про машинное обучение, но спасибо за труд который вы делаете)

[@konstantinlisitsa8443]

Занятие - кайф! Клевая идея клево и понятно изложена! Спасибо большое!

[@user-bn6dk4ll3g]

Сергей, спасибо за Вашу работу!

[@pricolno7603]

респект! единственное непонятно формально, что значит "распределить дисперсию по осям, наилучшим образом", хочется услышать что-то вроде минимизация суммы дисперсий по осям, но видимо нужно копать уже в теорию

[@ISAWER1]

лайк и комментарий в поддержку канала

[@impellergimpeller5133]

👍👍👍👍👍

[@user-sp1gr6xb7q]

Здравствуйте. В Матрице (1/sqrt2, 1/sqrt2, 1/sqrt2, -1/sqrt) 1 / sqrt(2) потому что новый базис повернут на 45 градусов? (Пытаюсь с нуля разлбраться)

[@selfedu_rus]

sqrt(2) нужен, чтобы квадратичная норма вектора была равна 1 (длина вектора равна 1) и, как следствие, это из-за поворота на 45 градусов ))

[@vladkrolik2700]

Здравствуйте можно вопрос, вы являетесь доцентом в ЮФУ может подскажете, есть ли смысл поступать в ЮФУ и учится на заочке, получу ли я там какие-то знания ? и если уже есть бакалавриат нужно ли сдавать экзамены/ЕГЭ (в Крыму можно было поступать без ЕГЭ )

[@selfedu_rus]

к ЮФУ я никакого отношения не имею )

[@haykmuradyan9956]

Этот урок был у меня 2 часа в МЛ курсе, но там я нечего не понял только, что это такое но как работает нечего. Ты очень понятно все говоришь но если не сложно немножко об объяснениях тоже говори, например F* = (1/l)*F^T*F откуда взялась или как от собс. векторов там, что то могут найти

[@selfedu_rus]

Это матрица Грама - из курса по математике (вузовской). Фактически, она вычисляет оценку (экспериментальные значения) автоковариационной матрицы признаков по обучающей выборке.

[@userpupkin499]

Вопрос насчёт матрицы Грама. Так то понятно, но в примере это для центрированых данных. А если среднее не равно 0? Надо ли центрировать самому, потом считать матрицу, или все равно сработает? (Без центрирования)?

[@selfedu_rus]

да, нужно, там ковариации должны получаться

[@userpupkin499]

@@selfedu_rus понял, спасибо!

[@gienek_mscislawski]

вообще говоря, используя Т для обратимости матриц, надо бы упомянуть, что это имеет место по отношению к ортогональным матрицам. Достаточно материала пересмотрел по теме, через матрицу Грама как-то не встречал:). Тут, конечно много вопросов возникает что откуда берется, но чисто для понимания метода материала достаточно.

[@selfedu_rus]

да, для ортогональных векторов обратное преобразование вычисляется через транспонированную матрицу, т.к. в этом случае транспонированная матрица равна обратной

[@haykmuradyan9956]

Но там возникают вопросы, а если собственные числа будут комплесксными?

[@selfedu_rus]

для симметричных матриц с действительными числами собственные векторы получаются действительными

[@NationalVerrater]

f1(xk) и f2(xk) это просто х и у?

[@_AbUser]

Самое первое предложение с которого должно все начинаться: Метод главных компонент - это, способ линейного преобразования входных данных для..... Кстати, это "для" в итоге так раскрыты и не были вменяемо.. Поняли только те, кто знал до этого... Смысла во всех этих художествах особо не было, ну если конечно чьи то лекции подробно не пересказывать не задумываясь, а что собственно происходит... Ну и в целом, когда стоит вопрос про одно, а начинают рассказывать о казалось бы несвязанных вещах, которые без привязки к рассматриваемому вопросу просто начинают копиться в голове словно снежный ком, то кажется что перед тобой дурачок с дислексией.. Ну вроде с 5-го класса детей учат делать оформление Дано, Найти, Решение... а не Дано, Решение... найти...

[@albertasatryan1477]

То есть матрица Грама, это то же самое, что и ковариационная матрица?

[@selfedu_rus]

нет, это то же самое, что оценка ковариационной матрицы по обучающей выборке (точного значения мы не вычисляем)

[@gienek_mscislawski]

@@selfedu_rus поясните подробнее разницу.

[@selfedu_rus]

@@gienek_mscislawski ковариационная матрица - это точное значение корреляций, а матрица Грамма - экспериментальные значения

[@gienek_mscislawski]

@@selfedu_rus спасибо!

[@DB-ms2um]

не совсем понятно, как для конкретного собственного значения определяется конкретный собственный вектор. Их же множество значений для каждого собственного числа

[@selfedu_rus]

нет, для одного собственного вектора только одно собственное значение, оно показывает дисперсию проекций, приходящих на этот собственный вектор

[@DB-ms2um]

@@selfedu_rus Для собственного вектора понятное дело, что одно собственное значение, вопрос в другом. Каждому собственному значению соответствует множество собственных векторов. Как определяется конкретный вектор из множества собственных векторов, соответствующих какому-то собственному значению? Как выбираются векторы, которые станут новым базисом?

[@selfedu_rus]

@@DB-ms2um Функция numpy, которая вычисляет собственные числа и векторы сразу их сопоставляет друг с другом.

[@DB-ms2um]

@@selfedu_rus она не сопоставляет, а выбирает для каждого собственного числа определённый собственный вектор. Вот интересно, как она это делает. Надо погуглить

[@selfedu_rus]

@@DB-ms2um ну это ж из линейной алгебры уравнение, его решение сразу дает собственные векторы и числа

[@pal181]

А в чём смысл "уплотнённой информации"? В чём это выражается?

[@selfedu_rus]

в какой момент (время) это говорится?

[@pal181]

@@selfedu_rus 5:25 да, оговорился

[@selfedu_rus]

@@pal181 концентрация - это в данном случае означает, что на первую ось, в среднем, приходятся наибольшие проекции, на вторую - меньше, на третью - еще меньше и т.д. Причем, делается это оптимальным образом (лучше уже не сделаешь).

[@pal181]

@@selfedu_rus Спасибо