Курс «Байесовские методы в машинном обучении». Лекция 1 (Дмитрий Ветров)

[@feijoaru6658]

Очень хорошая лекция) еще бы практические задания с Вами порешать)

[@ДмитрийВиноградов-т3ф]

Формула, выписанная на доске на 52 минуте, является некорректной: тут неявно предполагается, что p(z|y)=p(z|x,y), что не всегда верно. Легче всего опровергнуть ее, когда x=z с вероятностью 1, но плотность p(x|y) является несингулярной. Поэтому преимущества 2) (композитность) и 3) (обработка "на лету") Байесовского метода, сформулированные Д.П.Ветровым, являются сомнительными.

[@michaelsolotky7445]

Ты прав, формула сама по себе некорректная, но тут неявно предполагается (а лучше бы, чтобы явно оговаривалось), что x и z независимы, тогда получится, что z условно не зависит от x при условии y и p(z|y)=p(z|x,y). Далее в курсе рассматриваются только такие величины и там действительно получается выкинуть данные после обработки, если есть возможность сохранить параметры для апастериорной плотности для её полного восстановления. И выкидывать старые параметры плотностей (типо p(x) тоже можно).

[@АлександрМамаев-э8м]

@@michaelsolotky7445 Я не очень понимаю, если мы в формуле p(y|x,z) = p(z|x,y)*p(y|x)*p(x) / p(x,z) можем заменить p(z|x,y) на p(z|y), то это значит, что наступление события x прямое следствие события y, т.е. всегда когда наступает y наступает и x?

[@ДмитрийВиноградов-т3ф]

@@АлександрМамаев-э8м Нет, это не так. Рассмотрим X,Y=U+X, Z=V+Y=V+U+X, где X,U,V - независимые с.в. Бернулли с p_{X}(1)=p_{U}(1)=p_{V}(1)=p, p_{X}(0)=p_{U}(0)=p_{V}(0)=q=1-p. Тогда плотности (относительно многомерных считающих мер) равны: p_{Y,X}(0,0)=q*q, p_{Y,X}(0,1)=0, p_{Y,X}(1,0)=p*q, p_{Y,X}(1,1)=q*p, p_{Y,X}(2,0)=0, p_{Y,X}(2,1)=p*p. p_{Z,Y,X}(0,0,0)=q*q*q, p_{Z,Y,X}(1,0,0)=p*q*q, p_{Z,Y,X}(1,1,0)=q*p*q, p_{Z,Y,X}(2,1,0)=q*p*p, p_{Z,Y,X}(1,1,1)=q*q*p, p_{Z,Y,X}(2,1,1)=p*q*p, p_{Z,Y,X}(2,2,1)=q*p*p, p_{Z,Y,X}(3,2,1)=p*p*p (остальное нули). Поэтому p_{Z|Y,X}(z|y,x)=p_{V}(z-y)=p_{Z|Y}(z|y). Однако p_{X|Y}(0|0)=q*q/q*q=1, p_{X|Y}(0|1)=p*q/(p*q+q*p)=1/2, p_{X|Y}(0|2)=0/p*p=0, p_{X|Y}(1|0)=0/q*q=0, p_{X|Y}(1|1)=q*p/(p*q+q*p)=1/2, p_{X|Y}(1|2)=p*p/p*p=1, т.е. детерминированности нет. Приведенный пример - простейшая цепь Маркова, у которой будущее не зависит от прошлого при условии известного текущего состояния. Так как в текущее состояние можно попасть из разных предыдущих состояний (у нас p_{X|Y}(0|1)=1/2 и p_{X|Y}(1|1)=1/2), то детерминированности нет. Обратимые цепи Маркова дают простейший контр-пример в общем случае.

[@michaelsolotky7445]

​@@АлександрМамаев-э8м Ну, во-первых x и y не события, а величины, у которых есть набор значений, а конкретное подмножество этих значений уже является событием. Во-вторых, Дмитрий привёл хороший контр-пример, за хорошим математическим объяснением, читай его ответ. А если на бытовом уровне: не только если x - прямое следствие y, эта формула работает. Предположим, что есть 2 независимых фактора, которые влияют на настроение человека: погода на улице и как сыграла в футбол любимая команда. Не всегда, когда идёт дождь, его настроение портится, но иногда это случается, при этом даже если любимая команда проиграла, у него не факт, что будет плохое настроение (есть ещё куча других факторов, которые могут поднять ему настроение), но всё-таки он часто грустит, когда команда проигрывает. Теперь если мы знаем, что настроение у него плохое, мы скажем, что скорее всего команда проиграла. Ещё можно сказать, что скорее всего на улице идёт дождь, но это всё не точно. Вот его друг узнал, что у нашего героя плохое настроение. Потом тот посмотрел в окно и увидел, что там идёт дождь. Так вот после того, как его друг посмотрел в окно, его представление о шансах Реал Мадрида на проигрыш никак не поменялись. Это означает условную независимость футбола от погоды при условии настроения: p(z | x, y) = p(z | y).

[@Alexey-qs6nr]

32:03 - про принцип причинности. Я не смог нагуглить того, о чем говорит Дмитрий Петрович - может быть ссылка у кого есть?

[@anatoliyd4332]

Физически нарушение принципа причинности это бессмыслица. А что там он конкретно называет будущим и прошлым и в какой модели это рассматривается это дело десятое.

[@anatoliyd4332]

@@mariusursus9421 Раз вы уже скопировали один параграф из Википедии, то скопируйте и следующий, где сообщается что никакого парадокса нет и приводятся ссылки на эксперименты.

[@unknownhero6187]

Подскажите, пожалуйста, откуда следует что размер выборки должен быть больше много больше количества параметров модели об оптимальности метода максимального правдоподобия?

[@NikolaiZolotykh]

Здесь kzbin.info/www/bejne/ep22pWCfp9xgq6s и здесь kzbin.info/www/bejne/lXTZnmqofr17oKc эти задачи (на байесовых сетях) решаются в GeNIe

[@DmitrySazhnev-x3z]

Джордан Питерсон

[@ЭрнстМальцев]

Ну, как бы, есть такое явление, например, как детерминированный хаос. И знать точно начальные условия той же механической системы невозможно. Именно эта область " принципиального незнания начальных условий" и порождает объективную случайность в классическом смысле, причем для всех. Так что тезис автора о байесовской природе случайности несколько сомнителен, т.к. даже в теории точность задания начальных условий - например, распределения плотности реальной монеты, недостижим. Но, это удобно для приложений байесовских методов.