【構造を仮定→本質を推定】階層ベイズモデリング - 具体例とともに紹介。面白い動画はどれ！？【いろんな分析 vol. 7 】

[@paulodybala2296]

抽象度の高い階層ベイズモデリングについて具体例も含めて紹介されていて非常に分かりやすかったので、高評価を押させて頂きました。

[@AIcia_Solid]

ご視聴コメントありがとうございます！🎉 高評価も嬉しいです😊 他にも多変量解析の動画がたくさんありますので、気が向いたら見ていただけると嬉しいです！(^o^)

[@doggy9745]

観測できない潜在変数も構造として組み込めるのですね！ これはすごい

[@AIcia_Solid]

ご視聴コメントありがとうございます！ そうなんです、すごいですよね！！！🤩🎉 私もめちゃ活用してます、よければぜひ！🎉

[@chichi-zj6sq]

気持ちを説明していただける解説にいつも感動しています。　ありがとうございます。　貢献　ポチッ。

[@AIcia_Solid]

ご視聴コメントありがとうございます🎉 ぜひ、色んな気持ちとその先の理解をいろんなことにご活用くださいませ(^o^)/

[@joanofarc7014]

わー！プログラミングのコードまで 提供してくださるんですね。 本当にありがとうございます😊！ やっぱり使い方や応用先がわかると 分析の手法って心にささりますね！ その意味で、こんなに素敵で面白い コンテンツを作ってくださり 本当にありがとうございます…！ 僕はまだデータ分析触れ始めて1年の 駆け出し学生ですが、いつかこんな風に、 楽しく面白く、データ分析を 教えていけるような データサイエンティストになりたいです！ いつも素敵な動画ありがとうございます✨

[@AIcia_Solid]

ご視聴コメントありがとうございます！😍🎉🎉 応援してます！ 一緒に楽しく頑張りましょう😍

[@AIAI-ji2wp]

わかりやすかったです、ありがとうございます！ ベイズはやっぱり面白いですねー☺️

[@AIcia_Solid]

いつもコメントありがとうございます！😍😍 でしょでしょ！ 是非使ってみてください😋

[@salsanotomo]

ベイズというと、特定の流派とういうようなイメージを持っていました。とても汎用的で、実用的、面白いですね。 私はタクシードライバーですが、このように、特定の分野に詳しくて、しかも統計手法も理解があるということが、とても有利と思っています。 分かりやすい説明ありがとうございました。

[@AIcia_Solid]

流派や哲学的思想も極めて面白いですが、実用は実用で、ある意味全く関係ないのです😋 楽しんでいただけているようで嬉しいです😍

[@keijill7672]

階層ベイズの勉強中なので非常に参考になりました。２点質問です。 質問①： 推定された「おもしろさ」の目安として、１視聴あたり高評価数（高評価数÷視聴回数）を使われてますが、 この「１視聴あたり高評価数」と「推定された面白さ」のランキングで、順位が違った場合、どう解釈すればいいでしょうか？ （動画Aは「１視聴あたり高評価数」ランキングでは１位だが、「推定された面白さ」ランキングでは５位など） 「１視聴あたり高評価数」と「推定された面白さ」では、データの意味が異なるので、順位は違って当然ではあると思うのですが、 明らかなＧＡＰがあった場合、前者の簡単な集計ではなく、「後者の結果が正しい。後者の方が正しく面白さを推定出来てるんだ」と思って大丈夫なのか気になりました。 質問②： 推定した「潜在変数」が分析者の仮定通りである保証ってあるのでしょうか？ 例えば、今回だと、視聴回数や高評価の構造に潜在的な「面白さ」を仮定されてますが、推定した潜在変数が本当に「面白さ」だという保証ってあるのだろうか？と気になりました。 動画内でも「初期のころの動画が人気なのは、初期のころから動画を見ているユーザー＝アーリーアダプター的な性質」という、セレクションバイアスに少し触れられてますが、 こういったセレクションバイアスも推定された「面白さ」に混ざっていて、ピュアな？「面白さ」とは違うような印象も受けました。 動画内では適合度が合っていればOKというようなお話があったと思いますが、「適合度が問題ない＝推定した潜在変数は面白さである。」とはまた違う話なのかなーと気になりました。

[@AIcia_Solid]

ご視聴コメントありがとうございます！ 超鋭い疑問ですね、素敵すぎます！😍😍😍 以下、私の意見ですが、お答えします！ 質問①：おもしろさと1視聴あたり好評価数について おもしろさは、高評価と低評価の両方を参考に計算されていますので、一番は低評価数の影響があるのではないかと思います。 私の動画でも低評価率が高いものもありますので、そういうのはおもしろさが小さく推定されているはずです。 また、動画の視聴回数のほうが小さければ、事前分布の影響が大きく、それで順位が狂うかも知れません。 「正しい」の判断ですが、それは難しいかと思います。 そもそも「正しい」が定義不可能と思いますので。 どちらの指標のほうが納得感があるのかをヒューリスティック的に考えたり、 その差分からさらなる分析アイデアを見たり、 そういう利用が良いのではないかと思います！ 質問②：仮定どおりなのか？ おっしゃるとおり、この仮定どおりである保証は全くありません！ これを検証するには、たとえば、視聴者さんに面白さについてのアンケートを取って比較するなど、「おもしろさ」を表すデータを収集する必要があると思います。 あくまで、今あるデータの中からのみ分析するという前提での分析だと思っていただければいいと思います。 様々なバイアスを除去し切ることは非常に難しいと思うので、バイアスがあることを理解しつつ、読み解いていくのが良いのではないかな―なんて思っています。 以上です！ サクッと書いたので読みづらかったらすみません！ ご意見反論完走などあればぜひ！

[@keijill7672]

@@AIcia_Solid お返事ありがとうございます。 質問①について、一概にどちらが正しいとは言えないとのこと、承知しました。 質問②についてもありがとうございます。 「おもしろさ」を知ろうとするとやっぱり、アンケートを取る必要があるのですね。 自分は階層ベイズ使いたいので 似たようなことやろうとしたときに、ほかの人から「アンケート取ればいじゃん」って言われたら、適当に理由つけて使ってみようかなと思います（笑） 階層ベイズは使いどころが難しそうですね。

[@AIcia_Solid]

アンケート取れればそれでいいですけどねー。 KZbin の場合なんかはもうアンケート取るのは不可能なので、そういう場面とかは役立つかと思います！(^o^)

[@nezumidenki23]

仮定した構造の適合度についてのお話もぜひ聞きたいのと、その構造を仮定するためのアテみたいなものはどう得られるのか(一瞬？試行錯誤？)というのが知りたいです…！

[@AIcia_Solid]

構造探しは試行錯誤です😋 適合度は、 \hat{r} というものである程度測れます。 詳しくはこの本を！ amzn.to/3gOdNpl

[@1amageek]

本当にわかりやすい解説ありがとうございます！！ 私の知識不足で大変恐縮なんですが、 +1 = exp(α + β fun) x play + ε -1 = exp(α' + β' fun) x play + ε' この式がどういった経緯を経て出てきたのかを僕にはわかりませんでした。 ご教示頂けると幸いです！

[@AIcia_Solid]

そう言っていただけると何よりです😍 この式は勘です！ (1) +1 は再生数に比例するだろう → +1 = (なにか) x play (2) 比例係数は面白さに依存するだろう → (なにか) = f(fun) (3) 比例係数は正である必要がある → f(fun) = exp(α + β fun) という感じです。 実際には他にもいろんなモデルを試しましたが、当てはまりが悪かったり、計算が終息せず棄却していたりします。 いろんな試行錯誤の末に出てきた感じです(^^)

[@kazhon1421]

いつもわかりやすい動画ありがとうございます。今回のコードをほかの方の動画に当てはめ、比較するとfun値によって「yutuber能力値」比較ができる？と率直に思ったのですがどうでしょうか。。。 あと、動画中のアイシアさんの動きから動画撮影時のマスターの体調を推定するモデルが書きたいと思ったのは変態でしょうか？ アイシアさんの噛む回数＝マスターの体調関数 × 動画内の発音数+ε アイシアさんの動きの大きさ＝マスターの体調関数 × 板書の文字数 + ε’

[@AIcia_Solid]

別の人でやる場合は、その人のデータのみでやってみると、別の傾向が出るかもで、面白いと思います！ ぜひ、わたしの体調も推定してみてください！ 変態です！が、それは誉め言葉です😋

[@kohei4828]

今回も面白い動画ありがとうございました。一つ質問です。 仮定した構造（モデル）の妥当性はデータとの適合度で判断すると思うのですが、 同じくらいの適合度を与える異なるモデルが存在する際に、 どのようにしてそれらの妥当性を評価すれば良いのでしょうか？ そもそも真のモデルはわかり得ないので、「複数のモデルで同じくらいの適合度が得られた」ため「それらは同じくらいの確度で真のモデルを表している」と解釈するのでしょうか？ どうしてもモデルを分析者が設計するので、その妥当性をどう担保するのかという点が気になっています！

[@AIcia_Solid]

原理主義的な解釈では、「複数のモデルで同じくらいの適合度が得られた」より踏み込んだ解釈はしません。その事実をそのまま受けとります。 そこから先は分野や目的によって変わると思います。 研究目的であれば、追加の分析によってどちらの方がより適当かを判断することになると思いますし、 ビジネスで利用するのであれば、実装容易性や説明可能性など様々なファクターを加味してより有用なものを選ぶことになると思います！

[@kazuhisanakatani1209]

直接観測できない本質（データを生み出す構造）を実際に観測されたデータから推定するって『状態空間モデル』みたいな感じがしますねー。確か、時系列分析のシリーズでも状態空間モデルはやってなかったと思うので（よね？）いつか状態空間モデルの解説動画もお願いします。 ド文系なのでマルコフ連鎖とかモンテカルロとかもよくわかってないので、そちらも単独の動画をやっていただけると嬉しいです。

[@AIcia_Solid]

いつかやります！ いつかやるつもりです！ しばしお待ちを😍🎉

[@hoverboarder2015]

階層ベイズすごいですね！感動しました！！ ぜひ自分でもトライしてみようと思っていますが、一点気になる点があります。 構造を仮定してパラメータの最適値を導出・学習する方法は色々とあると思いますが、階層ベイズの特徴は、ベイズだけにパラメータの確率密度分布まで分かる点と感じました。そこでパラメータの確率密度分布まで分かると、どのようなメリットがありますでしょうか？？？

[@AIcia_Solid]

深い質問ですね😎😎😎😎😎 たーくさん良いことがありすぎてここには書ききれないのですが、例えば、分布でわかっているので、有意性の検定などに使えたりします(^^)

[@ken-ichinaitou6614]

分かりやすくてとても良かったです。 あと、初期動画より後続動画のが評価が高いのは、むしろ良い事かなと思いました。（最初良くて後から下がるともっと悲しいと思います、、、）

[@AIcia_Solid]

ぜひ実際に使ってみてください！😍🎉 （た、たしかに、そういう説もありますね😎）

[@RO-yy1ig]

疑問が2つほどあるんですけど、 ①hyperpriorの階層についてはユーザーが自分で設定できて、考えられるモデルについては無限に存在すると思うのですが、その妥当性はどう判断するのでしょうか？(複数のモデルの良さの評価はどうするのかと、定数と設定するパラメータの妥当性) ②予測分布やパラメータの事後分布は(サンプルサイズ小のとき)ユーザーの初期設定に大分依存すると思うのですが、そういった分布のHPD等の解釈はどうとらえたらいいのでしょうか？(真のパラメータの確度と捉えてしまってもいいのか)

[@AIcia_Solid]

ご質問ありがとうございます！ ①について、 たぶん数理的に詳細な方法はあると思いますが、私はまだちゃんと分かっていません😢 基本的に私は、目的あって分析をしているので、その目的に合致する結果が得られていれば満足しています。 弱めの検証として、 \hat{r} という指標で、 MCMC の収束はみています。 詳細はこちらをご覧ください！😍 amzn.to/3gOdNpl ②について、 今回はそんなに事前分布を強くしていないので、最低1000再生、 50 likes くらいあればそんなに影響大きくないかと思います。 そもそもですが、真のパラメーターの確度と捉えるというのは、姿勢として微妙な気がします。あくまで真のモデルは不明なので、このモデルを適用したら、こういう結果が得られた、という、相対的な理解が良い気がします。 以上、お答えしましたが、この領域に関してはまだ私も勉強不足です。（ご質問にお答えしながら身にしみました） また何か分かったら動画かなにかにしたく思います😎✌️

[@RO-yy1ig]

@@AIcia_Solid 丁寧なご回答、ありがとうございます！WAICなどの評価基準もあるようなのですが、今一本質が分からなくて… 目的があった分析に合致した結果が得られればよいはまさにその通りだな、と思います。 ただ、モデル選択自体を目的とした例として、例えば「平均パラメータμ」の事前分布のパラメータに、「定数を設定する or 超事前分布を設定する」という問題設定を考えれば、郡内のパラメータに差があるかないか比較するような問題を考えることができますよね。 例) コインの表率μ に対し、事前分布に平均η, 分散σ＾2の分布 F(η, σ＾2)を設定し、コインを複数回投げて得られたデータからμを推定する。 ケース1. ηを定数とし、σ＾2に超事前分布を設定する ケース2. η, σ＾2に超事前分布を設定する ケース1では郡内のコインの「表っぽさ」の平均は一定だが、ケース2ではばらつきがある。 (ケース2では、日本では表っぽさは0.4だが、アメリカでは0.6であるのような例を織り込んで推定できる) ・この時、ケース2よりもケース1の方が「モデルとして信用できる」と判断できれば、日本でもアメリカでも「表っぽさ」に差はない！というように判断できると思うのですが、そういった分析というのは存在するのでしょうか？ そもそも考え方が間違っていますでしょうか？ (説明が下手で申し訳ないです…アイシアさんを見習います) (参考文献ありがとうございます！) (あまり数学系KZbinrを知らないのですが、確率・統計に関してはアイシアさんの動画が一番本質(と感じている)をつきつつ初学者に分かりやすい構成でありがたいです！ SDEなどの取っつきにくいけど興味深い分野を動画でわかりやすく説明されてて感動しました！ これからも応援しています😀)

[@naiChaSanJieMeid]

高評価の話をしていたから、この動画には異常に高評価が多いですね！笑 現に自分も高評価しました！笑

[@AIcia_Solid]

ありがとうございます！😍🎉🎉🎉 喜んでいただけて嬉しい限りです😍

[@sbynao5730]

素晴らし、分かりやすい解説でした！ でも、なんで「階層」って呼ぶのかの解説もしてほしかったです。（ここは名称なので 本質ではないけど）

[@AIcia_Solid]

ご視聴コメントありがとうございます！🎉🎉🎉 た、たしかにそうですね、、、！😮 こちらの動画を見ると、より階層っぽさが理解できるかと思います！ もし興味があればぜひ！🎉 kzbin.info/www/bejne/i5vLc5KngZWYgrs

[@kusu-]

24:12 「もしおもしろかったら、高評価ボタンを押してください」って言った動画と、言わなかった動画、という説明変数も追加してこのモデリングをしたら、おもしろいかも😄

[@AIcia_Solid]

それは楽しそう！😍🎉 ぜひやってみてください！(^o^)

[@huoujfodssdfkfsdaojkfsdo3202]

なぜ、勝手に想像した潜在変数（面白さ）の分布が分かるのでしょうか？ また、その辺って何を勉強したらいいのでしょうか（理解できるか）？

[@AIcia_Solid]

仮定した潜在変数の分布が分かるのは、それが統計というものだからです😋 （母平均、母分散なんかも、勝手に仮定した潜在変数みたいなものですし。） こういう抽象度高いものをやれるのは、まさにベイズ統計の強みです。 この動画シリーズでベイズを扱ってるので、間接的に疑問が解決するかもです！ kzbin.info/www/bejne/o4nCf6N6eZyqrck 階層ベイズはこの本で良い感じにまとまってます！ amzn.to/3gOdNpl

[@retthi-no]

@@AIcia_Solid 潜在変数の分布についての質問と重複してるかもしれませんが，alpha_plusのmuを-3と仮定しているのはどのように導出したのでしょうか？

[@AIcia_Solid]

alpha_plus がだいたい3というのは、MCMCの出力の事後分布を見て決めています！ 文字が小さくて見えづらかったかもですが、、、💦

[@TK-bu5ll]

いつも楽しく拝見させていただいております。 前々回？の構造方程式モデルと今回の階層ベイズモデルの使途は同様と考えてよいのでしょうか？両方とも潜在変数を含んだ構造を仮定してモデル化する方法だと理解したのですが、違いがなかなかつかめず悩んでます。

[@AIcia_Solid]

似たようなものなのですが、微妙な違いがあります。 構造方程式モデリングは、どの潜在変数も観測変数に直接結び付く必要があり、各観測変数は1つの潜在変数にしか紐付けられません。 なので、こちらは、因子分析の進化形と理解するのが良いかと思います。 一方、階層ベイズにはそのような制限はなく、より自由なモデリングが可能です。 階層ベイズの方が自由度が高い一方、モデルの妥当性検証が大変な反面、 構造方程式モデリングの方は、検証方法はある程度確立されていて、結果の解釈が容易です。 こんな違いがあります😋

[@salsanotomo]

拝見し　た動画全てに高評価の私は、分析に貢献していないと言えますか？

[@AIcia_Solid]

いつもコメントありがとうございます！😍🎉 もちろんそんなことはありません。 いろんな方が、それぞれの思いでそれぞれの行動をしてくださって、それで積み重なるのがデータです。 そしてそこから声を聞くのがデータサイエンスです。 やりたいようにやっていただくのが一番よいと思います😊

[@NISHI000d]

動画作成乙、今回もわかりやすかった。 以下、コメント ①おもしろトップ1の「因子分析と主成分分析は何が違うの？【いろんな分析 vol. 3 】 #053」については、「#49の因子分析」,「#51主成分分析」の後に見る動画だから、初見の人はみず、ある程度知識のある視聴者がみるので、視聴者が理解しやすく、高評価は増えて、低評価は減る動画だろうと想像 ②つまんない動画については、低評価数とかサンプル数が少ないから、バラツキがありそう(おすすめ動画に偶然出てきて、見た人が気分で低評価したかもしれない)。そこまで、気にしなくてもいいと思う。今後、視聴者がもっと増えて、サンプル数が増えてきたら、考えればいいのでは？

[@AIcia_Solid]

いつもコメントありがとうございます😎✌️ その二つの考察も面白いですね！ シリーズ後半の方が面白度上がる、あると思います😎😎😎