クリエイティブAI講座：AIのベンチマーク「人類最後の試験」について

[@染谷一裕]

かつて私の作った二等辺三角形の問題を提出してみたら、見事、登録されました。思ったとおり、AIにはかなり難しい問題だったようです。３つのAIに解かせてみて偶然答えが合っている場合もありましたが、証明が出鱈目だったのでやり直させたのですが、どれも正解を出せませんでした。

[@thomasaqinas2000]

特化型の性能比較でのベンチマークであるということでしょうか？社会共同体における相互エージェントの能力を測るものでしょうか。 　AGIは汎用知性というわけですが、生物では「万能・iPS細胞」の様にゲノム情報を持って、生物個体を構成する為に「発現プログラム」に従って特化細胞、器官が形成されるのですから、如何なる特化型知能としても学習して能力を発揮できるようになるというのが、AGIの定義に相応しい気がします。 　ところで、「人類最後の試験」というより「究極の問い」は、「ノエシス・ノエセオスにおける、エネルゲイア（エネルギー）とロゴス（情報）との関係について」でしょうか・・？

[@なむさん-e2h]

このサイトいいですね。前回の共感力(意図理解)テストをちゃんとした質問と共に投稿したら複数のAIが同時に回答してくれます。o1系は、ほぼ正解でした(完全ではないけど、願望が入っているので無理か)。次点はクロード、他の2つは、うーんという感じでした。ちなみに選択式だと全員正解。一応投稿したけど、正解が確定しないとダメかも。AIに最も必要な共感力に答えはないのに。 追記:自分のカスタムクロードはさらに上を行ってくれた。

[@taninouchiaki1157]

かなり難しいね。しかし、非常に興味深い。

[@モモモ-i7p]

人類最後と言いつつ、本質的には他のベンチマークと変わらない気がしますね。 将来的には、AI同士を戦わせてスコアを比べるような方式になるかもですね。 戦いのルールとして考えられるのは、AIが特定の分野の問題をお互い出し合って正答率や解答の速さを比べる（人間が正解を判断できるものが良い）とか、画像や音楽なら、生成した作品を複数の人間で評価する方式が良さそう。等々個人的な妄想です。

[@今泉武男]

ベンチマークはその目的が価値ある何かと繋がっていないと客観的には意味がない。逆に、目的は一旦置いておいてが対象群を客観的に評価するために例えば主成分分析のような考え方で特徴的なベクトル軸を統計的に抽出し、そこでのランキングを行うという方が恣意性が入り込まず客観的で普遍的かも。目的はそこからさらに合成すれば良い。

[@ぺさぺさ]

「謎検」を画像入力で、マルチモーダルなAIに解かせたらどうなるんだろう。正解が曖昧すぎるかもしれませんが。

[@ならdeer]

ポスドクくらいの人は応募しましょう、わいはポスドクがなんのことかもわかりません('ω')ノ

[@faccioco]

ポスドクとはPost Doctoral Fellowのことで、博士号は獲得したが、まだ(任期の長い)正式な職についていない人のことです。

[@ならdeer]

@@faccioco ありがとうございます。

[@SSS-100M]

AIが全人類より賢くなった時に、AIがAIの性能を見るんだろうけど、果たしてその結果は正しいのかと思ってしまう。