Perplexityという評価指標について解説

大規模言語モデルの評価指標として一般的に使用されるPerplexityについて解説しました。
ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします！
blog:agirobots.com/
twitter: / agirobots
instagram: / agirobots

[@unlabeled000]

具体例も記載いただきわかりやすいです。勉強になります。ありがとうございます。

[@taka-en4hp]

投稿ありがとうございます。とても勉強になりました。いいねｘ１０くらい押したいです笑

[@AGIRobots]

ありがとうございます！

[@RivusVirtutis]

とてもわかりやすい解説ありがとうございます。多くのLLMの場合実際の使用ではループを防ぐために2位以下の候補を敢えて選ぶことで文章を自然にしますが、2位以下の候補の自然さを定量的測る方法があればLLMの自然さや学習データを超えた創造性を計測できるようになるのかなと雑感ながら思いました。ただ、そこはやっぱり人間からのフィードバックがひつゆですかね。

[@AGIRobots]

現状のAIですと、人間からのフィードバックなしには、難しいでしょうね...