Рет қаралды 6,731
在大模型时代,我们该如何来评估大语言模型的性能呢?我们比较熟悉的有像 MMLU、GSM8K等一些评估基准,但是这些评估基准真的完美吗?OpenAI科学家、同时也是思维链的提出者,Jason Wei,在他最新的一篇博客中进行了深入的研究。在博客中,Jason Wei首先列举了几种成功的评估基准,然后总结了评估基准不成功的常见原因,一共七条,包括样本数量少、评估基准太复杂等等,他把这些形容是评估基准的七宗罪。
PS:个别英文单词发音录制的时候不太准确,后期处理时重新用机器朗读了一下,请多包涵。
博客原文链接:www.jasonwei.n...
#人工智能 #llm #modelevaluation #benchmark