降低hallucination技巧｜人类和机器的区别｜ChatGPT不好用可能是你的问题｜如何做一个合格的降临派｜大语言模型技术深度访谈3/3

[@fanjingwen9658]

课代表你会担心openai take over 现在statsig在做的事吗？

[@kedaibiao]

不担心，可以看OpenAI指数领先视频的后半段

[@fanjingwen9658]

谢谢～

[@bigbean1244]

中间的哥们儿说“如果他设计一个问题，让他能够识别出这是一个机器人。。。”这是典型的halting problem。哥德尔不完备定理告诉我们不会有这样的完美的问题😅……另外关于AGI的问题，就像人生有没有意义这种问题一样都是一种种类的问题……有问题的是问题本身，都是self recursive。如果说世界是无限的，那么无论多么荒谬，那都是存在的。最后我想问下滑铁卢cs+ds毕业回国好找工作吗？我在这边感觉很难找工作，感觉毕业就失业😢

[@ericstark3424]

但我很喜欢中间哥们的观点，我反而会认为他是三名嘉宾里理性占比最高的嘉宾

[@DssTellStory]

让GTP 有音乐素养，要求很高呀，想到了电影普罗米修斯的大卫，可以来听听我做的费伦大陆的音乐集，算不算有音乐素养呢？😀

[@焦子清]

您平时使用GPT主要是在哪方面呢？是工作方面还是更侧重于天马行空的话题或者是去测试它？ 还有一个问题就是 用英文和中文提问得到的答案是不是有本质上的区别？（我认为是有的）想问下GPT对于不同语言的提问是如何处理的，是直接从该语种的数据库中去找到答案吗？（可能我“数据库”和“找”答案这两个用词很不准确，同样期待您的解答）谢谢！

[@kedaibiao]

工作，我是code interpreter重度使用者。需要灵感的时候也会跟GPT聊一聊。中英文不确定，我一般用英文。GPT是一个拥有语言能力的模型，就像我这段话可以用中文或者英文来回答你一样。不需要涉及到的思考

[@ericstark3424]

想请问一下到底什么是“降临派”？不是说三体中的定义，而是说在GPT这个context下

[@kedaibiao]

希望gpt早日更多取代人类工作

[@ericstark3424]

@@kedaibiao 哈哈，那我也是降临派

[@kiddsu9941]

如何把方法论和思维框架教给大模型呢？除了用chain of thought来拆解问题引导模型以外，有办法通过finetune来把一套新的方法论或是思维框架教给模型，让它第一次的回答就是运用了这些来回答吗？

[@fanjingwen9658]

可以吧我觉得，就用给它框架➕几个例子，例子里就按照思维框架来回答，就算是few shot learning了我觉得？

[@yduan4330]

我不是技术人士，问一个可能在技术人士看来是很肤浅的问题：hallucination 这个问题可以用在prompt 最后加一句这样的话来解决吗: "Don't make up things that are untrue. If you don't know the answer, just say you don't know." 在我看来，既然模型都可以按照CoT的思路来回答问题，应该也能理解不要瞎编的命令吧？

[@fanjingwen9658]

我觉得不会，因为 model在train的时候并没有任何loss来penalize wrong answer，它optimize的是让回答as human like as possible,或者如果有RLHF 的话，as aligned as possible，所以光光 prompt应该解决不了。但我也不是这方面的专家哈哈，可能我是错的

[@mvft168]

你说的对的，对于"properly" instruction-aligned的模型可以一定程度减缓hallucination。但是LLM不是deterministic模型所以ICL只影响了生成分布的prior不能百分百解决问题。但是至少有一部分人包括我自己都认为hallucination本身是symptom，并不是病灶，它甚至是个feature。e.g.人脑也会脑补记忆hallucinate，这样做是有好处的。我的观点是抛开任务本身解决hallucination很可能是伪命题甚至有民科的倾向，如果具体到比如阅读理解问题的hallucinate，那我觉得相关的讨论才是有意义的。

[@juliez8860]

中间男生水平有点跟不上另外2位，但是还是想要努力发言，但是因为没有直接答案，所以总在顾左右言它

[@shawnbai743]

中间是搞技术的

[@crazycow08]

中间的是专业人士，会思考技术细节。两边是业余爱好者的，思考的是宏观。业余人士抛出宏观结论是容易的，专业人士联系技术细节去回应这事儿不容易。

[@samba2012long]

我反而觉得中间那位luyi的发言是最有深度的，既有技术细节也不乏形而上的思考

[@Evelyn-ox8ef]

@@samba2012long認同