No video
什么显卡能让ChatGPT跑在本地? 计算卡语言模型性能分析
Рет қаралды 21,816
Күн бұрын相信最近不少玩 ChatGPT 的小伙伴经常碰到输出速度慢, 甚至是平台算力满载的情况. 与此同时 ChatGPT 加持的新版 Bing 又处在排队中, 这说明大语言模型的应用是建立在高算力和大显存的基础上.
那什么显卡能跑得动 ChatGPT? ChatGPT 资源的瓶颈在哪里? 今天这期视频就来分析一下
#chatgpt #nvidia #bing #openai
Bilibili: space.bilibili...
Twitter: / luvletter_moe
【赞助本频道】
Netflix/GPT-4/Midjourney/Apple TV+合租车: universalbus.c...
@user-lf4ir3mp2f Жыл бұрын
不错的科普视频
@augvizxie3833 Жыл бұрын
自己建應該比較不會變敏感問題查詢器
@lingstein3500 Жыл бұрын
从A100等高性能GPU被限制出口中国来看，国内这几个叫嚣很快推出自己的ChatGPT的公司从算力实现上也很难办到(?)
@xy5572 Жыл бұрын
恐怕这几个公司首先要考虑的是什么问题不可以回答
@meisnood Жыл бұрын
中国的只能算一半。遇到敏感话题全部XXX。
@jameswoolf1440 Жыл бұрын
能出口，中共给白宫塞了钱，美国商务部给了一年缓冲期
@lingstein3500 Жыл бұрын
@@xy5572 在算力上来看这比chatgpt的要求更多，墙内公司更难做出来了😝
@xy5572 Жыл бұрын
@@lingstein3500 所以说百度阿里腾讯还是老老实实的送外卖和互联网借贷比较好 专业的事请让专业的人来做
@kahoutam8817 Жыл бұрын
抛开算力不谈，有一个问题是像chatGPT等大模型openai耗费大量的数据以及金钱去训练，本地使用的话是否需要获得整个模型的权重？因为模型的价值应该也要保护，感觉比起算力，这个可能更难解决，就算诸如现在的联邦学习等，都是保护了用户的数据，但是用户还是拿到整个模型来本地训练，因此模型的保护可能比算算力更难解决。
@anthonytao1586 Жыл бұрын
当然需要训练结束的权重的，不然你拿不到权重等于需要自己从头训练这个模型，这个个人根本做不到。所以想要本地跑起来，简单来说就是如何把模型权重和模型本身塞进显卡里。
@nikochen7335 Жыл бұрын
个人笔电产品使用chatgpt和衍生的软件，是win的独立显存加x86架构好,还是arm版本的Mac OS 好，甚至是iOS更合适？
@kit00001 7 ай бұрын
chatgpt跟你硬件性能没有半毛钱关系,硬要说吧,就跟你网络有那么一丢丢关系,所有平台都不见得有啥很大区别
@ziyuWang-zx7it 3 ай бұрын
@@kit00001他说的应该是未来本地化小模型
@user-hy2ew2gi5z Жыл бұрын
好像新卡不支持吧，我让得有人测过chat2啊，配在本地用的A100
@user-bc4ln7qv7m Жыл бұрын
应该可以用专用集成电路吧，不一定GPU，我记得证券交易所计算就是专用集成电路
@user-bc4ln7qv7m Жыл бұрын
类似比特币矿机算力卡那种东西
@hoovoooo Жыл бұрын
如果那样的话 英伟达不应该一块GPU那么贵
@chenlifox Жыл бұрын
怎么感觉苹果的方案好像有本地跑得动的未来啊
@user-znr8my9ygs6wgd4 28 күн бұрын
還真的
@jiabin26 6 ай бұрын
就是有马没“通宝”！ 他们要换卡卖是他们的自由！
@user-sv4ge2yg5v Жыл бұрын
我个人反倒是认为ai领域硬件和软件都有优化空间，反正才发展了十几年，说不定过几年又有新东西横空出世了。
@leech6579 Жыл бұрын
永远都是供耗问题 你性能提升 一定要够电 够散热 能源电费涨了 电源供应器也要涨价 根本是个恶性循环
@tennyluo2516 Жыл бұрын
今天反过来看 林亦LYi刚出的Mac studio在AI领域能和英华达扳手腕，就很搞笑
@user-se5jv2fn2d 11 ай бұрын
口齿太不清了。。。