高通8 Gen3掀桌子，100亿参数大模型装进手机？AI能力深入解析

高通最新Snapdragon 8 Gen3处理器集成了45TOPS的惊人算力，可以装进100亿参数的大模型，一秒内生成一张图片。十年后再回首，你会发现这是一个时代的开端。（非推广视频，请勿贴标签）

[@hudaniel3213]

大刘在好多领域有非常深入，专家级的了解。 非常佩服。

[@user-ix1tq5rz8d]

可惜是个深度粉红，看看日本排核废水那一期，就知道他的盲区在哪里了

[@eaglezhou1243]

确实很不错，带来了多方面的信息。

[@eaglezhou1243]

你可以自己再加工一下， 至少他提供了多方面的信息，还是很不错的。@@user-ix1tq5rz8d

[@vc7280]

有专门写文案的团队的

[@hxqwl5147]

@@user-ix1tq5rz8d 倒不如说你是一个人恨国贼，只要中国反对的你就支持，中国支持的你就反对，表现的很像一个刚刚翻墙不久被外媒洗脑的中国人。不是说中国就一定对，你要有自己的思考，韩国人，日本人反对核处理水排海的人也大有人在，他们的疑虑是什么，说白了就是不信任日本政府和东电。韩国政府不敢反对，甚至还作秀支持，在野党领袖绝食抗议没用，前总统也出来骂也没用，那韩国政府为什么这么干。真就是为了民主自由支持日本政府？你他妈以为韩国是B站，为爱发电呀。 说的再多，都不如去支持下福岛的农产和海产品有说服力，如果ALPS真能把核污水处理成无害的，那真是人类伟大的发明了，应该获得“诺贝尔终身成就奖。”那处理成纯净水也不会是问题，应该直接装瓶高价售卖回收成本，名字就叫民主自由水，对抗老共纪念款，应该不愁卖吧。

[@user-tg1rl2kn3f]

我还是非常期待，本地可以做chatGPT这种予以理解。例如给一个pdf，能帮我提炼内容，我只问问题，AI回答问题。生成图片只是一个场景，既然能生产图片，就能帮你拍照的图片把路人去掉、去掉电线杆、电线......这个还是挺实用的

[@kevinzhang9384]

Google的Pixel打的广告就是这个

[@tsend2008]

感谢最新的介绍，每次最后多留30秒看完广告，也算小小的支持！

[@getstevenliu]

非常感谢，泪目！！！

[@hujosh8693]

說錯了，你說的不是大模型的原理，是所有神經網路的原理，只要是多層感知器都是這個原理，大模型不是只有前向傳播，反向傳播而已，語言模型本身就不是簡單的事，這個才是真正超出你的範圍的東西。

[@getstevenliu]

你说的这些我知道，为了减少篇幅，我只是介绍一个最简单的逻辑。我也没说它只有传播。

[@jacool3430]

苹果已经在做大模型了，还没发布，属于半机密的项目。最快会在明年春季发布。到时候IPhone会有本地大模型，Siri也会有一个质变。当然，我还是更期待国产手机也都有自主研发的相关芯片和大模型。

[@user-ik6yc4bw8m]

IP16PM估计会有，今年15的销量决定了16必将大改

[@getstevenliu]

能提供点机密让我做一期节目吗？给你寄点山东特产当做回报

[@parrykevin45]

要是列出公式，看着更加直观。

[@su2353]

算力够,那内存或者显存我并没有看到哪台手机够呀!100亿参数的模型,40G运行内存或者显存我想是需要的吧

[@terryjoun1687]

沒錯，手機平台目前沒有承載這種容量的能力，哪怕是rog也沒看到20+的容量

[@076lin]

​@@terryjoun1687它精度是int8所以如果按一個參數一字節算其實才快10GB而以，現在安卓旗艦手機都12GB ram起步了，所以理論上來說沒問題吧，再者其實堆料的部份，我記得一加手機已經有推出24GB的ram，不過確實少見

[@awesomegmg956]

@@076lintransformer 不可能全是int8除非你根本不搞layer normalization.

[@gxkim306]

10B fp16的话 推理也得需要20-21g显存 int8的话就小多了

[@076lin]

@@awesomegmg956 確實你說得很有道理，但對這只有45tops的晶片來說要搞100億參數的transformers 大概要就是圖一樂吧

[@user-kt8wr8mw2r]

Hello 大刘老师，请问高通推出的seamless未来可能会有什么差异化优势？

[@weslyqdfisher295]

本地算力能做到吗？没有分布式gpt架构还能成型吗？那navida还有卖场吗，可以解决一部分，但是很多算力到手机上说的太早了，而且一些标识库还是需要gpt架构不断的去生成。

[@leafyoung]

手机芯片是做推理。模型训练还是需要很大的算力

[@getstevenliu]

本地只做推理，INT8精度。

[@user-ov9ds4bz4b]

手机soc还有这等事，感谢科普

[@user-yb5du3ef5f]

难怪小米14那么受欢迎

[@kevinyang4539]

謝謝 !!!

[@mabaoguo1952]

高通这个事情，技术上是可行的。 但对我等月入只有几千块的屌丝而言，还是说了等于没说。😂😂😂

[@cgc5221]

大刘问过两次了，听说过澳大利亚有家叫做Brainchip的edge AI芯片公司吗？目前好像和很多芯片大厂有合作。可以介绍，或者谈谈你个人的看法吗？谢谢

[@getstevenliu]

不好意思，评论我有时注意不到。你说的这家公司我不太了解，需要去调研下。

[@cgc5221]

期待你的讲解

[@joantsai2821]

這集很棒！要是賈伯斯還在的話，蘋果也不至於在生成式AI這一戰，遠遠落後於微軟、谷歌了，唉⋯當初重新定義整個手機的企業，就要沈淪了嗎

[@akitohkhk]

雲運算不 就好了嗎,只要能連網多少算力也能有

[@earneet-]

它掀啥桌子？100亿参数，按半浮点算都得需要2G的显存，光装上参数都得等一会儿，所以移动设备运行大模型在当前硬件规模下应该都不会做，还都得是云推理，而且云推理也明显有成本优势

[@getstevenliu]

云端不见得有成本优势。对于开发者来说，如果他的App内集成的大模型可以在用户本地完成计算，他不需要部署服务器资源。一个100万用户的App，高峰时期并发量上来了，对于云端的算力需求是很大的。你可以想象一下，100万部搭载Gen3（45TOPS）的手机一共是多少算力？如果在云端推理，开发者要部署多大算力来平衡？

[@earneet-]

@@getstevenliu这个太理想了，用户会骂娘的。参数无论是打包在app里还是运行时下载都太占存储，就某个第一方app用的话，集成在room里用户没办法，用户装个十个八个的这种app,它们来回调度争夺显存用户不摔手机才怪

[@ZhiminZhang]

怎么装，有教程么？

[@King96-ub7xt]

有愛國者9000s強嗎？

[@user-tr1zf7gi6s]

这个大模型，除了生成照片，还能够做哪些运用。

[@getstevenliu]

AI助理，一切AI应用。

[@user-tr1zf7gi6s]

@@getstevenliu 听起来，等于是随身带了个AI助理，可以自己训练，熟悉满足机主的需要。那确实还是有用。比如，出门要写个合同，文书什么的，直接就可以用手机生成了。

[@ManilaDragonKing]

手机跑模型太耗电，云端更合理

[@OAAGOD]

我在想那些拥有大型算力服务器中心的大厂的ai已经进化到什么程度无法想象，估计在憋大招，也有可能发现了不得了的东西不敢公布

[@JianYaoCA]

他们发现AI在装傻，否则开发者就玩完了

[@ChihHaoChung]

大模型有啥用？

[@garyli9914]

不懂AI產出明明是假的，為什麼會被追捧？

[@ManilaDragonKing]

苹果的更适合用户

[@OAAGOD]

实质性的变革没说透，个人的智能学习数据库适应个性化智能操作，不断学习进化，相当于私人智能助理

[@inglam]

大刘！！你有微信群嘛！那种可供大家分享交流探讨你视频内容技术的！！

[@ibelievemoneygrowsontrees5041]

It’s Greek to me 😊

[@user-dj6qu8hk5d]

今天拿到头香😀

[@user-mt1pf7wu3x]

塔塔 塔 大留

[@andy8520]

尊嘟假嘟？

[@user-io4rn6rk9h]

每秒运算能力吗？😂

[@cocosgo8469]

从历史来看，感觉苹果过度追求的完美主义，一个产品或功能没做到极致是不会拿上台面来的

[@xxkk3254]

Ai已经泛滥成灾

[@zyhhwz]

华为加油

[@MrCatMan27]

都只是硬體支援。硬體支援而用不到的功能海了去了。ipv6 早在西元2000就做好。2023了，多少人用到？再換個角度講，如果真的能輕易在高通晶片手機上能順跑stable diff，那麼很快美國商業部禁令就要來了。

[@goodukdt8822]

那应该不至于。毕竟批量用手机去跑AI。。那真是成本高了。

[@tyou5779]

对AI的相片，我生理就反感，千遍一律的网红脸

[@getstevenliu]

哈哈哈哈哈哈哈

[@almighty3372]

呵呵，我觉得在听拉丁文课！不懂！

[@forcebender5079]

这种芯片AI模型无法进化，只是阶段性产品，中国的忆阻器芯片才是真正的可进化AI芯片。

[@skyxie5706]

就是个PPT产品，中国都是拿着PPT走遍天下

[@forcebender5079]

你确定不是说美国？@@skyxie5706

[@stephenchen5940]

沙发

[@guy7864]

第二