【English subtitle】 Mini PC running Llama 3 performance comparison! Is Llama 3 already smart enough?

Рет қаралды 7,214

Күн бұрын

Пікірлер: 56

@jackstone 6 ай бұрын

GMK极摩客M6迷你电脑：u.jd.com/9qd965S Minisforum铭凡 V3 8840U三合一平板电脑：u.jd.com/VbYbgbx ACEMAGIC阿迈奇星核M1A 12900H+3080迷你电脑：m.tb.cn/h.5zroRcM 天钡GEM12 7840HS迷你电脑：m.tb.cn/h.5CrelUZ 截至2024年第一季度的openWRT测试数据（以CoreMark成绩排序）已经上传到Google Drive！大家可以自由下载作为迷你电脑选购的参考！ drive.google.com/file/d/1yh9mo-pY3kErq8g0Dog2vVr6sL9G51u5/view?usp=sharing 2023年底迷你电脑性能测试排行榜所有数据！含CPU Z、Geekbench、Cinebench、PassMark等等等！不单单是openWRT的CoreMark排行榜了！我们承诺过把其他测试数据全部公开的！😄 大家可以在以下链接下载压缩文件！解压后可以看到所有的相关数据！ drive.google.com/file/d/1X8m6roCMjIqKn5zuar8rVjV1WkUn7eTK/view?usp=sharing 链接：pan.baidu.com/s/1oSXBnwTrVl5rL4NtgLkT1Q?pwd=kwei 提取码：kwei 也可在这里浏览：www.bilibili.com/read/cv28812123/ 这些数据仅供大家购买迷你电脑参考！全部数据我们每年这时候更新！季度仍然更新CoreMark排行榜数据！

@shiroyami5252 6 ай бұрын

作为参考，我也给一个m3 max跑的测试结果，同样是问贪吃蛇问题： gpu跑：time to first token: 0.36s, gen t: 25.10s, speed: 52.54 tok/s cpu跑：time to first token: 1.66s, gen t: 79.10s, speed: 15.59 tok/s

@jackstone 6 ай бұрын

400G带宽😄

@ingodwetrust304 5 ай бұрын

我的M1（8G）卡的死死的 10分鐘才回答上“你叫什麼名字”的問題換成PC RTX3080 （160W）大概speed是55tok/s 不過ollama 3的很多回答完全就是bullshit

@shiroyami5252 5 ай бұрын

@@ingodwetrust304 llm还是受内存限制比较大，理论算力基本去到4050就已经能几十个token一秒了

@user-yingshubo 6 ай бұрын

这个评测，正是我想要的，太好了！！😘

@shepherd1985 6 ай бұрын

刚刚是了，copilot就可以从1加到101，他还把公式列出来，高斯求和公式，windows自带的就已经很好用了

@jackstone 6 ай бұрын

对，试了kimi，一次就对还很流畅，不过这些都是要联网提交数据的，本地大模型有隐私和安全考量，以后性能起来了，还是能发挥一定作用的😄

@playbox90 2 ай бұрын

就是想知道，780M核显跑llama3的体验到底流畅与否，枫几秒开始输出，是不是一个字一个字蹦出来？

@jackstone 2 ай бұрын

独显都是直接飙出来，一屏一屏出，核显要转一端时间，然后一行一行出😄

@jiang-g6h 6 ай бұрын

好啊，支持测试更多pc。谢谢

@jackstone 6 ай бұрын

谢谢！😄

@qianqian888 5 ай бұрын

是否可以考虑加个多开虚拟机数量测试呢?

@CN-MoonBase 6 ай бұрын

老白，请教下，主要用作平面设计，有没有哪款迷你主机值得推荐的？

@jackstone 6 ай бұрын

intel CPU，大内存，建议12500H或者1260P以上，11代U不要考虑😄

@MaqaChina 5 ай бұрын

@@jackstone不懂就问，平面设计为啥一定要intel？也没核显加速，ps ai性能也不会差很多吧

@不想上班鸭 5 ай бұрын

软件优化支持更好

@tonytang5527 6 ай бұрын

老白又鼓捣出新的测试项，非常好！·············

@jackstone 6 ай бұрын

😄

@ghost-crab 6 ай бұрын

老白请问如果想要极致静音被动散热，是不是最多只能考虑n100，不能再高了😮

@jackstone 6 ай бұрын

最好j4125，那是绝对不热的😄

@jeesonmai6912 5 ай бұрын

@@jackstone 还是很热

@MMKoKoYa 5 ай бұрын

只打打CS2的話用哪種的迷你主機好阿？穩144就好了

@LIUXIN 6 ай бұрын

没验证他们给的c++代码是否正确啊？

@hsiaomarcone2197 6 ай бұрын

最後一句好笑：一句完整的話都沒憋出來^_^

@jasonxien6890 6 ай бұрын

我也跑了一下。7B很多时候，是一个搞笑版，i没有实用性。更大的模型。需要硬件支持太高了。跑不了。

@jackstone 6 ай бұрын

我还用rtx3080跑了70B，也是根本不行😄

@jasonxien6890 6 ай бұрын

@@jackstone 买一个H100吧。肯定可以的。

@jackstone 6 ай бұрын

😄

@albatross1243 6 ай бұрын

丐版8G M2呢

@jackstone 6 ай бұрын

没看到视频最后？😄

@hinhinsho227 6 ай бұрын

mac mini是不是内存8g太小了，扣的要死，苹果～

@jackstone 6 ай бұрын

😄

@fe7790 5 ай бұрын

还是多出点矿渣测评吧。这么贵的机器，咱玩不起啊。

@jackstone 5 ай бұрын

你豁我，千元6600H咋玩不起了？软路由垃圾群里都人手7840hs了😄

@darkzone1952 6 ай бұрын

😁简直降维打击。能跑通译千问13B 的模型

@jackstone 6 ай бұрын

16g显存必须的😄

@yanjh222 6 ай бұрын

与时俱进啊

@jackstone 6 ай бұрын

必须的！😄

@TS-tx3cd 6 ай бұрын

老白出品，必当一顶！

@jackstone 6 ай бұрын

比当感谢🙏😄

@legleg4607 6 ай бұрын

第几？

@jackstone 6 ай бұрын

前列！谢谢🙏😄

@greenone9951 5 ай бұрын

别试了，再牛x的硬件也伺候不了这垃圾中的模型

@jackstone 5 ай бұрын

本地70B确实不咋个，有没有中文好的推荐，kimi我挺喜欢，可惜没本地开源😄

@medialili5541 6 ай бұрын

我还是继续用我的小主机加4090独显吧，就别折腾了

@jackstone 6 ай бұрын

大哥威武！😄

@ckne1 6 ай бұрын

大哥威武

@CPDD520 6 ай бұрын

第一

@jackstone 6 ай бұрын

谢谢！😄

@强力强 6 ай бұрын

我想说的是，这有什么用啊，感觉就是百度等搜所引型搜出的结果在自己软件的窗口显现而已。对错就不敢恭维了

@jackstone 6 ай бұрын

目前不堪用，看今后发展😄

@ingodwetrust304 6 ай бұрын

AI 狡猾狡猾的杯子沒有口你還沒法反駁它

@jackstone 5 ай бұрын

😄

@harryone9875 6 ай бұрын

那我就来个老二吧！

@jackstone 6 ай бұрын

谢谢！😄