本地跑大模型，需要什么配置

1、在本地跑开源大模型，有什么好处？2、PC入门配置、理想配置推荐。
⭐️ 视频中提到的产品 / 项目 👇
➡︎ Ollama: ollama.com/
➡︎ Anything LLM: useanything.com/
⭐️ 更多相关视频 👇
➡︎ Ollama + Hugging Face: • Ollama + Hugging Face：...
➡︎ Ollama + Anything LLM: • 部署本地大模型和知识库，最简单的方法
➡︎ Ollama + ngrok: • 本地知识库，外网也可以访问
===========================
加入付费社群，提问 / 交流
===========================
🔥 知识星球：t.zsxq.com/19I...
===========================
墙内用户来微信平台来找我
===========================
⚡️ 视频号：黄益贺
⚡️ 公众号：newtype 超级个体
===========================
我的理念 + 我想干什么
===========================
🤖️ 我坚定认为：1、AI是我们这代人一生一遇级别的机会。2、内容和代码是这个时代最重要的杠杆，大过资本和人力。
💥 通过分享关于AI的Why和How，通过内容和社群，聚集像我一样希望成为【超级个体】的人。

[@huanyihe777]

Patreon已上线，欢迎加入：www.patreon.com/newtype_ai newtype是我创建的社群。之前开通了知识星球，面向国内小伙伴，已经运营三个月。现在有了Patreon，海外的小伙伴也可以加入讨论了。

[@Trevor0713]

我分享一下我在公司工作站上的配置, Xeon W 2123, AMD 7900XT, 64GB DRAM, 跑llama 2-chinese 13B int8是完全沒有問題的, 7900XT的VRAM夠大, 可以把整個模型都塞進GPU, 再搭配LM Studio的伺服器功能, 可以架一個LLM給四五個部門同事同時使用, 非常順暢. 我目前正在考慮改用Int 8的7B版本, 把一些VRAM騰出來給SD用. 但我說句老實話, 我目前不推薦使用AMD的GPU, 因為開源LLM如果沒有微調, 生成品質是沒辦法跟chatgpt相比的. 但微調這件事, 目前在A家平台上, 只能使用ubuntu linux, windows還不支援.

[@fornoonee]

amd能跑大模型吗。。。好像没见过欸。

[@DigitalAlligator]

为什么要用windows？我以为AI没人会用windows

[@fornoonee]

@@DigitalAlligator我就是简单调一下ollama的api试试。现在windwos也可以用了。rocm支持windwos的6800到以后的卡了。

[@huanyihe777]

这期一录完，我就下单了两根16G DDR4 3200内存条，明早到。可以跑更大的模型了。达芬奇也应该会更流畅。

[@5204]

去年內存便宜的時候買了八根16g的ddr4 3200 ecc，在epyc7402上組八通道，整機價格還不到五千人民幣

[@Ersambx]

你这应该叫小模型，不叫什么大模型，就像马斯克上次发布的大模型，硬件就至少需要8块h100显卡，才能跑的动。

[@huanyihe777]

🙃

[@user-dv7xh4ji4j]

你说的训练，博主说的推理，不是同一个阶段

[@DigitalAlligator]

😂哪来的沙雕，连training和inference都分不清

[@Fandral2008]

主要我无法忍受比gpt4弱智的大模型了，所以还是要长期续费GPTplus，局域网做一个企业知识库的话，普通大模型应该就可以了

[@huanyihe777]

可以混合使用。比如，像Anything LLM这种软件支持多种大模型聚合。把API Key填进去，需要用的时候随时切换。

[@pangzima]

感谢😄内存够了，显存就。。。。哎~

[@huanyihe777]

换显卡吧😅

[@pangzima]

@@huanyihe777 4060ti16显存，您觉得怎么样，用来跑本地大语言模型

[@youtube-user-offical]

@@huanyihe777笔记本可以换显卡吗

[@CreativeEnglishTeaching]

@@youtube-user-offical 有可插拔独立显卡的可以换显卡，但即便是这样，也不代表所有人的这种独立显卡都可以换，那种显卡有半高的和标准全高的，半高的显卡如果显存是最高容量了，那么就没法换了，全高的显卡还有升级的可能。通常使用全高的独立显卡的这种笔记本电脑是17寸的笔记本，这种笔记本基本上都是工作站电脑，用的人较少，对于15寸或者14寸的笔记本电脑显卡插槽基本上装不上全高的那种显卡，因为显卡占的面积太大。笔记本还可以使用外置显卡，可以通过雷电接口或者Expresscard扩展外置显卡。

[@youtube-user-offical]

@@CreativeEnglishTeaching 谢谢，很专业

[@yan_yan_1995]

想看主題的話由 3:00 開始看就可以了 😃

[@lamleo-tp7gb]

你好我想問MacBook 18G m3pro 可以跑嗎 我想訓練一個很小的語言大模型

[@ananceng-cp1vv]

可以 m芯片的內存是可以當顯存用的

[@huanyihe777]

可以的。我最近在尝试微调Llama3.1，之后会分享视频。

[@raze0ver]

请教 4060 ti 16gb 会比3060 12gb 更推荐吗？还是没必要，如果不能一步到位4090，就干脆还是3060 12gb ？ 主要是针对音频生成的模型

[@huanyihe777]

肯定优先40系显卡。内存32G吧，不贵

[@raze0ver]

@@huanyihe777 谢谢回复！可能没说清楚，是4060 ti vram 16gb版本和3060 vram 12gb版本，不是内存大小

[@acer5504]

4060 16G​@@raze0ver

[@jingxiang7830]

请问哪一款开源大模型比3.5好

[@huanyihe777]

比如，Alpaca，斯坦福大学基于LLaMA 7B模型微调出的新模型。还有那些MoE的，都很强

[@user-dp1xb9pl5x]

MBP M2 MAX 96G内存8T配置能跑吗

[@huanyihe777]

可以

[@user-dp1xb9pl5x]

@@huanyihe777 明天试一试

[@kenliang.clicks]

感谢分享！非常有帮助！

[@user-ym6mm4se2x]

m40 12gb現在能跑啥

[@huanyihe777]

不了解

[@nking99t]

mac用的unified memory，那应该多少才够？

[@huanyihe777]

我没关注Mac。因为我的Macbook Pro还是2017年的，反正怎么着都跑不了。等M4出了，我要换机了再看了。Mac统一内存看起来很大，但具体怎么分配，搞不清楚。还有苹果版CUDA，不知道会怎么发展。等看今年WWDC会有什么消息。

[@l3nhl]

64 起步 128G 稳定 196最好

[@user-qg4fe2yz5b]

4090起步，有条件买几块H100也行

[@tinkeringpoko]

准备组3090 x 2 nvlink的我点进来看 发现我是不是在overkill😂

[@Trevor0713]

是overkill了...XD

[@tinkeringpoko]

@@Trevor0713 3090 x 2应该可以跑llama 2 65b @ 4bit precision 现在缺冷头 nvlink的间距风冷是塞不下的（笑

[@star95]

請問OS是應該windows 還是Linux？

[@huanyihe777]

都行吧，我是用Win10

[@user-bf9jp4ue1r]

游戏笔记本部署有什么推荐的

[@huanyihe777]

就照着配置推荐买咯

[@bluewatercg]

共享显存可以吗

[@huanyihe777]

我没试过，应该可以。GPU不是必须的，但最好有

[@benjaminzhong5882]

个人玩票的配置

[@huanyihe777]

有生产力的

[@allanallan6258]

你倒是跑来看看啊

[@user-pi7yq8um8n]

請問如何在本地訓練自己的AI

[@huanyihe777]

微调，挺麻烦的，成本高，成功率不高。还是用rag吧