Llama3 一键本地部署 ！无需GPU ！100% 保证成功，轻松体验 Meta 最新的 8B、70B AI大模型！！ | 零度解说

【更多资源】▶ / @零度解说
【零度博客】▶www.freedidi.com
【加入会员】▶ / @零度解说
-------------------------------------
🔔
本地部署 Llama3 - 8B/70B 大模型软件下载：www.freedidi.com/12189.html
🔰 安全VPN推荐（最高优惠链接）：
1.ExpressVPN：go.expressvpn.com/c/2612933/1...
2.PureVPN： billing.purevpn.com/aff.php?a...
🚀VPS 推荐：
1.bittly.cc/Vultr （优惠链接）
2.bandwagonhost.com/aff.php?aff... （CN2 GIA 全网高速线路）
🦞
AI 生成对口型视频（支持多语言）：bittly.cc/rHFM3
🐳我的下载工具：bittly.cc/idm
💓
1.回国加速VPN ：bittly.cc/qt8cx
💰比特币交易平台
1.火币官网 : www.htx-kol.com/invite/zh-cn/...
2.门罗币：localmonero.co/?rc=y25g
接码平台推荐:
sms-activate.org/?ref=4203005
0:00 视频简介
0:23 通过GPT4AII部署Llama 3
2:25 在 CPU 上运行Llama 3 （8B）大模型
3:38 LMstudio 一键部署 Llama 3（8B/70B）
5:37 100% 调用GPU进行AI模型加速
6:17 Ollama 平台上进行部署Llama 3
8:23 安装过程的重点提示
8:58 Ollama 功能设置
=======================
其它更多精彩内容推荐：😍
• ChatGPT 王炸升级新！无敌的 GPT-...
• Gen-2【燃爆】AI 视频革命！ 一句话秒...
• Google 警告只剩下 3 周时间，开始删...
• Google浏览器的8大“奇技淫巧”！你可能...
• Google AI 聊天机器人「Bard」最...
• 【火爆全网的】AI视频生成神器！让老外说中文...
• AI 视频换脸！史上最强最快的方法，100%...
• Windows 11 最新版（23H2）官方...
• 屌爆了！一键提速400%，堪称 Window...
• Windows 11 正式升级（23H2）新...
• 重大更新！Windows 11 正式发布“M...
• Windows 11 最新版 23H2 发布...
• 注意了 ！Windows 11 （21H2）...
• Video
• 【超强的 AI 作图】Stable Diff...
• “老司机” 必备的8款精品软件！ 超级实用，...
• 炸场来了！ Adobe 新版 AI绘画模型发...
• 终于来了！微软推出 DALL-E 3 图片生...
• 老司机必备的2个U盘，以免为时已晚！它们堪称...
• 【超强的 AI 作图】Stable Diff...
• 让人惊呆！Adobe 新版 Photosho...
• 又一款爆火的AI人工智能应用！碾压ChatG...
• 超逼真的AI数字人，一键免费生成教程！还能克...
-------------------------------------------------
🐎🐎
商务联系：[e-mail]
=========================

[@zhangbinjie]

太喜欢了，这个频道一直喜欢，了解最新的动态。而且学习到很多知识：）

[@zhangbinjie]

含金量喜欢高的频道：）

[@happyalldaylong6212]

感谢零度，我只是学生，无法提供经济支持，但是你的视频真的很有意义，对我帮助很大！感谢！

[@Bystanders-6_6]

Don’t you have a dollar?

[@redwu5918]

@@Bystanders-6_6 负债中~

[@mit377]

come on~~ you got parents and kidneies.

[@user-hz9gc7ew8u]

学生让零度给你送台电脑,再给你两万块钱

[@A103]

真是太棒了，让我第一次体验了在本地使用AI。 希望未来可以讲解下使用API的知识

[@wongsimon2387]

簡單又而明白。謝謝。

[@kai9499]

簡單又明瞭的教程, 萬分感謝

[@gacctom]

太棒了,必須點讚支持一下

[@user-jh4qb3zg1m]

你的视频很经典很实用👍

[@xinsecthosre937]

感谢分享，零哥太猛了

[@ximinzhang1817]

不错不错不错非常好

[@withcarename]

可以做一期視頻如何用sillytavern進行角色扮演嗎？你知道的，很多紳士都想知道！！😂😂😂

[@user-mu4zi5hh2g]

大佬我越来越喜欢你了，估计全网就你一直发表干货。

[@user-np5cr6id2x]

感谢零度每次都能提供相对很快的简单教程，这次做一点补充Windows的话部署docker在安装webui调用ollama不是最方便的（个人观点勿喷），建议用ollama+chatbox方案，对于小白来说可能梗方便一点，主要是Windows下的docker时不时会出问题，而且开hyperv加wsl对小白可能也有点难度。

[@yesyunxin]

部署docker在安装webui调用适合安装在家用服务器上，方便调用

[@shanrenzeri]

wsl还是会出现问题。还是2种方法靠谱

[@shanrenzeri]

其实lmstudio是最快最方便的方法。

[@user-mv9ul9tz1c]

真的，一開始看到的相關影片就是用ollama+chatbox方案，整個流程感覺有些複雜，還想說有什麼程式碼可以直接以API的方式來執行models 後來看到GPT4All、LMstudio、Jan這些似乎簡單很多

[@zechen8299]

@@yesyunxin 意思是可以我用GPU主機運行docker 然後使用macbook iphone之類的用局域網使用LLM嗎?

[@0xtopper508]

感谢分享

[@Dragonborn2024]

mac版的如何配置呢？这三个应该如何选择呢？

[@user-th5od6xi7n]

值得学习

[@kdjs-gk8vt]

感谢

[@FusionDraw9527]

太香了 第三種還支援本地SD模型 真方便

[@joenson.w2622]

爱了 爱了 ~！~！来啵一个😍

[@user-vk6tv8gg7c]

试过了第二种方法的7B，性能实在低下，跟gpt差太远了，但还是多谢零度！

[@shanjiang9203]

好

[@user-mv9ul9tz1c]

感覺零度大可以一集專門介紹跑這些AI model的電腦設備配置規格順便業配

[@pengfeiluo9194]

不过零度很少涉及硬件介绍，主要是软件设置。

[@kamen007]

感谢分享，大佬能否出个基于大模型构建知识库的视频？

[@taokai]

哥们建议你把字幕弄小一些。太大了挡住了太多屏幕空间。

[@yuanmeanchan1368]

真的太棒了，零度大大，用了第三种本地部署，关掉运行界面后怎么重新开启使用？

[@little-catya]

有没有在vercel等容器上部署的

[@marketliao7950]

vercel部署的只能是桥接到AI网址api吧

[@DonaldTrum2806]

请问一下，这个本地模型怎么调教？比如我想把它训练成一个文学性较强的小说生成专家，我该怎么投喂数据？

[@user-mv7ll7ty5n]

请问LM studio 里面的AI Chat 和之前视频里面的Jan聊天有什么区别

[@user-kp9un9dp7n]

这款ai限不限次数，大佬，零度

[@jingke724]

受教了

[@jiero115]

對了哦,不知道能不能支持多模態?如拋個EXCEL表去給他分析?

[@mickeylau1]

請問up主用甚麼電腦？如果用筆記本會否很易過熱？

[@leeneo8933]

能出一期视频，讲怎么使用本地程序调用本地部署的大模型进行自然语言处理的视频吗？ 比如我编写一个python程序，需要给本地的文章进行扩写或者总结，然后保存到本地文件。

[@liubao]

希望出一个本地化训练的教程

[@54shanghairen]

昨天就已经通过ollama部署好了，回答问题默认都是英语，只有要求它用中文回复才行。而且问他金庸写过哪些小说，答案尽然有红楼梦和三国演义

[@donkeykong8792]

回复快吗? 还是要隔很久

[@TangFlos]

flirtease也還不錯

[@leontang2086]

证明很笨

[@bg9280]

我都怀疑它是故意回答错的.

[@jiangjiang9130]

那就没下载的意义了

[@LOHAS-BRAIN23241]

谢谢您的分享，请问安装Liama3在本地电脑，可以直接调取我百度网盘内存储的数据，进行训练吗？

[@JukaGanisia]

想看能支持知识库的部署方法

[@lightside5492]

最好是深度使用

[@foxtmd]

这篇内容对于国内的人来说,很先进,第一种安装成功了,请问,下载的模型存放在哪个根目录下,我想拷贝下来,随时随时可用.第二个问题,第三个安装方法有绘画的功能,是我所期盼的,接下来研究一下,同时也告之,下载的模型存放在哪,谢谢隔壁老乡了.郴州阿桂

[@user-fg6gn4us3r]

docker下载的模型在docker的虚拟磁盘里，默认是在c盘用户名的appdata里的dockers文件夹里，试了下连不上sd，不知道什么原因

[@thomaskuo9884]

零度先生您好，已成功佈署並可運行，感謝您。請零度先生撥空，教導如何與Stable Diffusion 做連結，一直有錯誤訊息出現....，如果繪圖功能也完整，那在單機上就完整加完美了，謝謝您!!

[@cnflashsword]

笔记本电脑是不是买M系列比较好，内存当显存用

[@LeeLee-tf7vi]

请教，这些本地模型，可以经常更新吗？如果更新的话是全部下载模型还是只下载更新的部分

[@user-ps2lr8ci2d]

人生中第一次回复评论，希望大哥出一期如何本地微调我需要写文案

[@user-ps2lr8ci2d]

安装后硬盘变得好满又找不到，小白求求可以出一期教如何清理干净

[@TooropLo]

零度，谢谢！能不能制作一个介绍将ollama和open webui安装在云服务器的视频？我的电脑比较渣，云服务器安装虽然付费，测试的时候，总比买个新电脑便宜。谢谢！

[@user-Shawnlin1220]

簽到到

[@yiweiwu5950]

感谢大佬分享！请教一下，我安装了GPT4All，我可以在设备管理里看到显示适配器是 NVIDIA Geforce RTX 3060 ti 但是为什么在Device的设置中并没有出现我的显卡信息..我只能选择CPU..这是为啥😅

[@tommyzen3984]

CMD输入提示docker不是内部或外部命令，也不是可运行的程序或批处理文件

[@demodemo5991]

你的Windows 沒有安裝 Docker。 自己尋找Windows 安裝 Docker 的教學，安裝Docker。

[@albertdell]

請問這3種安裝，有支援插件或是其他功能，例如知識庫或工作流？

[@Mrlin6]

请问第三种方式会产生什么消耗吗，怎么恢复原来界面呢，直接删除docker有影响吗

[@yan_yan_1995]

省流省時間，CPU 跑的結果能在 3:35 看到 CPU 跑是能跑，就是慢 到最後就是說要是跑大模型的話顯卡是少不了!!! 簡單缷載, 拜~

[@JasonXu-rz6gd]

感谢分享，Docker Desktop安装后怎么设置使用GPU ?

[@YuRanHuang-yd8yt]

请问本地运行的llama 3 ，能够支持文生图功能嘛

[@bryanjofersion]

最后一款看到一个＋号，是不是意味着可以上传文件呢？

[@JettZhang]

请问这个支持上传文档吗

[@Mrlin6]

安装模型会占用内存空间吗

[@user-wt1fr2vh3g]

学习了，第三种方式用Ollama+anythingLLM会不会更简便

[@conerwei6720]

零度可以分享怎么把开源模型微调成无限制回答任何问题的吗

[@gigantic6066]

想问下 采用第二种方法安装了以后 是否能够上传文件请AI分析 如何操作？谢谢

[@amain-lin]

試用過後，還是覺得將gguf引入Jan比較好用，可以製作一集Jan API的教學嗎? llama3中文支援較差，但是可以要求將回覆的英文答案翻成中文！

[@FangLiu-ef3sj]

請教：使用70B模型對顯卡的最低要求是什麽，我使用TITAN RTX 24GB顯存，機器是雙E5-2699A V4 CPU RAM是128GB 安裝你提供的方法在GPT4ALL裏無法運行70B模型，我需要運行這個大模型請你幫助，先謝了！

[@rezou656]

后面能更新下ollama怎么配合stable diffusion使用么？

[@dandelionsdontfly6422]

Llama3使用本地satble-diffusion有什么用？一般本地有SD我也可以直接运行啊，Llama3里面运行有什么效果？

[@user-it7zp1dn9q]

能通过对话 让ai进行全网搜索吗😂

[@mangguo88]

，12年的电脑，4核，1g的显卡能用不？

[@cup_of_air5079]

可以跑，但是用不上 每十幾秒才蹦一個字出來，如果你覺得可以接收的話就是能用

[@user-mv9ul9tz1c]

目前看到可以用來做本地AI models的平台有 GPT4All、LMstudio、Jan、Ollama，不曉得哪個最方便? 另外如果是該平台找不到特定models，都可以直接去下載GGUF檔 import進去嗎? 謝謝

[@cup_of_air5079]

Jan的話介面最好，最齊全 我記得Jan和這個GPT4All也可以丟模型進去

[@GuGu-wg7si]

GPT4ALL可以自己找.gguf檔丟進去

[@Latano]

这么多模型，他们本质上有什么区别吗？或者说每个模型针对的范围不一样？可以介绍一下吗

[@aggiech153]

感谢，想使用monica， 有免费使用办法吗？

[@user-nv6js3vs5r]

回答信息都是最新的吗？

[@user-ie6yf8zu6j]

请问有对应的api吗

[@pandahot586]

熟悉的搭好

[@jinyuli1022]

感谢零度！怎么本地微调可以讲一下吗？本地的数据集，例如产品手册、话术库等，另外针对报价表之类可能随时更新的文件有没有比微调效率更高的方式？

[@VincentCheng1658]

+1 也需要這個功能，也就是透過微調建立自訂定的知識庫

[@shanrenzeri]

请问下在lm studio上运行的llama3，如何解除限制，让它回答原本不能回答的问题？

[@kejixueyuan]

感谢零度，我想问一下，第三种方式部署的话，模型是下载到那个盘的？

[@零度解说]

默认C盘

[@TheBear0116]

請問用IDM下載不了影片 ,有其他管道下載嗎? 有爬文 好像是新增了DRM 求解 謝謝(是要下載某個平台的影片)

[@user-fadeshun]

问一个问题，第三方式ollama部署，下载的大模型是默认放在哪里的？我想COPY出来用到其它电脑上

[@klosetony]

C:\Users\xxxx\.ollama\models

[@user-fg6gn4us3r]

在docker的虚拟盘里，外面用不了c/用户/用户名/appdata/local/docker/wsl

[@user-hv6ln5gn3k]

mac intel 没办法安装，支持m1 m2处理器。

[@user-pq5gb4op8d]

如果下载多个模型。ollama 会影响性能吗？

[@Jamesbound407]

最后介绍的ollama+llama3测试下来对lobe chat不兼容

[@user-vu3nq9hx2s]

硬件需要哪些要求？

[@user-hr1ql3si3b]

有docker版本吗？

[@fusooadsssfefefef]

4090😮

[@weiwan6585]

可不可以做一期用甲骨文云服务器安装Ollama的教程?我觉得如果能安装在服务器上会比本机更有效果!

[@user-dn9pt2vf1d]

请问，如何我想微调模型，我需要怎么准备数据，训练方式是怎么样呢

[@samero520]

最后那个dock部署的方法，后面选择模型完全跟博主演示的不一样，博主的可以直接点击下载模型，还能查看模型，我自己的模型只能填写，填了好几次都不行，要么没有授权，要么连不上，没有下载模型的选项。。。。怀疑博主用的是特供版。。。

[@CookieLik]

零度，看看SD3吧😢，怎么再Comfy ui上使用

[@ypvan8533]

一出来就有了啊，github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-API，要出钱买api才能用

[@ChangEarl]

請問一下可以在Windows 伺服器2019 使用嗎

[@hedu-jh3th]

用的是第三种方法😂

[@nickchen5303]

可以在amd的显卡上面跑吗？

[@macliang2005]

太好了，我可以科学上网，全局模式，但是下载模型提示Fail，提供一个70B模型的下载地址吗？谢谢 ：）

[@yesyunxin]

请问 N100 CPU 能用吗？

[@bg9280]

AMD5800X3D运行70b的大模型很慢8B会有一点点卡顿.

[@user-dl7ho1rv6k]

6分钟

[@janabortagdir216]

问一下你们的Llama3 是不是鸡兔同笼问题解出来都是错的？

[@bytom5005]

一分钟

[@nickwang975]

需要喂数据训练吗？lla3和gpt4比哪个好

[@sbyszw7785]

用稍大一点的模型，显存加载的时候，卡的很（22G),加载完了，又完全正常的用，但是停几分钟不用，显存又被清空了，再用又要重新去加载，，有没有办法让他不自动清空显存啊

[@yun-chenyen2834]

比較好奇，個人或學術開源就算了，為什麼那麼多企業也開源用那麼多成本訓練的AI模型？這背後有甚麼商業邏輯嗎？

[@sunpercy6137]

博主你好，我在苹果电脑上安装了 LMstudio，安装 Liama 3 的时候提示安装失败，说是网络原因，但是我是可以正常访问网络的。是不是有地方没有设置好呢？

[@xiyin999]

已经开了全局，docker的镜像文件还是不能下载，请问怎么解决？

[@user-gc9sm9ow4l]

您好，请问能不能用Mac电脑演示一次如何安装使用？

[@ygqkekeiw15hhgdvjf81]

copilot 右下角怎么弄一下

[@songeric8244]

请教下up主，我按照方法2本地部署了模型后，只能在本地使用吗？怎样使用远端访问？

[@tonyzheng7943]

第三种安装成功，2️⃣字跳