【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备！| Llama2 | Gemma | Mistral

[@fxchesscom]

非常感謝你的介紹，簡單明瞭，現在最大的問題就是顯示卡的顯存不足導致有很多大模型都無法本地運行，但是我相信並且希望未來應該要有辦法解決直接讓模型使用電腦的內存而不是用顯存，否則顯存一般無法讓user自己擴充，這就產生了一個很大的障礙

[@tiffany2435-q1i]

博主好幽默

[@青竹-j1l]

下模型的时候看一下模型大小，给20%左右的余量，大概就知道多大内存（显存）能跑了（如果没有桌面环境，用的linux的server系统，5~10%余量就可以）。只要模型能完整载入内存，就能跑，只是卡。如果模型能完整载入显存，那速度基本就不用担心了。

[@jamesyen7288]

感謝分享~~~希望這系列的分享能持續

[@cpyi1]

哈哈 謝謝分享 很有趣

[@leeuwmeanfee4726]

您的电脑硬件配置是什么？比如内存，8G还是16g?显卡独立？还是集成？

[@andrewzhao7769]

感谢分享！！

[@jerryhuang3565]

4060TI 16GB的話可以跑30B以下的model，而且回復速度大概一秒2-4個字

[@dannywolf2491]

请问，这个方案如何能够调用给微信小程序的客服？有没有接口，希望得到您的支持

[@cityturbo_EZ]

为什么我用 ollama 下载的 llama3.1 8B模型在装了open web UI之后看不到？难道我又在 open webUI 中重新下载一遍吗

[@lincodev]

谢谢分享。 Web UI 成功下载后。报错( 如下)原因未知 (HTTP code 500) server error - Ports are not available: exposing port TCP 0.0.0.0:3000 -> 0.0.0.0:0: listen tcp 0.0.0.0:3000: bind: An attempt was made to access a socket in a way forbidden by its access permissions.

[@xuanw1741]

端口被占用 了 重新下载的时候 把端口号换了 在回车下载

[@杨明龙-z1n]

我也是 一直报错，你解决了嘛

[@jason8007]

1、无法锁定中文回复，要不断的给中文指令。2、有字符限制，超过了就给你发一堆的符号

[@grandpabai]

可以用llama的中文微调模型

[@shengliu3501]

微调需要什么配置

[@grandpabai]

@@shengliu3501 不用自己微调，ollama里面有中文的lamama模型

[@qikevin-qm3kw]

安装ollama后在cmd窗口输入“ollama”回车，显示“'OLLAMA' 不是内部或外部命令，也不是可运行的程序或批处理文件。”，请问如何解决？感谢指教！

[@grandpabai]

应该是安装的时候没有添加到系统变量中

[@姜轩宇]

'docker' 不是内部或外部命令，也不是可运行的程序 或批处理文件。这是怎么回事

[@kongyutay4852]

1。检查docker 有没有加入环境变量2. 确保docker 进程有在运行

[@zxjason]

我觉得Chatollama比open-webui更加好用。

[@user-uo1hp4xq4k]

我显卡是4070，下了一个lama3，为什么输入以后就回答不了呢

[@user-uo1hp4xq4k]

我看了一下运行模型的时候gpu没有被调用，这是怎么回事呀，求解答😅

[@ruingd5237]

​@@user-uo1hp4xq4k他有个设置，叫gpu offload 你把那个勾选上，拉满就可以显卡跑了

[@user-bn2se8qv4p]

@@ruingd5237 具体在哪里呀，没有看到这个设置，我这感觉还是cpu跑的

[@LErik-yc5oq]

但 ollama 本地服务现在都不支持 tools calling

[@kejixueyuan]

Open WebUI中加载模型时出现524错误

[@嘉文周]

为什么之前下载了一个7b的千问模型，之后webui界面完成后又要下载模型 ，不能之前下好的吗

[@grandpabai]

能用的，这个视频我用了两台电脑演示，所以后面的电脑又重新下载了一次模型

[@shengliu3501]

都是量化过的模型吗

[@杨明龙-z1n]

一直报错，WSL的问题

[@syr1145]

《简单礼貌的问候语》

[@user-kr2ki4fo4j]

你好，请问如何让open webui运行的模型能够联网搜索内容呢