使用 DeepSeek R1 与 AnythingLLM 搭建本地知识库

[@马克的技术工作坊]

关于减少模型杜撰，这里再补充几句：切换到聊天模式后，AnythingLLM会在没有关联文档的情况下直接告诉我们无法回答。不过还存在一种情况，那就是搜到了相关文档，但是相关文档无法解答我们的问题，这个时候 DeepSeek 会有 3 种反应： 1. 告诉我们根据引用文档无法回答，这是我们想要的结果。 2. 在思考过程里面告诉我们引用文档无法解答问题，但是结果中依然给了我们回答，这种一般是由于模型参数量不够而无法完全理解聊天提示，不过我们看一眼思考过程也可以确认，基本不用升级模型。 3. DeepSeek以为自己找到了答案，给了我们一个结果，但是其实这个答案有点问题。这种情况下一般只能通过使用更多参数量的 DeepSeek-R1 来解决。我自己测试下来这种情况比较少。 另外，如果没有搜索到对应文档，可以尝试修改配置中的 Embedder 首选项，这是决定文档检索的关键配置，可能默认的方式与你的文档不太匹配。 最后，如果大家依然不满意的话，建议尝试下 NotebookLM，我用下来效果要比本地的好不少，效果比较稳定，也不需要复杂的配置，只是数据存放在云端，不是很方便，可以了解下：kzbin.info/www/bejne/bIGvdKaOZsx2oZY

[@lingstein3500]

AnythingLLM是内部整合了Ollama的，它默认的LLM用的就是ollama，还能导入不在列表中的Guff文件

[@张养浩-z3r]

There is no relevant information in this workspace to answer your query 按照视频说明操作，一直是这个提示，不知道是怎么回事

[@jshw-zx9sm]

谢谢分享

[@琴古]

为什么我在工作区上传了一个电子书：“为自己思考：终身成长的底层逻辑 (奥赞·瓦罗尔，苏西 译)”，我让Anything LLM帮我写一份读书笔记，结果系统提示： 我无法直接访问或查看您提到的 PDF 电子书内容，因此无法为您撰写具体的读书笔记。如果您能提供电子书的详细信息（如主要观点、章节标题等），我可以帮助您整理和总结相关内容。 请问这是什么原因？

[@JQKE-f7r]

請問有人可以成功的用那個麥克風按鈕來語音輸入嗎？

[@greenone9951]

唯一的问题是用户权限比较迷，如果用团队的话

[@alexlee5969]

謝謝你的分享，请问一下用你的設定可以根據我給的資料再推算嗎？例如給它，A+B = C，C +A = E，問它E除以（2A+B ）= 1是否對，它可以嗎？

[@jackzhang139]

请问为什么Windows下，下载了ollma， 网页显示Ollama is running。。 安装AnythingLLM 后，选择提供商OLLAMA下，Ollama Model找不到已经下载的（通过power shell）deepseek-r1。请帮助

[@yanwang7043]

谢谢分享！！有个问题，文字太小了，large选项也不大，其他挺好！

[@马克的技术工作坊]

你用的是什么系统？我用的 macOS，默认字体大小还好，不过觉得不合适，使用 Cmd 和加号键（或减号键）可以增加（或降低）字体大小。在菜单里面选择 View，再选择 Zoom In / Zoom Out 也可以达到同样的效果。我估计 Windows 里也是类似的方式，有可能是 Cmd 要换成 Ctrl。

[@yanwang7043]

@@马克的技术工作坊 谢谢！Windows，Ctrl+/-无效，view 没有zoom in/out

[@Badi-fz4kn]

向量化模型在哪下 文件上传不了

[@seakan6835]

为什么你们都喜欢使用ollama的蒸馏模型？

[@fool9111z]

小且有推理模式，除此之外没有开源的推理模型

[@kevinwen1716]

马克你好，上传文档是否会上传到网络上？如果是本地上传，文档会不会再自我复制一份，占本地资源？

[@马克的技术工作坊]

@@kevinwen1716 不会上传到网络上，它只会上传到本地。关于是否会占两份空间的问题，我在AnythingLLM的官方网站上没有找到说明，不过据我的使用猜测，应该会再复制一份，只不过AnythingLLM复制的这一份格式与你原来的文档并不完全一样，它会做一些处理和索引，以方便模型查询。目前大部分的AI知识库系统应该都是类似的处理逻辑

[@kevinwen1716]

@@马克的技术工作坊 感谢详细解答！

[@brotherchang]

以推理模型（ OpenAI o1及 DeepSeek R1） 需要思考链（CoT) 的阐述内容，常理上使用监督学习（注重每一个步骤细节的掌控）作为训练较为合理完整，而DeepSeek使用的强化学习（只注重目标结果的奖励）训练效果却与监督学习相当，请问你觉得为什么会这样呢？ 目前这个效果在DeepSeek R1是呈现了，但可以更直观解释其中的道理吗？

[@jefftgs9040]

无法把文件保存在工作区是网络的原因么？

[@李小颖]

anything上传文档失败，大多数应该是配置出了差错，没有配置向量文件。 1.找到设置里的embedder preference 设置向量模型 没有的先安装模型（cmd）： ollama pull nomic-embed-text 选择ollama向量模型 设置完应该就能正常上传了.

[@jefftgs9040]

@李小颖 谢谢 安装完模型后改了 向量设置里的配置 现在是可以保存文件了。不过pdf文件上传后好像它自己会重新编译另外的格式 基本上数据就乱掉了或少掉了 😅😅😅

[@李小颖]

@@jefftgs9040 这个我还没有试过，也在摸索中。

[@oliveryb]

windows机器是64GB内存, AMD6800 16G显卡, 适合吗?

[@theamazings2296]

同问，听说7B版本大部分现在电脑都运行的可以

[@minqiu06]

64 GB +显卡，14b应该无问题。快慢不知道。 我在16GB laptop 上跑7 b，还行。

[@bbylw521]

win为什么下载不了AnythingLLM

[@mark.z653]

Macbook 硬盘不够了，可以把上传文件的位置改为移动硬盘吗？，同时可以指定本地目录吗？

[@马克的技术工作坊]

AnythingLLM自身似乎没有提供更改目录的地方，它的位置是固定的，macOS就存放在/Users//Library/Application Support/anythingllm-desktop/storage，符号链接（symbolic link）可能能解这个问题，也就是说，mac本机的 storage 文件夹就是个链接，实际存储内容放在移动硬盘上，用ln -s就可以实现，不过我没试过，你可以试下。

[@oliveryb]

我有很多本地文档, 可以指定本地资料目录吗? 而不是一个个上传, 那可多了去了....

[@马克的技术工作坊]

可以的，能同时选中多个目录一起上传

[@bgg8891]

@@马克的技术工作坊 这是上传到哪里？服务器？

[@马克的技术工作坊]

@@bgg8891 上传到了本地AnythingLLM的管理目录，不会上传到网络上

[@oliveryb]

macbook air M1 8G内存版本适合不?

[@马克的技术工作坊]

我看你问了 3 个问题，我这里一起回答下：你的这两个配置可能都有点悬，8G内存量太少，另外一个是AMD显卡，不太清楚是否可以用cuda，不能用的话速度可能会有影响。另外关于你上传的问题，AnythingLLM支持全选一起上传的，不用一个一个点。

[@oliveryb]

@ 我的几千个文件份不在几十百个目录, 如何一起上传, 上传目录支持吗?

[@马克的技术工作坊]

@@oliveryb 支持，可以同时选中多个目录一起上传

[@liulouis3716]

我的M1只能安装R1 -1.5b能用吗？

[@马克的技术工作坊]

你用的具体是哪个 macbook？我是 m1 的 macbookpro，32GB内存，试过 14b 的也可以流畅运行，再高就没试过了

[@Sunglowxian]

上传很多笔记后，可不可以根据这些笔记内容和一些提示语，写一篇新的笔记

[@马克的技术工作坊]

@@Sunglowxian 理论上应该是可行的，不过估计效果不会很好，因为它的主要目的是查询笔记，而不是创造

[@zmw-n1y]

上传的文件点保存时都提示错误，无法把文件加入工作区。 Error: 1 documents failed to add. fetch failed

[@rasen7972]

我也是这个问题，请问怎么解决。 mac电脑

[@马克的技术工作坊]

第一次上传需要联网，AnythingLLM要下载向量化模型，25MB

[@李小颖]

@@rasen7972 anything上传文档失败，大多数应该是配置出了差错，没有配置向量文件。 1.找到设置里的embedder preference 设置向量模型 2.没有的先安装模型（cmd）： ollama pull nomic-embed-text 3.选择ollama向量模型 设置完应该就能正常上传了.

[@shinchin384]

我有一些数学论文 但是里面的公式 有的是图片格式 有的是latex 这种文件给Deepseek能正常查询码？

[@马克的技术工作坊]

latex是纯文本，应该能解析，不过参数量比较小的话，大模型可能理解能力有限。另外图片解析不了，需要预处理成文本再导入进来

[@theamazings2296]

能不能介绍下不同配置的token速度，比如啥电脑适合装这个7B的， 啥电脑可以装14B或者32B的。

[@king2crash467]

直接问DEEPSEEK，回答很详细

[@theamazings2296]

@king2crash467 OK👌

[@jinshenguiren]

這個有沒有上傳文檔的數量限制？

[@马克的技术工作坊]

官方没有明说，我感觉应该没有，1000多个文件我都试过，是可以正常查询的

[@jackli355]

为什么 R1 7b 查看不了 保存在workspace里面的pdf 文档。

[@马克的技术工作坊]

@@jackli355 现在没有办法解析PDF里面的图片，文字是可以的

[@lizi-w9z]

我想请问一下 用ollama下载deepseek的时候 下载700多mb之后突然又变到400多mb 下载了好久还是这样 始终没下载完

[@马克的技术工作坊]

因为ollama是并行下载的，比如每个部分下载的数据量可能为1GB，假如你的模型总大小为5GB，它就会分成5部分下载。如果网络不顺畅的话，可能会造成某个部分长时间接不到数据，这种情况下ollama会重启对应部分的下载，即使这一部分已经下载了一些数据了。看起来进度条就回去了，所以建议查下网络。

[@omnicide6828]

anythingLLM怎么实现模型的联网搜索？

[@马克的技术工作坊]

@@omnicide6828 我记得设置里面有个联网配置，你找下看看

[@Nevetsieg]

这个文档占用token预算吗？有没有大小限制？如果我上传的是一整个软件帮助文件，它能应付的来吗？

[@马克的技术工作坊]

本地模型，不占用token预算，毕竟连联网都不需要。你要上传的文件有多大？一本书那种的我都试过，72MB大小，没问题的

[@EthanShao-z4r]

装好7b发现跑不起来，原来我的芯片是M1的，请问楼主，苹果电脑需要什么配置能流畅使用？

[@马克的技术工作坊]

@@EthanShao-z4r 我也是M1的芯片，macbookpro，32GB内存，跑14b的也很流畅，再大就没试过了

[@Camelhouse1]

这个可以在内网环境下使用吗

[@马克的技术工作坊]

可以的，这个跟网络没有关系，断网了也能用

[@futurepeng]

可以在服务器上部署r1模型。然后不同的电脑去访问同一个工作区的东西吗？

[@马克的技术工作坊]

感觉应该可以，服务器上部署 Ollama 和 AnythingLLM，其中 AnythingLLM 用 docker 启动，然后不同的电脑都用相同的地址去访问 AnythingLLM 操作文档。

[@futurepeng]

@@马克的技术工作坊 目前我存放一个文档的时候好像是可以读取内容的，但是两个文档以上好像就没办法读取到了。不知道是我文档的内容格式有问题，还是别的问题

[@马克的技术工作坊]

@@futurepeng 这有点怪，应该跟文档数量无关，你可以换个文档试试

[@futurepeng]

@@马克的技术工作坊 你那边很多文档一块放进去都能检索出来吗？

[@futurepeng]

@@马克的技术工作坊 目前使用起来有一种情况：我第一次上传的是doc文档进去，好像读取出来的格式会有点问题导致deepseek没办法读取到文档中的知识。给我的回复是他没有相关的知识，我上传第二次可以读取的文档之后，他依旧还是说没有读取到相关知识。直到我说我已经上传过一次文档需要他重新读取，他才能给我一个相对正确的答案

[@pandesheng]

我看anythingllm里已经有deepseek的模型链接，是不是只要有api就可以直接连接了？

[@马克的技术工作坊]

是的

[@brave8527]

苹果为什么下载不了AnythingLLM

[@马克的技术工作坊]

报什么错？我就是苹果，我这里是可以的

[@qingwang5022]

我刚刚试了上传文档之后，提示都是没有任何相关信息。使用的时候需要注意哪些事项，才能保证成功运行。

[@马克的技术工作坊]

@@qingwang5022 你确认下，点过上传里面的Save and Embed了么？点击工作区右面的上传，鼠标拉到最下面，看看你的文档在不在里面。有一种可能性是你只把文档上传给了AnythingLLM，没有保存到工作区

[@qingwang5022]

我上传的英文文档，如果用中文提问就不行

[@人輔何]

請問是否有上傳的文檔格式嗎？因為我看好像都是給它 md

[@马克的技术工作坊]

这是官方的原文：Multiple document type support (PDF, TXT, DOCX, etc)，也就是说，pdf，txt，docx 等格式都支持，不过那个等等里面有什么没有细说，但应该不止这几项，比如我的md也能扔进去

[@frankzhang4972]

如果我把我的代码上传到本地文档，AnythingLLM 或者DeepSeek 能帮我找到 bug 吗? 我可以上传 PDF 文件吗?

[@马克的技术工作坊]

有可能，不过 AnythingLLM 不是用来干这个的，效果不好，这种估计得用 cursor, trae, github copilot 等专业处理代码的

[@袁巍-q8z]

在cmd下载后，不会回答问题怎么办呢

[@马克的技术工作坊]

你是指运行 ollama run deepseek-r1:7b 之后，问了问题但是ollama没有回复么？一直在等？

[@johnhung1507]

記得，關機的時侯，拔掉綱路線，或者關閉電源！

[@xiewilliam7992]

这个东西的解析太糟糕了。pdf的表格明显读不明白，问它都是没找到资料。同样的东西上传到GPT秒给答案。挺失望的，删了。

[@theamazings2296]

你不需要用，因为不会啊

[@theamazings2296]

GPT根本没有开源啊，你太傻了。黑的没水平，哎！特朗普政府给你多少钱？还是1450？

[@朱勇-m5c]

确实糟糕，上传了一万多字的文档，无法每次都根据里面的东西找到相关回答，大部分时候找不到相关的，完全看运气，点开下面提到的文档里看，都是随机截取的片段，无法做到全文分析，up主因为用的文档都很小，不然你上传一个字数多点的试试？