vLLM本地部署GLM-4-9b大模型，ChatTTS+AutoGen实现多AI对话转语音！打造AI小说智能体！

[@vaelephant]

每次都是干货满满

[@AIsuperdomain]

谢谢长久以来的支持

[@musoyking7459]

想知道在开发聊天机器人场景里，相比直接调用大模型，用AI Agent来做会有什么好处吗？

[@tykj-o2y]

华为昇腾的卡是不是就不能用vllm部署了呀？😭

[@wz-cj1990]

16G顯存能用這個模型嗎？

[@zeemenzhou]

干货满满 请问Windows 系统也可以实现吗？有没有什么差别？

[@AIsuperdomain]

谢谢支持！Windows可以用wsl或者Nvidia AI workbench实现部署，Nvidia AI workbench我在之前的视频有讲解

[@danieldai3457]

请问vLLM现在streaming需要自己写接口吗？

[@AIsuperdomain]

不需要

[@chenchen-ld3hl]

真的不错哦

[@AIsuperdomain]

谢谢支持

[@xin2516]

vllm 可以加速模型推理吗

[@AIsuperdomain]

可以

[@rosszhu1660]

ollama可以用吗？

[@AIsuperdomain]

ollama中目前没有加入glm-4-9b

[@rosszhu1660]

哦，谢谢回复，很喜欢你的频道😄

[@Littlezhizhi]

看到大神本尊，来人啊给我拿香来，我要膜拜！❣

[@AIsuperdomain]

哈哈 谢谢支持

[@ddwinhzy]

真想跟你好好学习

[@AIsuperdomain]

谢谢

[@emmistudy]

pip install vLLM 很慢 很卡

[@AIsuperdomain]

国内会卡一些

[@putian5888]

是要露脸的。你别小图像 你开场直接全屏露脸 操作的时候就直接内容就行了。这样又打造的了人设又让大家看到大家想看的。希望你会火起来。

[@AIsuperdomain]

好的，谢谢您的建议

[@万万-p2k]

这那是 伊丽莎白对线达西 分明是路人女战路人男

[@AIsuperdomain]

哈哈哈 有点违和 可以选择更合适的音色和风格