ollama vs vllm - 开启并发之后的 ollama 和 vllm 相比怎么样？

在 ollama 支持了并发之后其性能有了一定的提升，但是和目前模型推理最佳实践之一的 vllm 相比差距几何呢？这里是用一块 4090 对两个模型的性能进行对比。

[@yinghaohu8784]

👍

[@shuaishao6114]

感谢分享！想问下有没有用async测试bedrock的方法

[@kimjason5294]

小姐姐怎么就一个视频呢？ 内容挺棒，还有别的吗？

[@george89341]

感谢分享！

[@jackyli6716]

我在b站好像看到过你哦！ 谢谢分享！

[@quick_fox_jumps_over_lazy_dog]

感謝分享！🎉

[@rogerroan7583]

這實驗太有料了能分享程式碼嗎

[@arkohut]

blog.csdn.net/arkohut/article/details/139076652