請問在更改embedding model後, 所有查詢都出現錯誤訊息: Failed to execute query stream: Invalid input, No vector column found to match with the query vector dimension: 768, 這是什麼原因?
电脑显卡配置低的电脑下载这些模型的时候尽可能下载6 bit K-Quantization的或者5 bit K-Quantization或4 bit K-Quantization,尽可能别去下载8 bit K-Quantization或者更高的,显卡配置低的电脑如果下载8 bit K-Quantization的模型,那你电脑风扇肯定狂转不停,而且写文章的时候很长时间才会开始写。我电脑Intel(R) Core(TM) i7-4800MQ,16G内存,显存2G在运行Llama-3.2-3B-Instruct-Q8_0(就是8 bit K-Quantization)的时候内存占用到14-15G,CPU占用到差不多100%,在运行Llama-3.2-3B-Instruct-Q6_K(就是6 bit K-Quantization)的时候,内存占用在7-8G,CPU占用没多少差异。
@CreativeEnglishTeaching24 күн бұрын
试了Llama-3.2-3B-Instruct-Q8_0在i7 cpu 16G内存,2G显存的电脑上写英文文章速度很快,比之前的版本速度有明显提升。Llama-3.2-3b-Instruct-Q4_k在手机上的PocketPal上写英文速度也过得去。