No video

rag-server application with wasmedge

  Рет қаралды 42

Alan Poon

Alan Poon

Ай бұрын

bug fixed with using llama-3-chat instead of llama-2-chat
wasmedge --dir .:. \
--nn-preload default:GGML:AUTO:Meta-Llama-3-8B-Instruct-Q5_K_M.gguf \
--nn-preload embedding:GGML:AUTO:all-MiniLM-L6-v2-ggml-model-f16.gguf \
rag-api-server.wasm -p llama-3-chat,embedding --web-ui ./chatbot-ui \
--model-name Meta-Llama-3-8B-Instruct-Q5_K_M,all-MiniLM-L6-v2-ggml-model-f16 \
--ctx-size 4096,384 \
--rag-prompt "Use the following context to answer the question.
----------------
" \
--log-prompts --log-stat

Пікірлер
I forced EVERYONE to use Linux
22:59
NetworkChuck
Рет қаралды 355 М.
I'm Excited To see If Kelly Can Meet This Challenge!
00:16
Mini Katana
Рет қаралды 34 МЛН
OMG what happened??😳 filaretiki family✨ #social
01:00
Filaretiki
Рет қаралды 10 МЛН
Это реально работает?!
00:33
БРУНО
Рет қаралды 4,3 МЛН
路飞太过分了,自己游泳。#海贼王#路飞
00:28
路飞与唐舞桐
Рет қаралды 43 МЛН
The Greenwich Meridian is in the wrong place
25:07
Stand-up Maths
Рет қаралды 737 М.
Is Dify the easiest way to build AI Applications?
13:50
Matt Williams
Рет қаралды 15 М.
Why is anti-immigration sentiment on the rise in Canada?
13:00
The Guardian
Рет қаралды 1,7 МЛН
The Free and Open Source Software I Use in 2024 - Part 1
28:31
Awesome Open Source
Рет қаралды 223 М.
The Clever Way to Count Tanks - Numberphile
16:45
Numberphile
Рет қаралды 927 М.
Hacking Windows TrustedInstaller (GOD MODE)
31:07
John Hammond
Рет қаралды 521 М.
The New Option and Result Types of C#
15:05
Nick Chapsas
Рет қаралды 54 М.
NGINX Tutorial - What is Nginx
14:32
TechWorld with Nana
Рет қаралды 90 М.
I'm Excited To see If Kelly Can Meet This Challenge!
00:16
Mini Katana
Рет қаралды 34 МЛН