Jak serwować LLM Bielik-11B 🦅 - Tutorial #17

[@szczeles]

Wow, Panowie, przepięknie zrealizowany tutorial. Nie dość, że "od zera do bohatera", to jeszcze nie zapomnieliście o zabezpieczeniu endpointu. I nawet cenowo ten g5.xlarge w AWS wychodzi całkiem znośnie, piątak za godzinę to uczciwa cena 🙂

[@ml-workout]

Dzięki 🫶🏻

Film o polskim LLMie? Nie muszę włączać a już klikam like. POLSKA GUROM

[@seitaishogun]

Kibicuję! Pomyślności panowie !

[@ml-workout]

Dzięki ☺

[@jacekmikolajczyk6661]

Bielik. 👍👍

[@tiaamat]

🎉bielik!

[@sxsxryn]

Super przedstawione, mega ciekawy materiał. Fajnie, że jednak coś jest w naszym ojczystym języku. Bielik!

[@ml-workout]

Dzięki!

[@mpfmorawski]

Ale idealnie trafiliście! Sam planowałem postawić Bielika w chmurze, żeby się nim pobawić (i przy okazji poduczyć, jak z technicznego punktu widzenia najlepiej to zrobić). A z Waszym filmem i materiałami będzie to o wiele prostsze! Dzięki, że robicie takie materiały :D PS: Bielik 🦅

[@ml-workout]

Dzięki, bardzo nam miło!

[@asqu]

Po co się męczyć, masz przecież LM Studio lub Jan i model skwantyzowany w formacie GGUF, uruchomisz zapewne na swoim kompie.

[@ml-workout]

@@asqu Do zabawy lokalnie jak najbardziej. My pokazujemy wdrożenie serwerowe.

[@emiliabunko4518]

bielik

[@inout3394]

Mi by się przydała wersja small Q4 np. 1B/1.5B/2B/2.5B/3B by uruchomić ją na telefonie np. w aplikacji ChatterUI

[@polishmotorfan]

Czy da się to uruchomić na rtx 3060 na laptopie?

[@grzesiekzysk]

Czy Bielika można wcześniej nakarmić danymi aby był czymś w rodzaju "bazy wiedzy"?

[@ml-workout]

Masz na myśli fine tuning z własnymi danymi? Raczej w tym przypadku sugerowałbym podejście typu RAG (Retrieval Augmented Generation) - czyli używasz model instruct, a swoje dane umieszczasz jako część prompta. Dane muszą być wcześniej zwektoryzowane, a ich znalezienie odbywa się przez porównanie podobieństwa wektora "zapytania" do wektora "dokumentu". Opowiadamy o tym podejściu w naszym filmiku "Zbuduj z nami Chatbota QA z LLM"

[@grzesiekzysk]

@@ml-workout Tak, dzięki. Juz odpalam film!

[@madrag]

Da sie to "obsluzyc" poprzez ollame?

[@ml-workout]

Da się, pamiętając o tym, że Ollama jest nastawiona bardziej na uruchomianie modeli do potrzeb lokalnych, a nie serwerowych, tak jak wykorzystany przez nas vLLM.

[@sylwekkaluza7873]

Bielik

[@zbigniews497]

Bielik