Marcin, dziękuję za komentarz :) Dotrenowania modele nie jest takie łatwe. To wymaga sprzęt i inne rzeczy. Jan czy podobne narzędzia są do tego, aby wykorzystywać to co już jest wytrenowane. A powiedz dokładniej czego brakuje, może to jest kwestia zrobienia tego inaczej. @MarcinWawrzyniak150

@@DataWorkshop np. Jakbym robił offlinową maszynę z modelem, który ma dostęp do danych firmy.

Testuje program Msty, który ma zakładkę knowledge stacks, gdzie mogę podłączać pliki, ale ciężko to idzie, bo raczej maszyna nie daje rady: 16GB RAM, 2GB VRAM

Obowiązkowa odezwiemy się, czy to było wysłane na hello@? @nemonemus6743

No, ciekawa analogia! Tak, dane zdecydowanie są utworem konceptualnym, którym trzeba zarządzać. To nie ziemniaki czy dżem, które po prostu masz lub nie masz. Dzięki za ten przykład, pobudza wyobraźnię

Dziękuję :)

Tu nie ma idealnej odpowiedzi, zresztą są co najmniej trzy rzeczy do rozważenia: 1. gdzie fizycznie są przechowywane dane, 2. jak są strukturyzowane (np. płaska struktura, grafy itp.), 3. sposób, w jaki będziemy je wyszukiwać (klasyczna wyszukiwarka, embeddings itp.). Do tego dochodzą jeszcze inne wymagania: - jak często będą dane aktualizowane, - jaka będzie skala (raz na dzień czy miliony zapytań, lub coś pomiędzy), - kwestie związane z prywatnością i rolami. Natomiast, jeśli chodzi o bazę wektorową, faktycznie czasami może być przydatna jako wyszukiwarka. Jednak, co podkreślam, proces wyszukiwania można zorganizować na różne sposoby, w zależności od problemu, który rozwiązujemy. Na przykład w tematach prawnych lub podobnych, gdzie precyzja jest bardzo ważna, same wektory mogą wprowadzać dużo zamieszania i niepewności.

To jest już pytanie wprost dla prawników, dlatego polecam podejść do tematu od tej strony. Ważne jest, że nawet jeśli prawnik już coś przygotował komuś innemu, nie należy kopiować tego jeden do jednego. Każdy biznes jest (trochę) inny i ma swoje specyficzne potrzeby. Moja rola w tej rozmowie polega na zwracaniu uwagi na to, co jest istotne i na pytania, które prawnicy mogą zadawać, ustalając szczegóły. Natomiast nie jest prawnikiem, jestem od strony biznesowej, konceptualno-technicznej. Dla środowiska Enterprise to, co gwarantuje (prawnie) Vertex AI (Google) czy Azure (Microsoft), może być akceptowalne, ale nie zawsze. W większych chmurach, na przykład, istnieje możliwość przetwarzania danych tylko w UE (to dla RODO jest ważne), a dodatkowo zapewniają one szereg innych elementów wymaganych przez RODO. Jeszcze raz powtórzę, polecam przepracować temat RODO bezpośrednio z prawnikiem. To pewna inwestycja, ale zazwyczaj warto ją ponieść. @1972kotek

@@DataWorkshop Temat trafi do prawników. Szukałem jakiś informacji od kogoś kto ten proces przećwiczył. OpenAI ma stronę do zgłaszania takich umów. .

Jedno z rozwiązań Anonimizacja danych przed wysyłką: * Wyłapujesz wrażliwe dane i zastępujesz je znacznikami (np. {imie}, {pesel}) * Oryginalne dane trzymasz bezpiecznie w pamięci lokalnej Zapytanie do modelu: * Wysyłasz zanonimizowane zapytanie * Informujesz model, żeby w odpowiedzi zachował znaczniki Obróbka odpowiedzi: * Po otrzymaniu odpowiedzi, podstawiasz z powrotem oryginalne dane za znaczniki * Usuwasz tymczasowo przechowywane dane To jedno z możliwych rozwiązań - na pewno są też inne podejścia. Warto też pamiętać o skonsultowaniu takiego rozwiązania z zespołem prawnym pod kątem pełnej zgodności z RODO.

@@paweldremel5097 Problem w tym, że mam dane także obrazowe (skany dokumentów) i anonimizacja nie jest doskonała. OCR potrafi coś tam przepuścić tak samo jak poprawne wyłapanie NER'ów. Lepiej mieć coś podpisane z dostawcą AI (zadanie dla prawników). Może ktoś w praktyce przechodził taki proces.

Dziękuję Marcin, staram się jak mogę :) jak mam kolejne dawki wiedzy, aby właśnie w tym pomóc @marcingendek6103

Roman, nie wiem co dokładnie masz na myśli, ale sprzęt o którym mówisz brzmi, że Bielik będzie tam latał. U mnie na M2 Bielik i dość szybko generuję odpowiedzi: dziesiątki tokenów na sekundę :). Llama 70B też pójdzie, tam nawet prawie f16 zmieści się :D. @romandmowski442

Dzięki :) No tak, to działa. Jak już człowiek spróbuje, to szybciej "łapie" kontekst. Jeszcze lepiej, jak sam popełni błąd, który go zaboli, i usłyszy, jakie są rozwiązania. Wtedy dopiero docenia to na maksa. Takie życie :)

Dziękuję :)

Alina, bardzo dziękuję, motywuję mi to, aby działać z tym dalej :). @alinabarcikowska4172

Dziękuję Wojtek, miło to słyszeć :) @wojciechm521

Dziękuję za wysoką ocenę, to mnie bardzo motywuję :) Co do transformerów, to już bardziej techniczny temat i format podcastu nie zawsze sprawdza się. Na to mam osobny kurs NLP, gdzie krok po kroku tłumaczę temat, zaczynając od kontekstu jak do tego doszło, bo to jest pewna ewolucja i to pomaga lepiej zrozumieć. Kurs NLP: tinyurl.com/4wzfzbdb Tu jest wprowadzenie do tego modułu: kzbin.info/www/bejne/noDOn6iYr9GAhrs

@@DataWorkshop Dziękuję, już oglądam!)

Produkcja ma różne wymagania, ale co najmniej warto rozważyć te opcje. Zwykle jestem dość sceptyczny wobec różnych rzeczy, ale w tym przypadku nie odrzucam ich domyślnie. :)

Comtegra GPU Cloud nadaje się na produkcje :D

@@DataWorkshop Dzięki! A doprecyzowując, przede wszystkim chodzi o stabilność i dostępność.

@@paweswierblewski1505 na runpod gwarantuję dwie dziewiątki uptime (99.99%) Też co fajne mają różne regiony (w tym EU, i faktycznie są tam też GPU, niż tylko nazwa regionu) + secure cloud. Z mojego doświadczenie, jak potrzebuję GPU to szybko je dostaję tam. Zostawię jeszcze tego linka: www.runpod.io/compliance Z minusem w runpod, to np. teraz nie mają H200 i w górę. Natomiast H100 też często jest właśnie tym co trzeba, biorąc pod uwagę za jaką cenę oferują.

@@jakubzboina7246 A jaki jest pricing?

Tomasz, wydarzenie w Nvidia już się odbyło. Natomiast na spokojnie, będę dalej szerzył i dopracowywał te materiały. :) @tomaszb9668

Dziękuję Tomasz :) działam, działam

Tomasz, dziękuję :) Staram się jak mogę. @tomaszb9668

Marcin, no to super i właśnie o to chodzi! @marcintubielewicz206

Dzięki :)

Dziękuję Bartek :)

Tego trochę jest, ale na spokojnie, krok po kroku :)

Mam wrażenie, że teraz to również się zmienia. Podnosi się także jakość takich rozmów :) Jednak wciąż zdarza się, że są one bardzo teoretyczne i oderwane od kontekstu. P.S. i.redd.it/9gcco4jdlc091.jpg

Początek - super! Natomiast dalszy wniosek brzmi jak ciekawa przygoda aby spróbować, w szczególności jako fine-tuning, ale nie oczekiwałbym, że to pomoże :).

Bardzo Ci dziękuję za uwagę! Super, że piszesz i to jeszcze w tak delikatny sposób :) Najśmieszniejsze w tej historii jest to, że przy współpracy w jednej z firm "nauczyli mnie tak mówić".  Masz rację, trzeba to poprawić. Będę uważał na to słowa, jak usłyszysz, że mówię "wykorzystać", to oznacza, że dzięki temu komentarzu :). Dzięki za to!

Ja chyba też za długo w IT, siedzę, bo to utylizować mi jak 'apply' weszło, tak, że nawet nie zwróciłem uwagi. Dzięki

Bardzo dziękuję za miłe słowa! To prawdziwy miód na moje serce i motywacja, by działać i dzielić się jeszcze więcej - nawet jeśli robię to w wolnym czasie, na przykład w weekendy. Dziękuję, że o tym piszesz!

@@DataWorkshop "Cieszę się i czekam na kolejne odcinki. Tymczasem nadrabiam oglądanie Twoich poprzednich materiałów."

Michał, dziękuję za podzielenie się historią. Bardzo dobry wniosek na koniec - w 100% się zgadzam, na teraz i przynajmniej w najbliższym czasie będzie to aktualne.

Dziękuję, warto, warto :) Bo to wcale nie jest takie trudne, jak może się wydawać na początek

Dziękuję :) są już nowe odcinki

Dziękuję, Maciej :) Pewnie będzie jeszcze jedna rozmowa z Remigiuszem, zobaczymy. Inspirująca osoba.

Dariusz, dzięki za Twoją opinię! Serio, fajnie, że się odezwałeś. Masz rację - gdy ktoś już ogarnie podstawy, to czas iść krok dalej i odkrywać te bardziej złożone, zaawansowane rzeczy. Jak już się wie, to wtedy przechodzimy o krok dalej. Przy czym, to też nie jest "płaskie" (np. rozmowa o sprzęcie i wymaganiach). To jest trochę taka studnia bez dna... ale między innymi nad czym obecnie pracuje, to chcę pokazać jak robić bardziej zaawansowane self-hosted LLM używając GPU (inferencja modele LLM) i to tych większych modele 70B lub nawet 400B, ale ta wiedza z kolei będzie przydatna raczej tylko dla firm, kto chcę używać produkcyjnie. Myślę, że jeszcze zrobię materiał pomiędzy :). Zobaczymy, co się uda z tego wycisnąć! Jeszcze raz dzięki, że napisałeś i do usłyszenia!

Dzięki za pytania :) Będę rozwijał wątek, warto obserwować. Osobno mam plan pokazać jakie możliwości daje LLM dla programistów (z resztą już sam inaczej koduję, niż wcześniej).

wolę inaczej o tym myśleć, bardziej jaki jest problem do rozwiązania? Natomiast polecam co najmniej sprawdzić silver-retriever Piotrka, tu zobacz: huggingface.co/ipipan/silver-retriever-base-v1

Dziękuję :) Rożnie to bywa, ale zawsze możesz zacząć od Silver: huggingface.co/ipipan/silver-retriever-base-v1

Dziękuję za miłe słowa :)

Dzięki :) Ze sprzętem bywa różnie, osobiście teraz używam M2 Mac Pro. Też pytanie, co chcesz osiągnąć. Jaki model chcesz uruchomić :). Mam w moim backlogu więcej o tym mówić, myślę, że i taki odcinek też może się pojawić.

Dziękuję za miłe słowa, to motywuje :) Co do embeddingów. Wspomniałem już kilka razy MTEB leaderboard, to jest benchmark dla embeddingów. Oczywiście nadal trzeba traktować to jako jeden z leaderboardów (o tym osobno mówiłem już), czyli #1 wcale nie oznacza najlepszy dla Ciebie. huggingface.co/spaces/mteb/leaderboard OpenAI w tym leaderboardzie też jest obecna, co prawda ich najlepszy model na ten moment, jak piszę ten komentarz, jest na 27. pozycji i ma nazwę "text-embedding-3-large", czyli jak widzisz nie zawiera OpenAI w nazwie. Inne ich modele są jeszcze niżej. openai.com/index/new-embedding-models-and-api-updates/

No to już jakiś pomysł. Z mojego doświadczenia nie ma uniwersalnego rozwiązania. Wszystkie, które krążą, zbyt uogólniają (spłycają) temat. Ważne jest zacząć nie od technologii, tylko od rozwiązywania problemu i wtedy jest lepiej zrozumiałe, jak należy przechowywać dane. Polecam myśleć od tej strony.

@@DataWorkshop Dzięki za odpowiedź. Jeśli weźmiemy Twój przykład z filmiku -- wyszukiwanie informacji w sprawozdaniach finansowych dużych firm, które mają zazwyczaj 100+ stron, to jaką byś technikę wykorzystał? Interesuje mnie Twój sposób myślenia i podejście do rozwiązywania praktycznych problemów/wyzwań :)

No jednak, nadal trzeba myśleć :)

Dziękuję :)

Marek, warto obserwować :)

Dziękuję :)