Inferencja modele LLM: Mniej kosztów, więcej mocy

Chcesz uruchomić modele LLM (np. Llama, Mistral czy Bielika) na własnych warunkach? W tym odcinku dowiesz się o sprzęcie, oprogramowaniu i trikach, które to ułatwią. Konkretna i praktyczna wiedza, która Ci się przyda.
🔔 Subskrybuj i włącz powiadomienia - Twoja droga do praktycznego ML zaczyna się od jednego kliknięcia: / @dataworkshop
👍 Zostaw like, bo więcej lajków = więcej praktycznych treści dla Ciebie!
💬 Co o tym myślisz? Zostaw komentarz! Masz pytanie? Zadaj je - chętnie odpowiem.
🤝 Poznajmy się lepiej! Zaproś mnie do swojej sieci na LinkedIn: / vladimiralekseichenko
🔊 Zainicjuj rozmowę o ML w firmie, polecając ten podcast. Zainspiruj zespół do wdrażania ML!
Poruszam też wątek GPT-4o: czy to rewolucja, czy ewolucja? I dlaczego OpenAI w tym modelu postawiło na inferencję oraz jak to jest powiązane z "rozważaniem". Podaję analogię, aby pobudzić Twoją wyobraźnię :).
Do tego opowiadam jeszcze historię o Elon Musku, jak zorganizował serwerownię z 100 tysiącami kart H100 (+50 tysięcy) w około 4 miesiące, gdzie normalnie zajęłoby to co najmniej rok, i jakie napotkali wyzwania, poza samym zakupem kart GPU (wydał na nie ponad kilka miliardów dolarów). Dla porównania w Polsce na wszystkich uczelniach łącznie jest ok. 1 tys. H100.
Pracując nad tym odcinkiem zrobiłem ​mapę myśli​, aby lepiej ustrektyryzwaoć wiedzę. Tu możesz je znaleźć. Łap! :) Można powiększać i klikać (część linków zostawiłem, chociaż przyznam, że to długi proces, ale uznałem, że może być wartościowy dla Ciebie).
🔥 mm.tt/app/map/...
Pytania, na które znajdziesz odpowiedzi w tym odcinku:
Czym jest inferencja modeli LLM i jakie są kluczowe wymagania sprzętowe do jej przeprowadzenia?
Jakie są dostępne opcje dostępu do mocy obliczeniowej potrzebnej do uruchamiania modeli AI i jakie są ich zalety oraz wady?
Jakie są główne różnice między zamkniętymi a otwartymi modelami AI i którzy są kluczowi gracze w tej dziedzinie?
Ile RAMu potrzebuje DUŻY model językowy i czy Twój komputer da radę?
Ile GPU trzeba mieć aby uruchomić Llame 8B, 70B czy nawet 400B?
Jakie są najważniejsze parametry GPU i co one oznaczają w praktyce (tak po ludzku)?
Czy NVIDIA to JEDYNY wybór dla sprzętu? Poznaj alternatywy!
Czym jest kwantyzacja modeli LLM i jak wpływa na ich wydajność oraz precyzję?
Poczytać możesz tutaj: biznesmysli.pl...
Partnerem podcastu jest DataWorkshop.
Chcesz więcej? Zajrzyj do moich kursów online i ucz się ML i analizy danych w praktyce!
👉 DS/ML od podstaw - bit.ly/4gDWI0N
👉 Python - bit.ly/47DajSa
👉 Statystyka - bit.ly/3Bhwgdm
👉 SQL - bit.ly/3XVt8N1
👉 Time Series - bit.ly/3XWOUQL
👉 NLP - bit.ly/3MTNDUa
🎧 Słuchaj BM wygodnie na Spotify, Apple Podcasts lub Google Podcasts:
📌 open.spotify.c...
📌 podcasts.apple...
📌 • Biznes Myśli

[@wojciechm521]

Świetny odcinek👍

[@DataWorkshop]

Dziękuję Wojtek, miło to słyszeć :) @wojciechm521

[@radekm8981]

!😊

[@arseniybrazhnyk648]

Dziękuję za odcinek, jak zawsze 10/10!) Czy mógłbyś nagrać film o transformerach oraz innych architekturach które potencjalnie mogą być wykorzystywane w przyszłości?

[@DataWorkshop]

Dziękuję za wysoką ocenę, to mnie bardzo motywuję :) Co do transformerów, to już bardziej techniczny temat i format podcastu nie zawsze sprawdza się. Na to mam osobny kurs NLP, gdzie krok po kroku tłumaczę temat, zaczynając od kontekstu jak do tego doszło, bo to jest pewna ewolucja i to pomaga lepiej zrozumieć. Kurs NLP: tinyurl.com/4wzfzbdb Tu jest wprowadzenie do tego modułu: kzbin.info/www/bejne/noDOn6iYr9GAhrs

[@arseniybrazhnyk648]

@@DataWorkshop Dziękuję, już oglądam!)

[@paweswierblewski1505]

Czy taki runpod, vast, lambda czy inne nadają się na produkcję?

[@DataWorkshop]

Produkcja ma różne wymagania, ale co najmniej warto rozważyć te opcje. Zwykle jestem dość sceptyczny wobec różnych rzeczy, ale w tym przypadku nie odrzucam ich domyślnie. :)

[@jakubzboina7246]

Comtegra GPU Cloud nadaje się na produkcje :D

[@paweswierblewski1505]

@@DataWorkshop Dzięki! A doprecyzowując, przede wszystkim chodzi o stabilność i dostępność.

[@DataWorkshop]

@@paweswierblewski1505 na runpod gwarantuję dwie dziewiątki uptime (99.99%) Też co fajne mają różne regiony (w tym EU, i faktycznie są tam też GPU, niż tylko nazwa regionu) + secure cloud. Z mojego doświadczenie, jak potrzebuję GPU to szybko je dostaję tam. Zostawię jeszcze tego linka: www.runpod.io/compliance Z minusem w runpod, to np. teraz nie mają H200 i w górę. Natomiast H100 też często jest właśnie tym co trzeba, biorąc pod uwagę za jaką cenę oferują.

[@paweswierblewski1505]

@@jakubzboina7246 A jaki jest pricing?