Робота з локальними моделями AI: Повний гайд

[@ramzes5710]

Чудовий гайд, якщо можна зробіть відео по тренуванні своєї LLM, дуже цікаво, як це робиться. Щодо формату вашого відео на годину, то це величезний +, бо окрім самої LM студії ви розказали багато інших цікавих сервісів.

[@dromich]

Дуже дбуже дякую за таке корисне відео. Давно задумувався над тим щоб підняти і "власну AI" для експериментів Ваше відео дає відповіді на всі запитання.

[@RslVysh]

гарний контент

[@IBmusic_vector]

Ого ого!! срочно підписався! Дякую!

[@PanVladyslav]

Дякую за Вашу працю, що освітлює цюю тему!

[@isseka7]

Дуже дякую за корисну інформацію!

[@SerhiiUa51]

ну бляха!!! це ж крутяцький контент! підписався

[@v_carter_3060]

Вподобайка і комент.

[@dimajibiem3669]

Ваше видео - это лучшая реклама gpt4 и его апи.

[@programmingmentorua]

Так, поки що GPT-4 король пагорба, якщо стоїть питання якості. Але є задачі, де можна обійтися дешевшими моделями, не обов'язково платити більше, чи платити за апішки моделей взагалі :)

[@ukrainian333]

Чат це ідеальне рішення як заміна Stackoverflow, і тому подібному, а коли мені треба власний бот, який буде тренуватись, чи хоча б базувати свої відповіді, на особистих чатах, чи ще чомусь - то сорян, давати дані OpenAI, який вже не раз порушував конфіденційність, я точно не планую. OpenAI як SaaS - чудовий продукт, але є купа набагато якісніших SaaS, при тому що GPT-4 ніхріна не дешеве задоволення при роботі через API.

[@RainbowFantasyTV]

"api-key": "not-needed" I liked your creativity))

[@ukrainian-yt]

Круте відео!

[@ALxOBR15Q]

Спасибо Вам большое, очень полезно.

[@user-op7xg3zh3p]

дякую за корисне відео

[@sashk0oo]

Дякую! Спробував mixtral, ганяв версію на 38 гб, і дійшов висновку що на мої запити безкоштовний ChatGPT краще справляється. Особливо на запити українською мовою.

[@yuriitiunov8803]

Дякую за змістовний контент

[@DifferencialX]

Дякую за контент. Лайв презентація це завжди важко, багато речей може піти не за планом. Як на мене краще було б змонтувати результат, а то я думаю що не всі люди мають 1 годину щоб дивитись на відео де у вас щось не виходить. Не сприймате це як щось погане, просто контент можна було подати еффективніше і за коротший час. Не ображайтесь на мене.

[@programmingmentorua]

Все ок, не ображаюся. Саме це відео задумав таким чином, щоб показати скільки реально часу воно займає, як виглядає коли виходить/не виходить і т.д. - думаю кому цікаво, то час подивитися знайде, одна година - не дуже багато, ще й можна на пришвидшенні дивитися та перемотувати, для того є таймкоди.

[@dimong2392]

Дякую, це дісно корисно.

[@rec2002]

А чи існують якісь подібні практичні швидкі фрішні рішення на яких можна "натаскати" моделі (імпортуючи чи скануючи) свої кастомні дані? Був би цікавий випуск. Дякую за цікаву практичну добірку.

[@programmingmentorua]

Так, все можливо, але є нюанси. Просто треба розуміти, що натренувати з нуля LLM-модель рівня Mixtral чи GPT 3 коштує кілька мільйонів доларів :) Тому є кілька стратегій як вирішувати задачі зі своїми даними не за всі гроші. Наприклад, є Fine-Tuning, є RAG, а ще можна передавати дані прямо в запиті. То раджу просто пошукати варіанти на цю тему, їх багато, у кожного є плюси та мінуси.

[@rvv23]

Дякую за відео. Підкажіть, а як навчати моделі на власних даних?

[@IBmusic_vector]

Як зробити на мобілці аудио перекладач локально з нимецькоі? можливо в смартфоні

[@eugenebeldiuhin4116]

Вітаю, чи підійде такий варіант для інтеграції в готовий застосунок на node js, та як можна з ноди передати файл на опрацювання подібній модельні?

[@VolodkaBobovich]

На М1 з 8ГБ реально запустити?

[@vldkoz]

В яку модель Nvidia Jetson можна запхати таку модель? Можна з неї зробити український асистент типу Siri/Alexa?

[@asivanov859]

Дякую за просте і зрозуміле відео. Чи можна до таких моделей підключити локальне сховище інформації і заставити давати відповіді тільки на її основі?

[@programmingmentorua]

Можна, для цього використовуються різні стратегії як його імплементувати, наприклад, є така стратегія як RAG (Retrieval Augmented Generation) - www.pinecone.io/learn/retrieval-augmented-generation/

[@SergiiShall]

Цікаве відео. В разі, якщо на машині менше пам’яті (32Гб або 16Гб) і нема окремої відеокарти - чи реально запустити важку модель? Чи буде свопити жорсткий диск чи просто не запрацює?

[@Nick232u2]

🤩👍

[@web_it]

Дуже толково. Яким хмарним сервісом користуєшся щоб ціна якість була оптимальна для розгортання всього цього добра?)

[@programmingmentorua]

Хоча я сертифікований Google Cloud Architect, використовую хмарні сервіси обережно, бо вони ні разу недешеві, і крім власного заліза і більшість власник серваків тримаю на vultr.com, який більше до класичних провайдерів відноситься ніж до хмарних. Ну а для вебу раджу дивитися хостинги де можна у фрішні тіри вкладатися - vercel, firebase - оптимізація ресурсів, то наше все :)

[@web_it]

@@programmingmentorua требя глянути Vultr, не раз чув за нього, свої тримаю на Hetzner

[@sergeydashko1665]

А чи запуститься все це на процесорі від AMD та без відеокарти?

[@Warfactory207]

Коротше 3060 6 gb навіть не пробуйте! Треба як у автора топове залізо бо з таким як в мене навіть найгірший mixstral не запуститься

[@web_it]

Чекаємо щось новеньке

[@volodymyrvolkiz2434]

Толкієни))))

[@vladbb9709]

😀

[@pihva_rusni]

На старенькому i7 не запустилися дві моделі, маленька Phi на 1.62 ГБ та більша Mistral не 7.7 ГБ. помилка - "інструкція АVХ2 не підтримувана платформою" ("This processor does not support AVX2 instructions.").

[@Sobanim]

дуже тихий звук. Можна якось голосніше?

[@genyklemberg]

В чому суть безкоштовних моделей?) На чому компанії заробляють?

[@programmingmentorua]

Це та ж сама історія що з опенсорсом. Коли Mistral виклала свою нову безкоштовну модель, то отримала 400 млн євро інвестицій, писав в своєму телеграмчику про це t.me/programmingmentor/415

[@yuraprotsuk]

Страшно трохи запускати ваш код після того як ви показали що підписані на канал для хакерів))

[@genyklemberg]

Воно тільки ресурси на логування токенів скільки витрачає😂

[@programmingmentorua]

Насправді на логування витрачається якийсь мізер - я пробував заміряти швидкість з логуванням і без, різниці не помітив :)

[@pirate0nline]

А чого ви не рахуєте вартість електро-енергії? І амортизацію лептопа, просто поділіть його вартість на 3 роки. Трішки копійок набереться.

[@programmingmentorua]

Якщо користуватися хмарними моделями на моєму лептопі, то витрати будуть ті ж самі. Хіба трохи більше електроенергії буде витрачатися під час виконання моделей із-за завантаження процесора та відеокарти.

[@foxter33]

Дякую за розбір, не зовсім безкоштовно, електроенергія не безкоштовна.

[@vitalii.kushnir]

Ну то й воду ви пєте, мабуть, не безкоштовну)

[@vitall789]

Все хорошо, но на нашем родном Руськом языке бы !

[@mavzudunchik]

Добре що можна запускати локальний сервер. Але мені потрібно завантажити модель на віддалений працюючий сервер. Думаю над тим як це зробити, може це не можливо((( буду доки дивитись Може ви підскажите як це зробити?