Постав собі LLM 🤖

[@imatrof]

✌ СТАВАЙ СПОНСОРОМ - kzbin.info/door/y3bfnqKyMGc6S5o4y4nPmgjoin 🫶 ПІДТРИМАЙ КАНАЛ - www.buymeacoffee.com/imatrof 🫡 МЕНТОР ЗА ДОНАТ ЗСУ - www.prjctrmentor.com/mentor/igor-matrofailo 📸 Інстаграм (тут про життя) - instagram.com/imatrof/

[@semenklymenko4053]

Дуже дякую, прям те чого не вистачало :) І вже ж цікаво скільки слів допоможуть ютубу просунути цей канал :)

[@koshelevskyy]

Ну це супер круто. Як продовження хочеться побачити як до тренувати чи додати власні інструкції.

[@Chuvak138]

Крутий випуск чекаєм продовження.

[@_MinUk_]

Топчик

[@yaroslavr8149]

Круто! Дякую за відео) ну тоді чекаємо відео, як тренувати подібні моделі?)

[@Taras_Sahaidak]

Дякую

[@kodersky.notatky]

Крутяк, треба буде спробувати. Єдиний канал, де все дізнаюсь по Ai і завжди цікаво, лайк.

[@КостянтинКі]

Дякую за контент!

[@redasir]

Спасибі за огляд. На часі.

[@ivankysil3456]

Бомба! Спробував - працює. Дякую за відео. Пізнавально і цікаво.

[@imatrof]

Дякую!

[@AndrewShmorgun]

Дякую за цікавий огляд!

[@olenasokol1991]

Дякую за відео! Як завжди, корисно і цікаво!

[@wissarius]

Скажіть, будь ласка, що за тулзи ви юзаєте для читання та маркування тексту? :) Дуже ефектно і корисно виглядає!

[@imatrof]

Це плагін для Хрому - Web Highlights - PDF & Web Highlighter

[@KlinovAS]

Цікаво. Треба знову спробувати. Бо я скачував Лама3 і також ще графічну одну нейронку скачував, то в двох випадках на моєму швидкому міні ПК Ryzen 7735hs з інтегрованою в процессор AMD відеокартою але без рідної оперативки для відео а із загальної оперативки, проте вся збірка міні ПК на самій сучасній архітектурі останніх років випуску, що дихають на частоті близько до 4Ггц і сам проц 4.7Ггц - це все дуже і дуже тупило. І схоже, що проблема була саме у відеокарті, а точніше її повній відсутності. 16Гб оперативної, з якої 8 виділив в Біос для відео - зовсім ніяк не повпливало краще на ситуацію. Єдине, що запрацювало без проблем це Ultimate Vocal Remover - це така нейронка, яка дуже круто вирізає голос з пісні, або окремо можна зберегти голос. Поражаюсь як воно це робить. Якась наче фантастика.

[@Bantello]

Дякую!

[@volodymyryaremenko9863]

користуюсь GPT4All під windows. Простіша установка.

[@Vic-Ukraine]

Зберігала собі, раптом схочу спробувати

[@dmmeteo]

11:05 версія для "силіконових чіпів"?))) хотів би я такі побачити) Оце був би прорив для нейролінка)

[@imatrof]

І я б теж 🫣

[@jobeye3043]

Чекаємо на тестування локальних моделей (llama 3, mixtral) проти комерційних (chatgpt4, gemini)

[@denisosipenko7413]

Дякую, за якісний а головне актуальний, для мене особисто, контент 🤘

[@oeaoo]

Про аппаратне прискорення цікаво. Чи є, чи ні.

[@yuriychistyakov4559]

як OpenAI припинив надавати безкоштовні квоти, перейшов на Hugging Face Hub та Groq.

[@Black1991Star]

Все що користуємо ми, користує нас.

[@imatrof]

Д-Дані

[@smert_rashistskiy_pederacii]

10:10 тут є великий недолік - за швидкість Phi3 платимо тим, що вона а)майже не хоче або погано розмовляє укр. мовою та б)у загальних знаннях та відповідях значно поступається усім іншим, що більші від неї. Так, вона краща за Phi2 але та має ті ж самі проблеми. У цьому плані швидка гуглова модель Lama3 і досить приємна в усіх аспектах, вона трохи краща за Phi3 у багатьох сценаріях. 13:59 а ось тут ключовий момент, crucial part, як сказав 1 викладач мені чверть століття тому. Бо швидко відповідають малі моделі і тільки англійською. А ми ж вже балувані як надрозвиненими Gemini / Chat GPT 4o після останніх їх оновлень, так і українською, яку вони доволі добре підтримують (на відміну від 95% моделей що ми ставимо собі локально). А ставити більші моделі немає сенсу, бо ми дуже обмежені як по ЦП так і по ГП. Тож чекати відповідь від 8-16 Гб моделі на середньому процесорі ні в кого терплячки не вистачить, а дешеві старі карти АМД (rx580-6600) не підтримуються майже ніде у оболонках під ШІ, - моя rx-580 (апаратно) працює тільки в "kobold rocm" і дуже швидко порівняно із ЦП - до 68 токенів/сек на генерацію відповіді і 4-6 токеів на вивід відповіді. У той час як ЦП (Хеон v3 2670) це робить навіть на 2-4 Гб моделі близько 5-6 токенів на обидва види роботи (і що дуже неприємно вразило - Core i7 13700Н в друга працює не швидше). То ж, всі, хто хоче погратися у ШІ локально - мають купляти в/карти. Не АМД, а НВ і не нижче за rtx 2060 super (краще одразу 3060 з 12 Гб). Отака сумна правда про локальні ШІ та SD моделі. Проте із такою технікою це приємно та швидко - 27 токенів / сек майже на усіх середніх 4-бітних 4-8 Гб мовних моделях.

[@imatrof]

Дякую за розгорнутий коментар!

[@donutWiggum]

Не робіть більше, будь ласка, такі заставки (я про текст). А за відео дякую

[@rudni4ok]

Дякую, але не розкрита головна тема: а нащо ставити локально, коли є готове он-лайн. Окрім гіковської цікавості які є приклади використання, що саме в неї треба залити і як само потім використовцвавти? Типу корпоративну доку якусь велику зкормити, щоб новачкам білш чітко відповідь давала?

[@imatrof]

Корпоративна дока це може бути один з прикладів. А насправді можна натренувати на будь яких власних даних чи даних які генерує ваш бізнес. Тут як би суть, що це відкриті моделі і у вас є повний контроль над процесом.

[@МаксимТолстик]

Хороше запитання. Мене теж цікавлять юзкейси.

[@Sout96_]

"Постав собі LLM." - Не, в мене пентіум 1

[@SerhyiMinin]

А як тренувати?

[@markmishyn]

Вже натреновану став. Або fine tunning за допомогою huggingface трансформер

[@Nicolas0495]

Головне, щоб не впало😮

[@lidiyakrutykh-amelina6586]

Дуже хочу побачити відео про створення АІ для визначення об‘єктів відео, фото. Хочу зайнятись агро розпізнаванням і прибиранням сміття, можливо вже є відео і фото бази?

[@imatrof]

Цікава тема - треба подосліджувати. Думаю що модель Yolo мала б з тим справитись якщо її натрейнити. Треба пошукати можливо є готові датасети. Наразі натрапив на цю статтю - medium.com/ramudroid/computer-vision-for-garbage-detection-136029142b3c

[@Den-f7n2v]

Як в тебе рядок перетворився на стрічку?

[@19chief53]

👍🇺🇦🇺🇦🇺🇦🇺🇦

[@dmitryb6887]

Відео про "можна поставити" і крапка. Навіщо?, як ту модель навчити на особистих даних, чи можна вчити на даних українською мовою чи тільки англійська?

[@imatrof]

Можна натренувати і навчити і спілкуватись українською мовою (звісно англійською буде краще) Тому маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду

[@МаксимТолстик]

Що з ними робити? Для чого автор їх використовує??

[@imatrof]

Це про те, що технології доступні всім. І навіть маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду. The one million one-person business це нова реальність:)

[@dmitriytyshchenko9595]

Так а навіщо ставити собі локальну ЛЛМ? Яка перевага?

[@imatrof]

Це про те, що технології доступні всім. І навіть маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду. The one million one-person business це нова реальність:)

[@olexiisokolov]

для пересічних користувачів не зрозуміла різниця між власним і не власним ШІ. шо то таке "навчання на власних данних"? як це робити і нащо? хто про це розповідав?) короче випуск вже не для простих юзерів)

[@imatrof]

Випуск дійсно був більш інженерний. Також буду висвітлювати ширші та загальні теми

[@IBmusic_vector]

Чуму послетали підписки? у мене куплений ютьюб, а вже з тиждень став замечати, що на тих на кого був підписаний - злетіла підписка. странно

[@egormykhailov7639]

ну яка мета буде першої, не прікалуйся, фейсбук це дно яке ніяк не розвивається, а живе тільки на тому, що була першою соц сіткою. Їхній метавсесвіт провалився, окулус теж до одного місця. Мета взагалі не вигрібають, що робити в цьому світі

[@BorysYermokhin]

Дякую!