Создавай ИИ-агентов при помощи n8n локально: Llama 3.1, Gemma, Phi 3,5

[@ProdAdvice]

⭐⭐⭐ ПОЛЕЗНЫЕ ССЫЛКИ ИЗ РОЛИКА - mnlp.cc/mini?domain=how2ai&id=8

[@tsusima]

ссылка не рабочая ((

[@dolotube]

Если приходится задействовать гугл-консоль, Pinecone или еще кого-то на сороне, то это уже как бы выходит за рамки локального решения.

[@Kurchaviy-sz5uw]

Только что хотел найти подобное видео, и мне в реках выдало этот видос, видимо ютуб прочитал мои мысли, спасибо за видео!

[@Вячеслав-б8е9щ]

Ничего не понятно, но очень интересно....

[@RUSSIAZOV-1]

Он просто скипает в гайде самые важные аспекты при настройки платформы, просто на кайфе чел

[@valeryreshalkyn7041]

Круто, Начал смотреть второе твоё вдиео, очень рад что у нас появился новый техноблогер про ноукод. Благодарен за то что ты делаешь. Контент пушка! продолжай пилить =) Кому непонятно смотрите повторно =)

[@МаксимМедведев-ф9м]

перспективное решение. особенно для малого бизнеса работающего с большой товарной номенклатурой или иными вариантами больших массивов инфы

[@Mrandis777]

прекрасТно - лайк подписка бро

[@Роберт628]

ЛУЧШЕ скачать LM Studio. Выглядит красивее. Есть встроенный поиск и установка моделей(в поиске есть функция поиска моделий подходящих под пк). Всё сразу из коробки. Никаких команд для установки не нужно надо только скачать с официального сайта установщик, а он в свою очередь всё сам сделает. Можно прикреплять файлы и изображения. Даже русский язык интерфейса есть. Просто зачем эта куча заморочки которая показана в видео?

[@romanbolgar]

Спасибо за наводку поищу. С критикой полностью согласен. Жаль не нашёл на Ютубе Пока нормальных видео. В трендах выдаёт вот такой бред. Такие люди наверное хотят показать какие они крутые программисты. Напоминает операцию на глазах через анус. Открываем консоль терминал и чтобы было ещё круче машинный код.

[@irvicon]

на 100% согласен с вами. Единственное ограничение у локальных LLM - мощность железа / пробовал за последние полгода несколько раз на своем задохлике 4-х ядерном 5 летнем без видеокарты = жалкое зрелище 😄 / особенно после супер реактивного и бесплатного GROQ / кстати они добавили модель для распознавания изображения LLAVA

[@Роберт628]

@@romanbolgar Ещё есть GPT4ALL. Программа по проще, но всё равно удобная. Есть встроенный поиск моделей, но без автоматического подбора под пк, но при этом около каждой модели написаны рекомендуемые системные требования. Пока нет русского языка интерфейса. А так в целом тоже хорошая программа.

[@airlow6784]

Абсолютно согласен + бонусом получается гавно, которое либо хреново говорит на русском и не даёт те ответы, которые ты хочешь или вообще не говорит на русском...... Зачем такая заморочь ?

[@Deepneuron]

Владельцы мака легких решений не ищут 😂

[@vasil_mullin]

Спасибо, интересно!

[@DInfinity3]

Мега полезно!

[@Manipulyator_33]

Бро, по больше видео о n8n

[@n.rzhevskii5246]

Зашёл посмотреть локальное решение всё-таки. Было бы интересно посмотреть про всю локальную обвязку

[@360millimetr]

Ничего не понятно, но очень интересно😊

[@rollerkolya]

Локалочки - будущее )

[@dazzline7800]

ЛоКалОчки вот такие

[@dazzline7800]

ЛоКалОчки вот такие

[@АлександрР-щ4ь]

спасибо

[@UCrEdstktTsLwcJR6dk6sMXw2]

Не хватает примеров или хотя бы ссылок работающих систем, что-бы возбудиться и делать.

[@DjJageyedolon]

а без конструктора можно? а как задавать параметры ассистента?

[@imhandsome7339]

Три недели назад был ролик про установку ламмы локально через докер и прочие приложения Ролик классный, но покажите, пожалуйста, как установить ламму через vs code

[@Viktor_eto]

Топ ❤

[@sgruzdev]

А чем такое решение лучше LM studio? Я пока в нем вижу кучу минусов и ни одного плюса. Зависимость от внешних сервисов с регистрацией, необходимость в докере, который сожрет дополнительные ресурсы компа, излишняя замороченность в установке и настройке.

[@Samed21]

Сними пожалуйста видео с Маке, как это делать

[@larin9859]

А как обойти ошибку: Error in sub-node ‘Embeddings OpenAI‘ 403 Country, region, or territory not supported

[@Mr_x_One]

Может ли кто то подсказать тут. Поставил на локальный сервак Ollama с phi3. С консоли задавая вопросы текущей модели или через API получаю довольно быстро ответы. Но как можно дообучть уже поставленную модель, кто подскажет с помощью файлов DOC или PDF (именно локальную базу так как документы могут хранить конф. информацию) ? Я например поставил AnythingLLM но это не то, что нужно. Так как надо обращаться через AnythingLLM а не напрямую к Ollama

[@daniilsinitca1031]

Нашел ответ на вопрос?

[@Mr_x_One]

@daniilsinitca1031 к сожалению пока не удалось

[@olegoleg5566]

Так AnythingLLM ты так же подключаешь к модели на твой вкус. И в сам AnythingLLM закидывыешь документы. Как векторную базу, используешь, например LanceDB.

[@Mr_x_One]

@@olegoleg5566 но работает гораздо медленнее чем olama и я конечно дальше не стал смотреть но там нет возможности вроде поставить на сервер и использовать через API

[@ibrakigno9314]

Правильно ди я понимаю, что можно таким образом создать агента, который будет оперировать только пуллом информации, которую вы в него загрузите. К примеру, отвечаит на вопросы по конкретной книге, дейсвительно черпая содержание ответов из материала, а не с потолка?

[@ProdAdvice]

Все так. Это можно и в любом сервисе от опенаи до перплексити сделать

[@vifvrTtb0vmFtbyrM_Q]

Это так называемое rag-система. проще всего это ollama + gpt4all. полностью локальные системы. все делается через интерфейс мышкой. gpt4all умеет читать pdf и другие типы текстовых файлов. встроенная векторная бд. В общем намного проще. А в видео показана система для создания ии агентов. Пример простой но суть ии агентов в том что их может быть много. Они общаются между собой, у каждого агента своя роль. Кто то ищет, кто-то отвечает, кто-то проверяет, кто-то оформляет. Короче для вашего запроса n8n оверкилл. Начните с gpt4all.

[@olegoleg5566]

Минусы такого способа. Данные из документов идут в облако, а там их пути неисповедимы :)

[@demianaqus]

Заместо Pinecone что то локальное можно использовать?

[@ProdAdvice]

quadrant

[@demianaqus]

@@ProdAdvice спасибо!🤝 Вчера после того как задал вопрос заплексил сам и тоже остановился на нем😄

[@userName-ij8hx]

​@@demianaqusпричины смены ?

[@timurgaranin]

Спасибо. Интересно. Пользоваться я этим, конечно же, не буду. Ибо так заморачиваться, когда есть тот же make, смысла нет.

[@olegoleg5566]

локально и бесплатно

[@AndrewQuardex]

принцип чтения из бд понятен, а как обновлять в базе информацию?

[@jsonslim]

n8n вообще не локальный, у него бесплатный период около недели. Но n8n конечно бомбический, это лучшее что я пробовал за долгое время

[@jsonslim]

подождите..... его локально можно юзать?! Щиеееет

[@CodexTownClub]

Он локальный, там есть self-hosted лицензия

[@ЕвгенийФедулов-с6р]

А можно подключить SSD и использовать его как файл подкачки, чтобы запускать гораздо более мощные модели!🎉🎉🎉

[@yarmindev]

Как это сделать?

[@vifvrTtb0vmFtbyrM_Q]

только вот скорость инференса снизится в десятки раз. готовы ждать очередное слово около минуты ?

[@ЕвгенийФедулов-с6р]

@@vifvrTtb0vmFtbyrM_Q посмотри видео по этому вопросу: всё нормально работает

[@DmitryRomanov]

@user-mt7jb8kx8u ссылка видео обрадует много людей 😁🙏

[@vifvrTtb0vmFtbyrM_Q]

​@@ЕвгенийФедулов-с6р 1. Инференс производится ядрами GPU. 2. Ядра GPU могут работать только с VRAM (доступ 10 - 100 нс, на скорости 200 - 1000 ГБ/сек) 3. Данные в VRAM попадают из RAM (доступ 50 -200 нс, на скорости 20-100 ГБ/сек). 4. Данные из SWAP попадают в RAM, только тогда, когда CPU обращается к странице памяти, а она помечена как выгруженная (доступ 100 000 нс, на скорости 16ГБ/сек для NVME PCIe Gen4). Грубо говоря, чтобы произошел инференс когда часть модели находится в файле подкачки, то вместо 10 нс может потребоваться подождать каких-то 110 000 нс. Разница на 4 порядка. И даже не важно будет использоваться Resizable BAR, Unified Memory в CUDA, DirectStorage, Memory Paging в Vulkan/OpenGL или AMD Smart Access Memory. Все эти методы ограничены самими технологиями доступа к памяти.

[@RedpaX]

в N8N я так понял нельзя привязать синтез речи по API. чисто агенты текстовые.

[@ProdAdvice]

Можно запросто

[@btcpapa]

Оаусф 😂

[@ilyastar9166]

У меня при установке через терминал была ошибка: " npm error enoent ENOENT: no such file or directory, lstat 'C:\Users\user_name\AppData\Roaming pm' " Решение: перешёл по пути 'C:\Users\user_name\AppData\Roaming' и создал там папку npm Затем снова ввёл команду и всё установилось Нужно, чтобы показывались скрытые файлы и папки, иначе не найдёте эту директорию

[@topodin]

Посмотрел целиком. Сам пример общения с пдф файлом через такие костыли выглядит как открыванте пива жопой и совсем не понятно, какие преимущества такой способ дает.. в каком месте это лучше и более фкнкционально чем использовать для этого иное любое готовое решение.

[@AlexanderLetetski]

почему так мало подписчиков у этих усов? дельное дело говоришь

[@YuriyLvov]

Anthropic так и не смог подтянуть. У кого вышло?

[@isevrujka8325]

А не с гуглом работать будет? И какие аналоги есть ( гугл дока(?

[@iteleportation]

Спасибо, это конечно все здорово, но ванклик интереснее, то есть чтобы установить локально ИИ, просто скачав и установив один файл, если такие сервисы есть, пожалуйста дайте знать))❤

[@IvanKoman-gd7jl]

LMStudio

[@iteleportation]

@@IvanKoman-gd7jl почитал комменты, принял-понял! Спасибо

[@Dryg-o5c]

У меня с трудом загрузилась LM , потом сразу предложило обновление и на этом все , ни каких моделей мне не даёт, может из за скорости энтернета это может быть такое

[@Arrrr-gj6kk]

14:38 хахах типичный мак юзер, которому 8гб оперативки хватает на всё: своп там задыхается аж на еще 8гб строчкой ниже, тем временем типичный мак юзер: ну израсходовано у меня всего лишь 7.4гб из 8, значит все отлично еще дофига оперативки свободной 😀

[@dgvgfg]

Хрень если честно. Даже мне скучно стало, Я 95% роликов на ютуб просматриваю ДО КОНЦА. У меня своего рода есть лайфхак. Я смотрю в ускорении 2.5х, ну или 2.75х... и даже тут не захотел всё смотрел скипнул на середине... ну из ролика видно что тут разные клауды (облака), БД в облаке это нефига не локалка. С таким успехом можно сказать что чатГПТ локально работает =))) И ещё нагружаем 8 Гб оперативки. Не поймите меня неправильно у меня 64 Гб. 8 ядер - 16 потоков мне нравятся нейронки, но то что показано нефига не локальная фигня

[@Hank-k9w]

круто классно Но "научим работать с файлами" 0:10 эм где ?

[@---Nikita--]

Пролистал видео и комменты. Твой коммент всё объяснил видео закрываем. Спасибо.

[@СергейДобров-п8ц]

Привет,я хочу создать ассистента но не уверен что он сможет делать то что я от него хочу можно консультацию ?

[@nto-i7h]

Всё это в любой момент посыпется, как карточный домик из-за сложной технологической цепочки внешних API сервисов. Жаль, а я думал и правда локальная будет реализация, а оказалось просто кликбейт

[@niyazleushkin]

Можно все развернуть локально, но увы, автор не потрудился этим заняться. Гугл драйв нужен лишь, чтобы внешние сервисы могли векторизировать данные, а это в целом делается довольно просто и локально, при помощи отдельных запущенных моделей. Так же и с эмбедингами. Как мы это сделали, мы получили векторную базу, можно при помощи эластика или других инструментов обращаться к нашей базе. А дальше это промпт инженеринг и actions. Все. Делается сложнее и больнее. Сразу скажу, в таком случае и при большом объеме данных, вы сильно потеряете в производительности и минимум 16GB VRAM будет съедено, от чего требуется от 32GB VRAM. Модель туповата, а более требовательные запустить будет трудно, разве у вас не мак c 128GB unified memory. Сейчас в процессе обучения llama3.1 8b, в целом это хорошо, если вам нужно впихнуть конкретные знания, что не меняются со временем, ибо это процесс не легкий и крайне затратный по ресурсам. Ну и не для новичков конечно же. Если уж вам будет очень интересно всем, могу написать статью на хабр или же снять ролик, но ничего не обещаю

[@userName-ij8hx]

​@@niyazleushkinочень интересно, особенно момент со знаниями, накоплением .или проще модель отправлять в бд sql ?

[@niyazleushkin]

@@userName-ij8hx векторная база данных это слегка другое)

[@userName-ij8hx]

@@niyazleushkin спасибо, то что надо. ChatGPT дальше расписал. Крутая тема . Хочу для теста подружить ollama и lang chain

[@nicivanov5135]

Просто опишу как это должно быть в идальном мире. 1) Скачал архивы. 2 ) выключил интернет. 3) Запустил инсталер. 4) После установки отрывается чат на русском языке (опция выбрать язык). 5) Если надо включил интернет, дал любую ссылку парсер сам сделал токены. Внес в предварительную базу. Почему не сразу в свою базу потому, что мусора в сети много. 6) Если комуто нужен конструтор для подключения сервисов API и.т.д. оплатили скачали архив все оно дальше само спросит нужно это подключить ок. 😊

[@geekok]

А для людей с пейсами можно снять видео, в котором будет инструкция как все необходимые сервисы AI развернуть на своём локальном сервере, чтобы ни кому и ни за какие API не платить?😁

[@havemoney]

А есть идейка, делай 2-й канал, Лайв канал, туда стримы и вот Игоряша может на тестах что то залить, или когда что то информативное, долгое. Отсюда кто то прийдет туда и тот канал тебе подкинет сюда людей. Извини если оставил тебя без отпуска )

[@havemoney]

Поиграть на укулеле тоже можно )

[@MrTASGER]

Опа, "зiбров" в молодости

[@5t4rb0y]

Есть ии где по референсам рисует?

[@olegoleg5566]

Чем Stable Diffusion плох? Чтоб без заморочек - StabiltyMatrix ставишь и вперед

[@MrKips-wg2gr]

А можно было ссылки и тут в закрепе оставить ... и вроде ребята писали уже, себя можно по меньше сделать? пол экрана лицо...

[@dmgl-n4s]

Google Cloud работает из России?

[@ibrakigno9314]

Нет)

[@АлексейТарасов-д6д]

у тебя вечно, "тут" не получается но там, вот только делал час/вчера делал было все удачно ) может тут и есть ньюансы? осталось написать автоматизацию приема ответов на собственные коментарии в других каналах

[@АлексейТарасов-д6д]

это возможно? где бы я не написал, получать ответы!?

[@o887oo78]

@@АлексейТарасов-д6д!

[@KgAktan]

Я нашел сходство, ваше имя и фамилия очень схожи с таким ютубером Quantum games, его зовут Даниил Гаврилов😅

[@AndrewQuardex]

17:28 он показывает 3.8 B

[@luckybeard9159]

а для чего это все? не очень понимаю, типо настраиваешь своего ии бота, а кто его использовать будет и дальше что? я просто все пытаюсь понять как на этом всем можно какойто бизнес построить и пока что вижу видос а в голове шипящий телик :DDD

[@DmitryPesegov]

Настрой локально, оберни в докер, залей в облако как сервис. Если ты про то как свою игрушку превратить в сервис в инете конечно. Еще можешь сделать агентов чисто локальных в заведениях там всяких.

[@luckybeard9159]

@@DmitryPesegov и с этого можно както денежку лутать?)

[@DmitryPesegov]

​@@luckybeard9159это уже предпринимательский вопрос. Кому-то дано кому-то не очень😅

[@yyanncedra]

@@luckybeard9159 Мы делали бота по базе знаний для SaaS проекта. База знаний былы у них раньше в Zen теперь еще и бот отвечает на вопросы

[@ivangrunev]

Локально - означает, что решение не требует доступа в интернет.

[@mykola2024]

а зкчем всё это ???

[@mynextchapters]

у кого засада с подключением гугл аутентификации на канале н8н есть более внятный мануал

[@Elsag_GeliNakh]

Ебень не мог просто в описани выложить ссылку на гитхаб, без ебучего телеграмм)

[@romanbolgar]

Боже как всё просто. Чем дальше тем проще. Это какой-то квест. Это не установка. Наверное дядя не застал в те времена когда были старые добрые экзешники. Там достаточно было одного клика чтобы программа установить. А здесь зайти туда зайти на Google Диск там включить там подключить Там взять ключ... Я думаю 20 минут не предел. Дальше наверное установку ещё больше упростят до часа. Мир Идиократии во всей красе. Не устану повторять сапожники без сапог. Собрать в экзешник программисты не могут. Вот уж действительно ловкот

[@Artem_Cel]

Так вам дали кучу сервисов готовых, ботов в тг и приложениях типа ноушена, пользуйтесь))

[@malloquin]

Удали этот кринж

[@romanbolgar]

​@@Artem_Cel не надо мне такую кучу. Ещё и квест найти это в телеграме. Раньше давали просто ссылку на скачивание экзешника. И всё! Программа могла нормально работать при запуске без всяких танцев с бубнами

[@romanbolgar]

@@malloquin В смысле?

[@andreyzhuravlev7861]

А без этого ссаного телеграмма никак??????????

[@RUSSIAZOV-1]

Зачем ты вообще свое лицо в гайды вставляешь, просили же убрать

[@user-lx2yc5mr2t]

На быдло

[@МаксимСергиенко-г2э]

создавай ИИ агентом и просирай бабки на API запросы