УМЕЩАЕМ OLLAMA AI В САМЫЙ МАЛЕНЬКИЙ МИНИ-ПК НА INTEL N100

Рет қаралды 4,343

samohosting

Күн бұрын

Пікірлер: 47

@evgenypotapov3716 2 ай бұрын

Сэр знает толк

@samohosting 2 ай бұрын

Приветствую на канале ! Так точно =) Кто-то же должен был это попробовать сделать. Я результатов работы на n100 ollam не нашел даже в en сегменте. А подписчикам(да и мне тоже) было интересно попробовать.. Ролик развлекательно информационный, не является призывом мучать не подходящее для этих задач оборудование =) Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@evgenypotapov3716 2 ай бұрын

@@samohosting рукоплещу однозначно!

@Vostok_M1 2 ай бұрын

Классный проект. Были интересно глянуть на вихрь

@samohosting 2 ай бұрын

Приветствую на канале ! Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@bloodviri Ай бұрын

Я провел тесты на упомянутых моделях, запустив их в виртуальной среде на машине с Proxmox. Оперативка тянет где-то 18-19 ГБ, а процессор E52660v4 с разными промптами выдает производительность в районе 3.7 до 3.2. Вот прикол: система стабильна только на одном процессоре. Как только подключаешь второй - скорость падает до 2.7. Но игра продолжается. Скоро прокачаю тесты на другом железе: AMD 7900X - 8.33 RTX 3090 - 71.63 E52660v4 - 3.2 Вижу, что нужно будет искать пути оптимизации, чтобы не зависать в процессе.

@samohosting 24 күн бұрын

Приветствую! Многопоточность и многоядерность не полноценно используется, к сожалению. для ЛЛП куда важнее объем ГПУ и скорость РАМ(если не в ГПУ загружаем) Cпасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@gobpblueex Ай бұрын

Спасибо за материал, интересно и познавательно.

@samohosting Ай бұрын

Приветствую! Cпасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@ВалерийШадрин-л5г 2 ай бұрын

В Proxmox в настройках VM вроде бы можно задать CPU limit 3 или 3,5, чтобы VM не занимала все 4 ядра при максимальной нагрузке, а только максимум 3 или 3,5 в сумме соответственно. При этом она всё ещё сможет использовать все 4 ядра, если не будет нагружать их сверх лимита. Так сервер не будет сильно тупить при генерации ответов.

@samohosting 2 ай бұрын

Приветствую на канале ! Валерий, мой посыл скорее не про то, что запуск модели превратит сервер в тыкву. Да, можно выделить меньше ядер, можно пытаться играть с cpu лимитом этих ядер. Но суть и главное сообщение в том, что для работы на CPU этого ресурса критически мало. Если у Вас 6ти ядерный amd 4500U - там уже должно быть вполне рабочим, выделить 2 ядра всем остальным и 4 под задачу ai и худо бедно будет работать. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@ВалерийШадрин-л5г 2 ай бұрын

@@samohosting Ну Фишка мелкомягкая вполне приемлемо шпарит вроде для такого железа. Но соглашусь, N100 для этих целей подходит только чтобы проверить, а сможет ли.

@vasiliyo 2 ай бұрын

Познавательно 👍

@samohosting 2 ай бұрын

Приветствую ! Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@VitaliySunny 2 ай бұрын

Интересный тест получился, спасибо!

@samohosting 2 ай бұрын

@user-bc5qt9jy5b Ай бұрын

Нигде, ни в одном обзоре LLM оберток, не говорят главного. Если вы запускаете языковую модель на процессоре, то он должен поддерживать инструкции AVX2 (инструкции для быстрой работы с векторами и матрицами), иначе большинство программ, типа LMStudio или AnythingLM просто не смогут работать с таким форматом, как gguf, будут выдавать ошибку открытия. На старых процессорах можно использовать CoboldCPP с режимом NoAvx, но это будет тот еще тормоз. Процессор N100 нового поколения, и прекрасно поддерживает AVX2 и Vulcan, посему прекрасно кушает модели не выше 4b квантования с хорошей скоростью. P.s. инструкции, поддерживаемые процессором, можно узнать с помощью CPU-Z.

@samohosting Ай бұрын

@TheGenrix 2 ай бұрын

Спасибо за тест n100, я ожидал что он немного пободрее. Деградация скорости от 2 ядер и вовсе впечатлила. Кстати, посоветуйте модель нейронки по поиску в сырцах намеренных активных закладок и троянов, а то бывает нужно что-то не очень популярное с гитхаба, но весь код самому изучать это с ума сойти. Ну или жду от автора канала видоса на эту тему - какую модель взять, где и как запустить, как ей скормить репу гитхаба или локальный каталог.

@samohosting 2 ай бұрын

Приветствую ! Про нейронке для поиска по гитхабу к сожалению не подскажу, не задавался таким вопросом. В этом году мы скорее всего дойдем только до работы с документами локально. Отдали нейронке документы, она стала обладать знаниями про эти документы и можеть подсказывать. Можно ли сделать аналогично, отдав каталоги с файлами и кодом для анализа - не уверен, но полистаем документацию ближе к ролику. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@vintermute5492 2 ай бұрын

подскажите пожалуйста, какой борд вы использовали в начале видео ?

@samohosting 2 ай бұрын

Приветствую на канале ! Не уверен, что правильно понял вопрос, можете уточнить указав минуту ролика. Но для подготовки и демонстрации я использую - draw.io (локально развернутый) Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@IO_Nox 2 ай бұрын

мелкая лама 3.1 запускается на ноуте с i5-10210u и 8гб озу под федорой, кушает почти всю озу и весь проц, думает не быстро, иногда по несколько минут, но и выдаёт прям трактаты. в простое почти не грузит систему. гуи развёрнут там же и сильно тупит в ожидании длинного ответа. после понимания контекста на уточняющие вопросы начинает отвечать сильно быстрее и кратко. может играть в крестики-нолики с отрисовкой поля (на запрос игры думает долго, но потом ходит уже довольно быстро и почти без задержек).

@samohosting 2 ай бұрын

Приветствую на канале ! Спасибо, что поделились опытом эксплуатации. И спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@vic_shine 2 ай бұрын

было бы круто, если бы автор сделал видео про то, как в целом в 2024 выбрать оптимальный (цена/скорость генерации) конфиг для дом. сервера под ИИ (картинки, код, текст и вот это всё) 😊 англоязычные ролики, конечно, есть, но достаточно скомканные. в стиле "у меня есть 100500 карточек 4090, на них и буду собирать локальный сервер под ИИ" 😅

@samohosting 2 ай бұрын

Приветствую на канале ! Мой опыт взаимодействия с AI крайне не велик. В 24 году такой ролик точно не потяну, а в 25 попробую организовать. Тут мне не хватает ключевых и глубинных знаний(на мой взгляд) - в железе(речь в первую очередь про GPU) - как Вы правильно сказали, взять и рекомендовать топовую карту = не сложно - а какое железо находится на пике пересечения цена\производительность, когда цена начинает расти сильно, а производительность уже почти не растет(точка насыщения). - в софте - что дает лучше результат 1 мощная? или может есть софтовые решения использовать 2 в два раза менее мощные карты и получить ту же производительность? - на сколько Попробую найти людей, которые в этой тематике разбираются. Организовать стрим или просто рассказать, чтобы я мог сформулировать для зрителей материал. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@vertigostayer6384 2 ай бұрын

Интересно посмотреть такой же тест, но на orange pi5 pro с NPU

@samohosting 2 ай бұрын

Приветствую на канале ! С этим будет сложность, т.к такого железа у меня нет и пока не планируется. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@125BPMDEEPTECHNOCHANNEL 2 ай бұрын

Сэр, ответил на множество вопросов

@samohosting 2 ай бұрын

@sergeokozlov 2 ай бұрын

Через 5 мин такой работы, на мини ПК с n100 можно будет жарить яйца

@samohosting 2 ай бұрын

Приветствую на канале ! Это будет зависеть от конкретной системы охлаждения. Но в любом случае - постоянная эксплуатация в таком режиме не может быть рекоменлацией =) Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@nmodonov Ай бұрын

Проц как мой старенький i3-7350k, только ест на порядок меньше )) Насчет чата гпт, он сейчас рассказывает полную чушь, абсолютно не отличает ложь от правды, даже на очевидных примерах. Либо его приучили не спорить и даже против 2+2=5 он особо спорить не будет. При таких условиях я бы в альтернативу выбрал домашний ИИ, который хотя бы в очевидных вещах имеет верные веса ложной и верной информации.

@samohosting Ай бұрын

@rusoption 2 ай бұрын

Парни кто подскажет? Я хочу все свои заметки скормить нейронке и хочу из неё ВЫТЯГИВАТЬ ИНФУ КАК С НАСТОЯЩЕГО АИ АГЕНТА. Как это можно организовать? Может кто знает

@eterline 2 ай бұрын

Сразу вопрос, хотя и странный, планируется применять эту нейронку или другое?

@dolotube 2 ай бұрын

А для чего? Нейронки - не поисковые сервера. Для поиска по заметкам лучше что-то другое использовать. А вот если "хочу нейронку, которая разделяет мои убеждения", то можно дообучить, да. Несложный способ: 1. Найти и поставить ollama 2. Выбрать модельку по ресурсам 3. Найти и поставить Open WebUI, увязать с олламой. 4. Порыться в опциях или прочитать инструкцию на темы заливки заметок и создания агентов. 5. Собрать заметки в текстовом формате и запустить процесс токенизации. 6. Решить всё переделать и вернуться к предыдущему пункту. А вот если локальная моделька покажется неудовлетворительной, то придется искать способ сложнее - с организацией своего сервера в облаках. Или способ проще - платная подписка на услуги ЧатЖпт. Там есть возможность подсовывать свои материалы и создавать агентов. Как вариант - платить Гуглу, тогда его Джемини сможет рыться в ваших гугль-доках.

@samohosting 2 ай бұрын

Приветствую на канале ! Я бы посмотрел в сторону относительно простого инструмента для создания workflow n8n. Я про этот продукт буду рассказывать, вомзожно как раз на примере создания чат-помошника. Верхнеуровнего я не вижу проблем реализации Вашей задачи в связке ollama+n8n+tg(или иной вариант чата) Заходите в сообщество ТГ, там ребята могут Вам еще что-то посоветовать. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@alexsaxs5566 2 ай бұрын

@@samohosting было бы круто посмотреть как обучить такого помощника, у меня есть документации много, хотел бы попробовать ее нейронке скормить чтоб в 4 гигах файликов не искать нужное. Точность скорее всего не оч будет, но всеравно интересно)

@samohosting 2 ай бұрын

Из того, что мне известно о таких сценариях - точность будет хорошей. Ролик на такую тематику - попробую сделать до ноября. Удачного самохостинга!

@trewerguli1727 2 ай бұрын

а с диска можно модели запускать?

@samohosting 2 ай бұрын

Приветствую ! Не очень понятно, что имеенно значит Ваша формулировка. Контейнер использует пространство выданное ему на диске сервера\компьютера. Внешний диск usb? Да, при соотвествующей настройке можно. Старт работы будет медленнее, пока загружается с диска в оперативную память модель, дальше аналогично работе без внешнего диска. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@trewerguli1727 2 ай бұрын

@@samohosting напрямую с диска, с пропуском загрузки в оперативную память

@samohosting 2 ай бұрын

Не знаю, существуют ли такие способы запуска. Но это точно путь в никуда, т.к. RAM используется для скорости чтения данных. Условно(не претендую на точность цифр, но порядки думаю правильные): скорость вашего диска ssd 0,5 GB\s nvme 5-7 GB\s если хороший, если в рейде до 14 GB\s ram 20-50 GB\s vram до 500 GB\s Вот и представьте, на сколько порядков упадет скорость генерации ответа.. в ..100 раз.. Удачного самохостинга!