OLLAMA - ТВОЙ ЛИЧНЫЙ, ЛОКАЛЬНЫЙ, БЕСПЛАТНЫЙ CHATGPT.

Рет қаралды 9,919

Күн бұрын

Пікірлер: 66

@AmoFess 3 ай бұрын

Огромное спасибо за подробное руководство по локальной установке Ollama. С нетерпением жду видео про русскоязычные модели

@samohosting 3 ай бұрын

Приветствую на канале! Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@mogway791 3 ай бұрын

Глянул список видосов с канала, 2 из 3х мне нужны. Жирный лайк братиша!

@samohosting 3 ай бұрын

Приветствую на канале! Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта! Удачного самохостинга!

@MAKAROV.REALTY 3 ай бұрын

у тебе хорошая подробная подача материала и темы мне лично все интересны, начиная с некстклауда и до ллм локальных

@samohosting 3 ай бұрын

Приветствую на канале! Рад, что удалось помочь Вам в начинаниях домашнего сервера. Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта! Удачного самохостинга!

@MAKAROV.REALTY 3 ай бұрын

Дружище канал супер, продолжай!!!!

@samohosting 3 ай бұрын

Приветствую на канале! Спасибо на добром слове, начало положено, бросать вещи не в моих правилах. И спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта! Удачного самохостинга!

@glavbux-d8i 3 ай бұрын

Спасибо за видео. Хотелось бы чтобы показал видео с установкой локального AI для работы со своими базами знаний на не требовательном компьютере.

@samohosting 3 ай бұрын

Приветствую на канале! В список пожеланий по роликам добавил, пока без обещаний сроков. Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта! Удачного самохостинга!

@pavelmityagin8655 3 ай бұрын

Автору респект за видео и продолжение работы на ютубе несмотря на все трудности, сознательно создаваемые ему в России.

@samohosting 3 ай бұрын

@sergkaskalov3983 3 ай бұрын

Спасибо! Лайк и подписка!

@samohosting 3 ай бұрын

@bloodviri Ай бұрын

Вышла версия v0.4, и она изменила логику работы с моделями. Раньше всё было проще, но теперь установку моделей перенесли в административную панель: Соединения -> Manage Ollama API Connections. Модели нужно добавлять и управлять ими именно там. Сейчас сам пытаюсь разобраться с этой новой логикой, так что если кто-то столкнётся с проблемами, имейте в виду изменения.

@samohosting Ай бұрын

Приветствую на канале! Спасибо за комментарий. Опубликовал в тг сообществе информацию для других, как попасть в загрухку моделей. Удачного самохостинга!

@1234mifa 3 ай бұрын

Насчёт поддерживаемого языка, я ставил лламу 8б и 70б, и она хорошо по русски говорила. Были редкие случаи когда она вставляла английские слова но это редкий случай

@samohosting 3 ай бұрын

Приветствую на канале! Мой посыл скорее не про "возможность четко и без акцента ответить", а про качество сути ответа(содержимого), оно может быть удовлетворительным и содержательным, но во многих сегментах оно будет сильно хуже, чем на английском. Более подробно про особенности этой тематики можно почитать например тут habr.com/ru/articles/787894/ Удачного самохостинга!

@Red_FOX_Tashkent 3 ай бұрын

Спасибо большое)))

@samohosting 3 ай бұрын

На здоровье и приятного просмотра. Удачного самохостинга!

@ИльяГалкин-и4м 2 ай бұрын

Попробуйте модель t-lite, она дообучена на русских текстах.

@samohosting 2 ай бұрын

Приветствую! Уверен сообществу комментарий будет полезен, спасибо! И спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@homebeglov6483 3 ай бұрын

сперва лайк

@samohosting 3 ай бұрын

Приветствую на канале! Спасибо за комментарий по теме и лайк\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@vitalitian2099 Ай бұрын

умничка

@samohosting Ай бұрын

Приветствую на канале. Спасибо за лайк, подписку, комментарий и любую другую поддержку проекта. И само собой удачного самохостинга!

@pro100denchik 3 ай бұрын

А вот это неожиданно, приятный подгон от @samohosting

@samohosting 3 ай бұрын

Приветствую! Рад, что тематика интересна. Подписывайтесь еще и в телеграм. Там я публикую еще и анонсы того, что в проработке, будет без "сюрпризов" выход роликов. Удачного самохостинга!

@Andrey_AKA_Zumz 3 ай бұрын

Отличный ролик! Единственное, чего не хватает по теме устаноаки и запуска - нужно бы сравнить скорость генерации в докере напрямую в системе со скоростью того же докера но в proxmox, в которой поднят LXC в котором поднят докер. Насколько велик оверхед. И соответственно, в следующих роликах эту тему продолжить на видеокарту. Т.е. какой оверхед на ИИ накладывает Proxmox с пробросом видеокарты на виртуалку с ИИ по сравнению с установкой нативно (докер на нативной установке ОС на железо).

@samohosting 3 ай бұрын

Приветствую на канале! Спасибо за комментарий! С учетом того, что мы для настоящей работы с LLM будем использовать GPU переданное "насквозь", я не вижу предпосылок к ощутимым потерям в производительности. Но идея понятна. Как будет время - обязательно сравним голое железо, против виртуализированной системы в докере. Удачного самохостинга!

@Mr_x_One 2 ай бұрын

Интересно. Есть ли способ скаченную модель до обучить на локальных файлах pdf или doc?

@samohosting 2 ай бұрын

Приветствую! Да, будет видео и про это. Cпасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@GalayZloy Ай бұрын

Тоже интересует эта тема@@samohosting

@mcseem9587 Ай бұрын

класс

@samohosting Ай бұрын

Приветствую! Cпасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@Trollukovich 2 ай бұрын

Добрый день. Спасибо за труды. Правильно ли я понял, развернуть ламу на дешевой vps - плохая идея, нужна видеокарта?

@samohosting 2 ай бұрын

Приветствую ! Аренда впс без видео карты - скорее всего Вам ничего не даст. Аренда впс с мощным CPU быстро вытянет весь домашний бюджет... Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@Trollukovich 2 ай бұрын

@@samohosting спасибо за ответ 🤝

@VladislavVasilkov 3 ай бұрын

Видео хорошее, но не хватает четвертой части. Мне было бы интересно узнать про хранение модели в озу (ксионы с барахолки + бу регистровая память) и запуск ее на проце с использованием видео карты в качестве помощи (еще лучше если двух видео карт). Так как для меня мелкие модели не интересны, а купить я могу только бытовую видео карту. и ту не слишком продвинутую из 30той линейки. Не о каком хранении модели в ОЗУ видео карты речи не идет... Вот и думаю о домашнем сервере из БУ комплектующих. Но для раздумий не хватает хотя бы примерного представления на сколько оно получится задумчивой....

@samohosting 3 ай бұрын

Приветствую на канале! Как и в любом хобби - чтобы что-то пробовать, это что-то должно у нас с Вами быть. У меня пока под рукой нет оборудования, о котором Вы говорите. Но ход мысли разделяю, ресурс не про production среду, там никто ничего не собирает - есть куча сервисов для аренды GPU, если есть потребность в мощностях - правильно идти и арендовать. А для дома - мы несомненно должны держать прицел на доступное массам оборудование, а не топовое железо с выставки. Удачного самохостинга!

@VladislavVasilkov 3 ай бұрын

@@samohosting 😍 А сервер вы на чем собирали? Не на калькуляторе же. При наличии озу больше 32Гб идею можно проверить с более мелкой моделью. Разместив модель в ОЗУ и настроив видео карту в помощь. Так что скорее всего у ВАС есть железо для проверки под рукой. АМД или Нвидеа тут не принципиально. достаточно взять мелкую модель и сравнить - вот вся модель в видео памяти, а вот в оперативной. Скорость тут такая, а тут такая.

@VladislavVasilkov 3 ай бұрын

@@samohosting В ютубе вышло видео "Cheap mini runs a 70B LLM" там поставили 96Gb Ram и запускали 70B на интеловской встройке, гоняя модель в RAM. В принципе я получил ответы на большинство вопросов... Но мне бы интересно знать, по доступное БУ серверное железо (ксионы или вторые эпики)... и что в него воткнуть в качестве доступной видео карты (интел или 3070m, и те и те продаются по доступной цене). На этом пути явно есть подводные камни и мне не хватает опыта что бы их предвидеть.

@Андрей-ы1ш1ч 3 ай бұрын

Объясните мне пожалуйста, никак не пойму: в чём смысл этого локального AI? Насколько я понимаю всякие ChatGPT и прочие Copilot'ы при запросе к ним ищут инфу в своих терабайтных базах данных (а разные Preplexity ещё и сразу в интернете) и генерируют тебе ответ. А если эта OLLAMA локальная, в интернет не выходит, то откуда она будет брать инфу для решениях твоих задач?

@samohosting 3 ай бұрын

Приветствую на канале ! Модели, которые мы скачиваем(LLM) это и есть тот набор знаний, о которых Вы говорите. Модели могут быть от нескольких 100mb до 500GB(из того, что мне попадалось на глаза, но я не уверен предел ли это по размеру модели в октрытом програмном коде или есть больше) Но даже 500GB - это сверх, объем, который запустить дома - крайне дорогое удовольствие. Существуют механизмы сжатия и переобучения, которые направлены на снижение размера с сохранением качества знаний. Благодаря этому, мы получаем относительно не большие модели, но с большим объемом знаний. Кроме этого работают и над скоростными показателями и над качеством ответов и логикой мышления язоковых моделей. Существуют узко направленные модели, которые например мало знают про физику и не смогут решать задачи физ. теха, но отлично смогут Вам помогать писать программный код. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!

@Андрей-ы1ш1ч 3 ай бұрын

@@samohosting а например той же OLLAM'е можно "подсунуть" учебник в формате PDF например по тому же Python или физике, чтобы она его обработала, впитала из него знания и потом задавать ей задачи чтобы она их решала. Исходя из объема знаний учебника/справочника.

@Mr_x_One 2 ай бұрын

@@Андрей-ы1ш1ч Тоже послушаю

@AmoFess 3 ай бұрын

Расскажи как установить на линукс-сервер без видео-карты, плз

@samohosting 3 ай бұрын

Вам должно быть достаточно использовать официальный скрипт установщик 1 командой Введите команду в терминале сервера: curl -fsSL ollama.com/install.sh | sh Почитать код скрипта можно тут github.com/ollama/ollama/blob/main/scripts/install.sh Инструкция для linux установки в ручном режиме тут github.com/ollama/ollama/blob/main/docs/linux.md

@myratovmyratov4708 3 ай бұрын

интересно но пока слишком сыровато. годика чрез 2 дмаю можно будет завести себе виртуального помошника

@samohosting 3 ай бұрын

Приветствую на канале! Сильно зависит от того, для каких целей. Если как co-pilot в програмировании, то уже даже на текущем этапе развития - вполне полезный инструмент. Удачного самохостинга!

@MrKatunins 3 ай бұрын

Вот блин. Раскатал на серваке у себя (настоящем) - выкатил 12 ядер, 32гб. Отвечает очень медленно. Вот что значит видеокарта

@samohosting 3 ай бұрын

Приветствую на канале! К сожалению - чудес не бывает, это действительно ресурсоемкая задача. Удачного самохостинга!

@rappoportdev 3 ай бұрын

Замечательное видео! Но появился вопрос. Дак в чем же эта OLLAMA лучше ChatGPT от openai? ChatGPT хотя бы понимает русский язык, и не нужно вот это переключаться, искать нормальные модели, использовать разные модели под разные задачи. И для чего же нужна эта OLLAMA? А Copilot, как развернуть, в чем отличие от OLLAMA? Очень интересная тематика у видео! Продолжайте

@rustamakhmetyanov4404 3 ай бұрын

Они платные

@samohosting 3 ай бұрын

Приветствую на канале! Два основных фактора(зачем): 1. Ваши данные остаются только у Вас, не уходят никому. 2. Как Вам уже подсказали подписчики - Вы не платите за подписку использования. Я не готов привести цифры, но почти уверен, что на русском у ChatGPT тоже огромная просадка. То, что он Вам в состоянии отвечать и переводить ответы - не означает, что она была на кирилице и русском языке оттренирована в таком же объеме, что и на английском. Copilot обычно используется, как помошник в написании кода, существуют плагины\дополниения к vscode например. которые позволят подключить локальную модель. И AI будет пытаться Вам подсказать\завершить код, как второй пилот самолета. Удачного самохостинга!

@RasetsuOne 3 ай бұрын

2-4 года OpenAI сможет сделать тебе допустим инсту или тикток которую заблокировали и добавит все видео и всех пользователей вот это уже интереснее намного!

@samohosting 3 ай бұрын

@igor.volkov 3 ай бұрын

А серверы ты где такие возьмёшь?))

@user-san-chous 3 ай бұрын

@@igor.volkovон локально будет запускать))

@diogen4212 3 ай бұрын

о пробросе видеокарт в виртуалки побольше бы инфы..

@samohosting 2 ай бұрын

Приветствую на канале! Я стараюсь рассказывать о том, что делал сам и показываю на своем примере. У меня нет дискретных GPU. А встройка АМД - настоятельно не рекомендуется для таких задач, слишком много боли =) В прошлом году с обновлениями rocm стало лучше, но пока.. все еще не рекомендуется. А пересказывать ролики, как передать NVIDIA \ INTEL GPU, ну так они уже есть, подробные. В планы след. года входит сборка под AI бюджетного решения с дискретной картой, там уже и смогу поговорить на эти темы. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!