Как установить мощный ИИ на свой локальный компьютер абсолютно бесплатно [Исправленная загрузка.]

[@КатушкиМишина]

как приятно вас слушать, включаю ваши видео просто чтобы поднять настроение а еще и контент такой полезный и актуальный

[@zapr-m2f]

Here is a short greeting to your friends on the New Year's Eve 2024 in Russian: "Дорогие друзья! (Dorogoie druzhi!) В новом году я хотела бы пожелать вам всего лучшего, но я не люблю чаять. Следовательно, мы не будем делиться желаниями, а просто посидим и ждаем drum roll'а... (Dolgoe zhitie! Sleduyem i zhdayem drumb-roll...) Поскольку, как гласит Философы-стоики: "Всего самое лучшее в жизни - это не уйти на смену прошлому, а оставаться в нем". (Vsego mosta luzhshogo v zhizni - to ne utorzhestvovat na smenu proshlogo, a ostavlyvat v nem). Следовательно, давайте посидим и посмотрим, как заканчивается год. Давайте не будем ожиать ничего больше, чем мы имеем. (Sledovye ne budem ozhidat nuzhdoe, chem mene). Поздравляем вас с ХХII-X (XXII) годом нашего долгого и скромного existencea."

[@3dsalavat]

Спасибо!!

[@geekatplay-ru]

Спасибо за ваш отзыв!

[@alexsimon541]

Спасибо за видео! Подскажите, пожалуйста, требования к железу для установки этого ИИ на свой ПК.

[@Roger-c2j]

Чем лучше железа лучше будет работать чат на маем железе i5 12600 c GPU 3080 работает моментально

[@Simansh]

Наверно лучше попробовать

[@geekatplay-ru]

Если вы используете небольшую модель, то это может работать и на не слишком мощном оборудовании, но ситуация меняется, когда вы хотите запустить большую модель. Вот больше информации: llamaimodel.com/requirements/.

[@zmirk]

@@Roger-c2j попробуй LLAMA 3.3, у меня на запрос "Привет" думает полчаса и сжирает всю оперативу. 5800X, 3060ti, 64Gb ddr4 3200

[@vladislavu.9950]

@@zmirk может потому что она целиком не помещается в оперативку?

[@makcu4]

А LM Studio будут работать с amd rx 7900 ? Или с amd нейронки не работают?

[@geekatplay-ru]

LM Studio с AMD RX 7900 работать будет, но тут есть нюансы. AMD в нейросетях пока отстаёт из-за слабой поддержки фреймворков типа PyTorch или TensorFlow. Если разработчики добавили поддержку ROCm (аналог CUDA от AMD), то всё будет работать. Лучше уточнить у разработчиков или на форуме LM Studio, поддерживается ли конкретная карта.

[@makcu4]

@geekatplay-ru Работает. Но модель которая 1.5 с возможностью загружать картинки выдаёт ошибку загрузки картинки

[@ALEONTYEV56]

Спасибо. Очень содержательные видео у Вас. Успеха в развитии канала!))

[@geekatplay-ru]

Спасибо! 😊

[@Roger-c2j]

Thank you, brother, everything works great! Good luck and stay healthy!

[@geekatplay-ru]

Thank you for your support!

[@vasiliyivanishvili9025]

Спасибо за полезное видео!!

[@geekatplay-ru]

thank you!

[@zaprzapr6956]

Хотелось бы побольше примеров использования! Спасибо!

[@geekatplay-ru]

Я бы с удовольствием узнал больше о любом из этих проектов, но если выбирать: Создание видеоигры: Интересно было бы узнать о концепции игры, особенно если она уникальная или включает интересные механики. Это отличный способ сочетать креативность и программирование. Создание веб-страницы: Любопытно, какой проект вы планируете - что-то связанное с дизайном, интерактивностью или даже интеграцией AI? Программирование устройства ESP32: Это очень увлекательно, особенно если проект связан с IoT или какими-то реальными приложениями (например, управление устройствами, датчики или 3D-позиционирование). Какой бы проект вы ни выбрали, это будет интересно! 🙂

[@zapr-m2f]

@@geekatplay-ru Cпасибо за Ваш оперативный ответ! Вы просто классный! Более интересно было бы создание веб-страницы. Но есть еще одна безумная идея - создание рабочего места риэлтора - продажа/ покупка недвижимости.

[@DynatronG]

Само, что прикололо это момент с " по дереву постучать". 8:22

[@Oleksiy777]

Эти маленькие модельки нужно только для обеспечения приватности и коммерческой тайны. А так то они гораздо тупее чем большие модели (Мистраль LeChat, СhatGPT4, Claude, Grok). Я пользуюсь последними, хоть и с лимитами. Только задачу разбиваю на части так, что мало кто с той стороны сможет использовать мои наработки.

[@geekatplay-ru]

Спасибо за ваше мнение! Да, маленькие модели действительно часто уступают большим в мощности и универсальности, но их преимущество - автономность, приватность и кастомизация под конкретные задачи. Вы нашли отличный подход - разбивать задачи на части для повышения безопасности. Это хороший баланс между возможностями больших моделей и сохранением конфиденциальности. 👍

[@hdamidaw]

Спасибо за отличные уроки❤

[@geekatplay-ru]

Большое спасибо за вашу поддержку! 😊

[@78diki]

А не проще это сделать через LM Studio? Просто установил программу и скачал нужную модель прямо из программы. ВСЕ)

[@geekatplay-ru]

Да, но Ollama предоставляет пользовательский интерфейс и более простой процесс установки для людей, не обладающих глубокими знаниями системы.

[@VladimirKarpachov]

@@geekatplay-ru lm studio проще не куда. Это тоже графическая оболочка, без всяких танцев с бубном. Единственное требование -это железо, как и во всех LLM, кстати. Так что ставьте студию и не парьтесь

[@dzianwoo2292]

@@geekatplay-ru ты серьёзно? более простой процесс установки с докером?))) смешно шутишь)

[@orion33]

А голосом тоже можно общаться? А анализ документов поддерживает? А режим доски? А папки для проектов, которые вчера добавили?

[@geekatplay-ru]

Хорошее предложение, собираюсь проверить это

[@Fliger-G]

Есть ли у нее ограничение по спрашиваемым вопросам как в ГПТ ?На всели темы можно с ламой разговаривать?

[@geekatplay-ru]

Технически, в ChatGPT работают два ИИ: один отвечает на ваши вопросы, а второй мониторит ответы и цензурирует их. В LLama отсутствует ИИ для цензуры.

[@edavast5308]

💯✌👍

[@LUKINIGOR_Photography]

Спасибо и Удачи

[@geekatplay-ru]

Большое спасибо

[@RaZvAL26]

актуальное видео нужен обучаемый ии с доступом в интернет.

[@ПопроПрллл]

@@RaZvAL26 терминатор, судный день, живой мешок не нужен будет.

[@danielwaizman7519]

Цу меня уже стоит около месяца. В комфи тоже использую

[@whileres9658]

как используете с comfyui не секрет?

[@stolz999]

Какую видеокарту надо иметь чтобы с этим работать?

[@geekatplay-ru]

У меня есть RTX 3090, однако это будет работать и с видеокартой на 6 ГБ, если вы используете небольшую модель.

[@dzianwoo2292]

на процессоре нормаль даже работает, оперативки для них много надо, только это беспонтовая нейронка, в лм студио поскачивай разные посмотри какая под твои задачи лучше подойдет

[@wakeup2.369]

Чат не имеет доступа к сети не сможет найти ничего в сети по запросу

[@geekatplay-ru]

Модели LLaMA (Large Language Model Meta AI) изначально не имеют доступа к интернету. Они разработаны как автономные системы и работают только на основе знаний и данных, на которых были обучены, без встроенной возможности получать или взаимодействовать с веб-контентом в реальном времени. Однако вы можете расширить возможности модели LLaMA, добавив доступ к интернету следующими способами: Пользовательская интеграция: Разработчики могут добавить функциональность веб-скрейпинга или вызовов API в приложения, использующие LLaMA. Это потребует написания дополнительного кода для связи между моделью и интернетом. Специально обученные версии: Некоторые сторонние версии LLaMA или её производных могут включать плагины или расширения, позволяющие взаимодействовать с веб-контентом, но это зависит от конкретной реализации. Сочетание с другими системами: LLaMA можно использовать совместно с инструментами, такими как LangChain, которые предоставляют модульные фреймворки для выполнения задач, включая доступ к интернету.

[@PianoTunerNJ]

Привет сосед . Тогда по идеи если запускается через Docker то по можно (это дело) LlamaGPT запустить на Synology NAS .

[@geekatplay-ru]

Да, вы можете использовать Docker на системе NAS (сетевое хранилище данных). Многие популярные бренды NAS, такие как Synology и QNAP, предоставляют встроенную поддержку для запуска Docker-контейнеров. Это позволяет развёртывать различные приложения прямо на NAS, используя возможности контейнеризации Docker.

[@partizanbanec8305]

@@geekatplay-ru А видеокарта? пробрасывать ? есть ли тогда смысл на NAS?

[@nikolaydd6219]

Мне когда LM Studio по удобней будет.

[@geekatplay-ru]

Это замечательный инструмент, и я рад, что он вам нравится.

[@try448]

LM Studio универсальнее, больше разнообразных моделей, кроме различных версий Llama есть еще и Yi Coder, Qwen2.5 Coder, просто Qwen2.5, InternLM, LLaVA v1.5, Mathstral 7B, Gemma 2, Phi 3.1 и много чего разного, в том числе и доработанные модели, не официальные.

[@geekatplay-ru]

Согласен, LM Studio действительно предлагает больше разнообразия моделей, что делает его универсальнее. Наличие таких моделей, как Yi Coder, Qwen2.5 и других, включая доработанные версии, открывает больше возможностей для пользователей. Это особенно полезно для тех, кто ищет что-то специфическое под свои задачи.

[@nfactor1]

Работает не в бэкграунде, а в фоне. Фоновое приложение. Работа в фоне.

[@geekatplay-ru]

Спасибо за исправление! 😊

[@dzianwoo2292]

LM Studio? Не, не слышал

[@geekatplay-ru]

Это, lmstudio.ai/ ? Я посмотрел, но еще не пробовал с этим работать.

[@dzianwoo2292]

@@geekatplay-ru ну после того как попробуете, пересмотрите это своё видео, если не захочется его удалить, то вы странный)) а то ламу 3.2 называете мощной...стыдоба ейюогу

[@geekatplay-ru]

Я понимаю ваш энтузиазм по поводу LM Studio, однако это всего лишь UI-оболочка для работы с моделями ИИ, поддерживающая Llama 3.2, Mistral, Phi, Gemma, DeepSeek, Qwen 2.5; OLlama - это другая UI-оболочка, и на данный момент у Llama 3.2 больше доступных узлов, чем у других моделей, с использованием оптимизированного трансформера; подробнее читайте здесь: ai.meta.com/blog/meta-llama-3-1/ ; каждая модель имеет свои плюсы и минусы, но LM Studio - это только оболочка и модуль управления моделями, а не сама модель или ИИ; извините, если это вас разочаровало. Llama 3.2 универсальна и мощна для общих задач, Mistral эффективна для легких приложений, Phi превосходит в программировании и логике, Gemma отлично подходит для креативного письма, DeepSeek идеальна для извлечения данных, а Qwen 2.5 сбалансирована, но больше ориентирована на специализированные задачи.

[@dzianwoo2292]

@@geekatplay-ru конечно оболочка, это не нейросеть, и она гораздо удобнее, чем тот ужас о котором вы говорили в видео. Список не верный у вас, доступно там всё что есть в формате gguf, а на хагингфейсе их много. Ллама та о которой вы говорили вообще ниочём, даже саммери из текста криво делает, не говоря уже о сложных задачах. Да и пишет с ошибками. На фоне полностью бесплатного мистраля large, даже через апи, лама ниочём абсолютно. Пхи быстрая, но глупенькая, её бы доучить и хороша была, deepseek code неплох и в текст и в код, лучшее пока что тестировал из опенсорса. Гема похуже, но можно использовать.Кквин с русским языком не ладит и вообще единственный из этого списка бесполезнее лламы

[@sevapva]

Осторожно. Вирусы выходят на новый уровень.

[@geekatplay-ru]

Это открывает широкое поле для потенциальных проблем.

[@TurnToTheLight]

Sorry, но это всё такая фигня и мышиная возня. Установите себе LM Studio и не парьтесь. Скачивайте и используйте все самые новые, свежие и вообще любые LLM'ки одним кликом в нормальном интерфейсе и с любыми настройками.

[@geekatplay-ru]

С этим можно работать разными способами, и предоставление альтернативного варианта может быть удобнее для некоторых людей. Не всё обязательно делать «под копирку».

[@TurnToTheLight]

@@geekatplay-ru какая ужасная нейросеть сгенерировала это сообщение, треш ))

[@gilman2056]

Обменять нормального хоть платного ассистента на всратый бортовой ИИ. Нет уж спасибо. Мужик явно далёк от программирования раз заикается об этом.

[@geekatplay-ru]

Я понимаю, что вы можете задаться вопросом, знаю ли я, о чём говорю. Вот моя страница на LinkedIn с указанием моей экспертизы www.linkedin.com/in/geekatplay/ . Мой последний проект заключался в программировании системы выравнивания антенн на спутниках. Также я занимаюсь программированием для удовольствия в свободное время, участвую в open-source проектах. Вот видео устройства, использующего ESP32 и множество дополнительных модулей для расчёта в реальном времени абсолютного позиционирования в 3D пространстве с учётом наклонов, ускорений и так далее, примерно 100 раз в секунду с визуальным отображением. kzbin.infonex95BvpIMQ . А теперь, что вы сделали?

[@gilman2056]

@@geekatplay-ru я занимаюсь квантовым трейденгом, конкретно бекстеком и написанием ботов для бирж. Часто использую ИИ, и llama довольно всратая штука, не понимаю зачем его пиарят как альтернативу.

[@TRX_144]

На самом деле не совсем корректно сравнивать таких гигантов как чат Gpt и локально установленные модели - но тут есть нюанс - а именно , смотря для чего вы используете эти модели - локально установленные вы можете полностью под себя модернизировать и дообучать, Для ролевых игр - полностью настроить под себя модель и ее цензуру или убрать ее вовсе. Для создания агентов - тоже быстрее и надежнее делать с локально установленными моделями чем с теми доступ к которым у вас только по платному Api, в общем много чего еще можно добавить - но повторюсь тут речь не идет о полной замене а лишь о том что их так же можно использовать

[@westost9285]

@@geekatplay-ru Он хотел пукнуть, но в итоге жидко обделался.