100% ЛОКАЛЬНЫЙ и ПРИВАТНЫЙ GPT - PrivateGPT

  Рет қаралды 75,620

Выпусти джуна из лампы

Выпусти джуна из лампы

Күн бұрын

Пікірлер: 299
@ATtiny13a-PU
@ATtiny13a-PU Жыл бұрын
Подписался и поставил лайк хотябы просто потому что без музыки на фоне с хорошо поставленной речью и заготовленной структурой видео человек смог рассказать всё что требовалось по данной теме.
@WikiModels
@WikiModels 11 ай бұрын
Приятно видеть образованного человека, говорящего по теме! Пожалуйста, продолжайте в том же духе! Отличный обзор!
@Леонид-с5з
@Леонид-с5з 11 ай бұрын
4:43 Для MacOS (пришлось искать самому): 1. Предварительно нужно выйти в корневую попку пользователя: cd ~ 2. Установка и создание виртуального окружения: python3 -m venv localGPT 3. Активация виртуального окружения: source localGPT/bin/activate В дальнейшем вместо "py" использовать "python3"
@АлексейДолженко-п2щ
@АлексейДолженко-п2щ 3 ай бұрын
Windows и mac можно выбросить, винда сосет оперативки и валит процессор, у маков железо слабее чем у х86 систем.
@innerjoinr
@innerjoinr 11 ай бұрын
Спасибо за столь подробный гайд по установке! Столкнулся в проблемой по работе с qdrant, но быстро нашёл решение поменять на chroma. Всё остальное прошло без проблем. И да, запускал на Ubuntu 22.03 под WSL2. Лайк и подписка!
@urmatallatra
@urmatallatra Жыл бұрын
Видео класс. Можешь показать как обучать на своих данных, допустим базу подключить офисную
@ZloyRus
@ZloyRus Жыл бұрын
Друг! Спасибо тебе! Я написал Prompt и PrivateGPT уже во всю помогает мне с моими задачами в коде. Спасибо!
@ibadoffs
@ibadoffs 9 ай бұрын
Можно поподробнее, как писать этот промт, что бы помогал с кодом. Спасибо
@TopsyPlay
@TopsyPlay 10 ай бұрын
poetry install --with ui не сработало до установки именно pip install poetry (без pipx)
@Древесина-с2у
@Древесина-с2у 10 ай бұрын
+
@LuaNaZakaz
@LuaNaZakaz Жыл бұрын
Ждём видео с тестами скармливания файлов и работы с ними
@dmitrisitnikov8489
@dmitrisitnikov8489 11 ай бұрын
аналогично
@ДмитрийБугров-й6р
@ДмитрийБугров-й6р 10 ай бұрын
Ага
@РатиборКа
@РатиборКа 8 ай бұрын
Интересно, тоже полный ноль в программирование учусь на коленке, спасибо за инструкцию и "легкость языка". А Вы не пробывали сделать что-то подобное но уже на сервере в облаке, чтобы можно было зайти в "свой gpt" с любого устройства ?
@Jonnie_Rich
@Jonnie_Rich Жыл бұрын
Thank you! The other strategies with other youtuber's had not worked previously until I followed yours.
@sergoorg1040
@sergoorg1040 Жыл бұрын
Человечище, отдельный респект за цу по работе с репозиторием!
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Спасибо!
@Trizhek
@Trizhek 5 ай бұрын
Спасибо, было круто. Очень интересно про обучение модели на своих данных
@_profe_games3306
@_profe_games3306 Жыл бұрын
Сколько информации она способна принять для дообучения? Сколько токенов способна принять и сколько вернуть? И какого года у нее база данных?
@LYT101
@LYT101 Жыл бұрын
Всё получилось, ждём дальнейшего развития. Я, хотел бы к этой модели присоединить заметки из Obsidian они в формате md маркдаун, и хотел бы чтоб я делал заметки так же в Обсидиане, а запросы в этом локальном чате. Было бы круто.
@adultart
@adultart 11 ай бұрын
Тоже сразу об этом подумал =)
@ph08nyx
@ph08nyx 11 ай бұрын
А вдруг gpt+obsidian=сильный ИИ... куды тогда бечь? Шутка.
@Ardbot
@Ardbot 11 ай бұрын
Странно, но как только я начал изучать obsidian, то попалось это видео.думаю, это не совпадение
@dmitryd6268
@dmitryd6268 7 ай бұрын
Не совпадение ИИ уже подсказывает человеку как и что делать, чтобы полностью заменить собой человечество. (Сарказм, если что)
@ui3er
@ui3er 11 ай бұрын
Привет, а можешь сделать урок, как свою нейронку обучать, именно в этом пакете? К примеру после обучения свою модель подгрузить и т.д. Спасибо
@ЯестьГрут-д8р
@ЯестьГрут-д8р 11 ай бұрын
кишка тонка у твоего компа для обучения, только максимум на gpt2.
@Безымянный-х4з
@Безымянный-х4з Жыл бұрын
Очень информативное и хорошее видео! Большое спасибо автору. Очень интересно, что будет дальше
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Спасибо!
@intrigazTV
@intrigazTV Жыл бұрын
Ничего себе размах. Крутые планы. Будет интересно посмотреть что из этого получится. Удачи!
@muzh83
@muzh83 11 ай бұрын
очень интересно! надеюсь все получится! удачи!
@takethejunioroutofthelamp
@takethejunioroutofthelamp 11 ай бұрын
Спасибо!
@testcloud3404
@testcloud3404 11 ай бұрын
Неплохое руководство Есть путь проще - LM Studio
@denismarchall8673
@denismarchall8673 11 ай бұрын
С таким интересом я видос еще не смотрел) спасибо, взял на вооружение
@ctf59
@ctf59 4 ай бұрын
Молодец, но мало примеров его работы, как он кодит в целом?
@YokoSakh
@YokoSakh 11 ай бұрын
Это LLAMA и Mistral, обе по 7B параметров. Попробуй Phi-2 от Микрософт, она выигрывает по бенчмаркам. У маленьких моделей размер контекста не очень тоже. Это надо будет учитывать при разработке.
@mylenefarmer8155
@mylenefarmer8155 6 ай бұрын
Очень приятная грамотная речь.
@MaxB4
@MaxB4 11 ай бұрын
Под WSL2 не пробовали установить? Такие линуксовые вещи ставить под windows - много лишних телодвижений (powershell, vs минус build tools,..).
@takethejunioroutofthelamp
@takethejunioroutofthelamp 11 ай бұрын
На мак ставил другу, там довольно быстро встало, на линукс еще не пробовал
@egorius
@egorius 9 ай бұрын
Сделал всё как написано, но на этапе poetry install --with ui возникает ошибка “Group(s) not found: ui (via --with)". Подскажите пожалуйста с чем это может быть связано. Спасибо
@yllkk_936
@yllkk_936 11 ай бұрын
Спасибо за видео! хотелось бы узнать характеристики вашего ноутбука, в частности cpu, gpu
@pashahous
@pashahous Жыл бұрын
А какой минимальный объем памяти на GPU нужно? Какая у вас модель GPU?
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
У меня RTX 3070 8Gb
@zzolegka
@zzolegka 2 ай бұрын
подскажите пожалуйста, а если 32 гб оперативка ,Intel Core i5 13500H, но со встроенной графикой Intel Iris Xe Graphics 80 EUs? как думаете шустро будет работать или также по минуте отвечать?)
@The_Dream_Person
@The_Dream_Person 11 ай бұрын
Круто! Ждем продолжения.
@tacowilco7515
@tacowilco7515 11 ай бұрын
супер, спасибо можно завернуть всё в докер (если еще нет нет готового имиджа), что систему не мучать
@B00TC0RE
@B00TC0RE Жыл бұрын
Искал что-то подобное. Надо попробовать.
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Вперед и успехов, расскажите о своем опыте тоже ради интереса)
@bairshirapov3449
@bairshirapov3449 Жыл бұрын
Спасибо! Ждем след. вид. как загрузили свою базу знаний и каковы результаты.
@airlow6784
@airlow6784 9 ай бұрын
Очень близко к тому что я ищу, спасибо, буду пробывать!
@Full-master
@Full-master 11 ай бұрын
Оно контекст быстро упускает из вида?
@raphaelnevmyanov4757
@raphaelnevmyanov4757 9 ай бұрын
Спасибо Киану Ривз. Очень хорошее видео
@VladimirNerby
@VladimirNerby Жыл бұрын
12:51 Ребят, это LLAMA
@zzolegka
@zzolegka 2 ай бұрын
Спасибо, друг!!! установил, помучался правда, некоторые команды пришлось писать по другому , какието новые использовал, которых не было в видио, смотрел мануал на гитхабе.) единственное , что не совсем понял, подскажи ты устанавливал какую версию ламы ? в мануале както не увидел, а локальнокогда своему ИИ задаю вопрос какое количество параметров он использует он ответил 1.5млрд. Ожидал увидеть 8b. думаю мой комп потянет 8млрд параметров.
@diversitynone431
@diversitynone431 11 ай бұрын
Её можно натравить для обучения на форум в интернете и потом спрашивать по его материалам?
@СерёгаЗолотой-и8ц
@СерёгаЗолотой-и8ц 11 ай бұрын
Огромное спасибо то что искал.
@intrigazTV
@intrigazTV Жыл бұрын
А реально ли её дообучить на каких-то собственных доках? Например, скормить документацию по толком непроиндексированному в паблике движку.
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Да, она это делает и неплохо справляется
@haarc3125
@haarc3125 11 ай бұрын
В свое время купил видеокарту от AMD, давльно производительную, но как вижу сейчас в основом все локальные нейросети работают с CUDA, поддерки ROCm нет. Хотел бы узнать может ты знаешь похожую модель с поддержкой ROCm на Linux? Естсетвенно приходится использовать Linux, так как у WIndows нет поддрежи ROCm.
@mixr00tka
@mixr00tka Жыл бұрын
Русский язык оно поддерживает? Было бы интересно послушать как скармливали свои данные для обучения и что в итоге получилось.
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Он мультиязычный. Может даже переводить с английского на русский, грамматика немного хромает, но в целом годная штука)
@NeBomj
@NeBomj 11 ай бұрын
Вопрос - как эта LLM в сравнении с другими LLM с открытым кодом? stableLM, h2oGPT, Open Assistant, RWKV, еще есть LLAMA и alpaca
@takethejunioroutofthelamp
@takethejunioroutofthelamp 11 ай бұрын
Это LLAMA
@pianoman1558
@pianoman1558 10 ай бұрын
расскажите , плиз, об установке на локальную машину AUTOGPT. Можно его замкнуть не на API ChatGPT, а на данную модель, установленную локально? Так чтобы получился полностью автономный агент.
@sai_404_1
@sai_404_1 11 ай бұрын
Здравствуйте, как можно заменить используемую модель для общения на свою? Хотел бы использовать свою модель для экспериментов
@mylenefarmer8155
@mylenefarmer8155 6 ай бұрын
Подписался. Спасибо!
@LYT101
@LYT101 Жыл бұрын
Не могу выполнить команду poetry install --with ui пишет: poetry : Имя "poetry" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте пр авильность написания имени, а также наличие и правильность пути, после чего повторите попытку. строка:1 знак:1 + poetry install --with ui + ~~~~~~ + CategoryInfo : ObjectNotFound: (poetry:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException
@ImQugurun
@ImQugurun Жыл бұрын
если память не изменяет нужно выполнить pipx ensurepath чтобы poetry стало доступно, перезапустить окно командной строки и выполнять уже дальше. Или как ниже посоветовали установить так python -m pip install poetry
@ОрнбасарТажербаев
@ОрнбасарТажербаев 11 ай бұрын
Здравствуйте. Подскажите чисто теоритически с помощью нейросетей возможно создать предположим простой стриминговый сервис на блокчейне ?
@chak5chukcha245
@chak5chukcha245 11 ай бұрын
Здравствуйте! При использовании команды "poetry install --with local" у меня возникает вот такая ошибка : at C:\AiWork\localGPT\Lib\site-packages\poetry\installation\chef.py:164 in _prepare 160│ 161│ error = ChefBuildError(" ".join(message_parts)) 162│ 163│ if error is not None: → 164│ raise error from None 165│ 166│ return path 167│ 168│ def _prepare_sdist(self, archive: Path, destination: Path | None = None) -> Path: Note: This error originates from the build backend, and is likely not a problem with poetry but with llama-cpp-python (0.2.23) not supporting PEP 517 builds. You can verify this by running 'pip wheel --no-cache-dir --use-pep517 "llama-cpp-python (==0.2.23)"'. А как решить не заю, помогите пожалуйста!
@ДмитрийЖабровец-ъ2ъ
@ДмитрийЖабровец-ъ2ъ 10 ай бұрын
У меня тоже(
@Itgeekpro
@Itgeekpro Жыл бұрын
Спасибо интересно, а какая конкретно модель используется? LLama?
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Да
@fistjjik
@fistjjik 11 ай бұрын
пожалуйста помогите у меня на этапе /poetry install --with ui 8:05 "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@fistjjik
@fistjjik 11 ай бұрын
я вроде решил, нашел на одном из сайтов путь к поетри скопировал оттуда файлы в локал джпт и снова запустил эту команду
@takethejunioroutofthelamp
@takethejunioroutofthelamp 11 ай бұрын
Вам нужно прописать полный путь до poetry
@fistjjik
@fistjjik 11 ай бұрын
@@takethejunioroutofthelamp автор привет, спасибо за ответ, а можеш рассказать какой у тебя пк вкратце даже, и еще как идея можете записать про настройку лм студио, я смотрел на русском почти никто нормально не рассказал
@romanmed9035
@romanmed9035 11 ай бұрын
а не отправляет ли оно разработчикам что-то или контролируемая разработчиками?
@eduardmart1237
@eduardmart1237 11 ай бұрын
А как дообучить модель?
@govkillplay6929
@govkillplay6929 11 ай бұрын
Делал всё как на видео но столкнулся с ошибкой. Как её исправить? (localGPT) C:\Users\Serega\privateGPT>poetry install --with ui "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@ДмитрийЖабровец-ъ2ъ
@ДмитрийЖабровец-ъ2ъ 10 ай бұрын
попробуйте удалить весь python и anaconda на компьютере и переустановите. У меня сработало
@url4573
@url4573 11 ай бұрын
То есть это считай свой чат гпт без использования платного апи которого ты сам обучаешь? А можно его обучить и поставить на сервер без 5 гб и чтобы он отвечал людям по определнной теме?
@romanmed9035
@romanmed9035 11 ай бұрын
пробую за автором повторять. установлен вин10-64. возможно у автора что-то еще было установлено. у меня ошибка на этапе установки библиотек Installing llama-cpp-python (0.2.23): Failed. даже отдельно устанавливать пробовал но все равно ошибка CMake build failed. и даже vc2017 установил.
@commandergdi9795
@commandergdi9795 11 ай бұрын
PrivateGPT пункт Troubleshooting: C++ Compiler. Автор поленился для простых пользователей, сделав так если у тебя были все эти программы.
@romanmed9035
@romanmed9035 11 ай бұрын
@@commandergdi9795 спасибо, но я доустановил все и ничего не помогло. возможно все же не все, но что автор упоминал и что оно потом само предлагало, включая распространяемый пакет вижуал си.
@Calico_Calicos
@Calico_Calicos 11 ай бұрын
FreedomGPT работает на кпу так же быстро.
@rrrreetreereerrerrrr
@rrrreetreereerrerrrr 11 ай бұрын
BLAS = 1 у меня показал но вот я вообще не ощутил прироста производительность карта 3050 - может какие то настройки еще нужны? у меня еще есть gpu на cpu - может он не тот юзает я хз
@StanislavEremeev
@StanislavEremeev 11 ай бұрын
Если у кого-то не запускается, то проверьте, что бы физическое имя папки совпадало с именем в скрипте. У меня папка называлась PrivateGPT, но в скрипте папка вызывалась privategpt, я 3 часа никак не мог понять. Оказывается скрипт чувствителен к регистру!! Если gpt скормить файл на русском языке то он его не обработает( модель обрабатывает только английский
@vrdgtfurdiotrfhdd
@vrdgtfurdiotrfhdd 11 ай бұрын
Большое уважение за видос👍👍👍👍👍👍
@dzozuashviliPetr
@dzozuashviliPetr Жыл бұрын
Спасибо за труд!
@localixdots9698
@localixdots9698 11 ай бұрын
Скажите, а зачем столько приседаний когда спокойно можно скачать LM Studio скачать нужную модель и просто пользоваться без лишних телодвижений?
@takethejunioroutofthelamp
@takethejunioroutofthelamp 11 ай бұрын
Это первое, что мне попалось из того, чему можно было скормить какой нибудь свой документ и опрашивать вновь обученную модель
@localixdots9698
@localixdots9698 11 ай бұрын
@@takethejunioroutofthelamp в лм я правда не разбирался как свою модель сделать но она поддерживает много разных форматов. Так что собрать свою модель и просто указать файлик я думаю не проблема. Кажется больше сложностей обучить нейронку. Будет видео по этой теме?
@mqst
@mqst Жыл бұрын
Полезно, жду добавление своих файлов
@worldlab9813
@worldlab9813 11 ай бұрын
Круть! Тоже хочу дома своего Джарвеса...
@takethejunioroutofthelamp
@takethejunioroutofthelamp 11 ай бұрын
Ахаха)) Да, это прям реально Джарвис на минималках
@Free-pp8mr
@Free-pp8mr 11 ай бұрын
Спасибо ! Очень ценная информация! Потому что немного напрягает эта вся хрень с маркетингом глобальных GPT и всей этой байды про генерацию картинок и аватарок, которые имеют негативную полезность.
@СергейЖиров-х8б
@СергейЖиров-х8б Жыл бұрын
А не подписаться ли мне (подумал я)? И...подписался!😊Дело за малым: продолжайте!
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Спасибо за приятные слова!
@tikserziku
@tikserziku Жыл бұрын
Ждем других видео. Тоже работаю над этой темой.
@ph08nyx
@ph08nyx 11 ай бұрын
Давно мечтаю установить для личного использования.. Типа собственный ИИ - ассистент. Но чёт заморочено слишком.. Как всегда с этими линуксоидными проектами.. 100500 зависимостей, 100500 пакетов, 100500 конфликтов... А на какой конкретно видеокарте запускался gpt в этом видео?
@camelCased
@camelCased 11 ай бұрын
RTX 3070 8Gb
@LapshinLAB
@LapshinLAB 11 ай бұрын
Всё ставится там где есть git poetry, pipx и так далее, а куда их ставить, в какие папки хз. И потом ничего не работает
@takethejunioroutofthelamp
@takethejunioroutofthelamp 11 ай бұрын
Ничего не понял)
@QmanKUCHER
@QmanKUCHER 11 ай бұрын
пакет CUDA входит в драйвера уже давно, странно что сразу на видео карте не запустилось
@rrrreetreereerrerrrr
@rrrreetreereerrerrrr 11 ай бұрын
Целый день провозился с ошибкой No CUDA toolset found Solution: I copied the four files from C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions And pasted into C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations
@ДмитрийЖабровец-ъ2ъ
@ДмитрийЖабровец-ъ2ъ 10 ай бұрын
Все делаю, по инструкции. Не получается, можете подсказать, в чем может быть проблема?
@mvsoft-studio
@mvsoft-studio 11 ай бұрын
poetry run python scripts/setup почему ошибка command not found, остальное все прошло без ошибок
@sergiytvelectro5664
@sergiytvelectro5664 Жыл бұрын
Подробнее пожалуйста о данной модели, есть Русский язык, как она с документами работает и так далее. Благодарен за откровенность о трудностях с которыми вы сталкивались и ответами на эти трудности. С сам пытался локально установить несколько моделей но заработала только одна (из шести) это Alpaca electron а модель конкретно не скажу нет сейчас такой возможности. иесли заинтересовао то напишу точно модель. 😊
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Да, есть русский язык, но в приоритете английский конечно де
@ТАБЛЕТКАСМЕХА-ф4г
@ТАБЛЕТКАСМЕХА-ф4г 11 ай бұрын
@@takethejunioroutofthelamp а можно работать через обычный браузер на запросах?
@АльбертИванов-ц4х
@АльбертИванов-ц4х 11 ай бұрын
@@ТАБЛЕТКАСМЕХА-ф4г вопрос: что написано в документе х ? ответ: Hello! I'm an assistant designed to help answer questions in English. If you have a question or topic you'd like assistance with, please feel free to ask in English and I will так что с русским она не работает.
@Danekzaryazhennyy
@Danekzaryazhennyy Жыл бұрын
У меня poetry в командой строке после всех действий пишет, что не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Такая ошибка говорит о том, что poetry не добавлен в path. Решения два: первое обращаться к poetry полным путем, второе - загуглить как можно добавить poetry в path
@Danekzaryazhennyy
@Danekzaryazhennyy Жыл бұрын
@@takethejunioroutofthelamp я добавлял сразу в path потом самостоятельно ибо знаю эту ошибку, но это не помогло, помогла команда python -m pip install poetry
@ford_one
@ford_one 11 ай бұрын
@@Danekzaryazhennyyкрасава, пол часа протыркался, ладно хоть в комменты решил залезть, спасибо
@streamsnipe-404
@streamsnipe-404 3 ай бұрын
а почему вы просто не используете LM Studio?
@павел-техник
@павел-техник 2 ай бұрын
он не поддерживает считавание документов
@samezarus
@samezarus Жыл бұрын
Спасибо !
@АлексейАстанков-б9д
@АлексейАстанков-б9д 11 ай бұрын
Здравствуйте. Никак не хочет устанавливаться llama-cpp-python. Пробовал и разные версии ставить. Ошибка. Тем не менее, подписался. С наступающим Новым Годом! P.S. Нашёл решение - нужно доустановить пакер C++ в Visual Studio 2022 Но возникла ситуация, когда GPT работает лучше на процессоре ( i7-12650H), чем на видеокарте (MX 550) и я не знаю как вернуться к использованию CPU.
@alexanderselifonov119
@alexanderselifonov119 11 ай бұрын
MX550 слишком старая и бесполезна для ML задач. Минимальная видюха, насколько помню, Geforce 20-ой серии, и памяти на карте как можно больше, не менее 8ГБ (многие пишут, что кол-во памяти даже важнее свежести процессора, т.е. GF 3060 с 16ГБ лучше чем 4060 с 8ГБ. Откатиться на режим CPU в крайнем случае можно удалением и переустановкой с нуля, но скорее всего надо где-то один ключик в строке запуска поменять (найти нужный запускаемый файл с конфигом).
@АльбертИванов-ц4х
@АльбертИванов-ц4х 11 ай бұрын
@user-wb9tg6wj5y powershell $env:CMAKE_ARGS='-DLLAMA_CUBLAS=off' poetry run python -m pip install --force-reinstall --no-cache-dir llama-cpp-python exit
@ИгорьСтепанов-д2н
@ИгорьСтепанов-д2н 11 ай бұрын
Можно ли запустить на оперативной памяти и сколько будет хавать?
@O777GR
@O777GR 20 күн бұрын
еле нашёл запись. посмотрел, и решил оставить этот тест на потом. а теперь вспомнил что смотрел, решил найти, и потратил пол дня на поиски =)))
@BobiBobObana
@BobiBobObana 11 ай бұрын
Есть модель для С++? Просто хочу понять есть ли смысл его качать. Например он может написать сортировку с помощью итераторов?
@tokosotomimo14
@tokosotomimo14 9 ай бұрын
не работает. скачал все библиотеки все зависимости cuda и тд. и на самой последеней команде ошибка note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for llama-cpp-python Failed to build llama-cpp-python ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects потратил кучу времени, переутснавливал 2 раза но эта ошибка так и не решилась
@dead-maxim
@dead-maxim Жыл бұрын
Так а чем это лучше text-generation-webui так и не понял. Чем то же он должен быть лучше, раз ты на него обратил внимание.
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Я не сравнивал честно говоря, просто взял первое что понравилось и выдал. Если есть желание сравнить, был бы рад увидеть результаты)
@Fillmore634b
@Fillmore634b 11 ай бұрын
давно мучает вопрос, хочу узнать - сгорит ли видеокарта или компьютер если много пользоваться таким локальным чат гпт? Мне кажется это огромная нагрузка на комп, в железе не разбираюсь.
@ISinicyn
@ISinicyn 11 ай бұрын
Люди майнили годами 24/7 на видео картах, а тут она вообще ничего не почувствует.
@Fillmore634b
@Fillmore634b 11 ай бұрын
@@ISinicyn да нифига, читал после майнинга карта убитая в хлам (раньше такие продавали на авито после майнинга)
@ISinicyn
@ISinicyn 11 ай бұрын
@@Fillmore634b еще раз майнили 24/7 годами, тут же нагрузка грубо 10 минут в сутки
@Karpenko-ed4xl
@Karpenko-ed4xl 11 ай бұрын
Здравствуйте. Спасибо, полезно 🙂🙂 Можно узнать ваши характеристики пк: процессор, видеокарта?
@bakhmut777
@bakhmut777 9 ай бұрын
Как поставить гидхаб?
@rusorder7191
@rusorder7191 Жыл бұрын
Установил, с плясками с бубном.. остановился на том что выдает ошибку если дать ему файл doc : 'charmap' codec can't decode byte 0x98 in position 790: character maps to не понимает кодировку .
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Тоже наткнулся на такое, когда собрал текст в интернете и закинул в текстовый файл. А вот pdf съел, также съел текстовый файл с кодовой базой
@rusorder7191
@rusorder7191 Жыл бұрын
@@takethejunioroutofthelamp да пдф открылся, но я так и не понял как он этот файл обрабатывает ?
@Василий-ю2х8и
@Василий-ю2х8и Жыл бұрын
​@@rusorder7191если ты зайдешь в файл settings.yaml увидишь что у тебя помимо LLM модели, также подключена модель embeddings, твой текст делится на чанки, оцифровуется и добавляется в векторную базу chroma (или какая там стоит по дефолту) и потом когда ты задаешь вопрос LLM модели алгоритм +- повторяется и находится максимально релевантный ответ по твоему вопросу. Если в файле 1.txt было написано что Ване 15 лет и он учится в 9 классе. После запроса в LLM - "Что ты знаешь о Ване", модель ответит тебе информацию из файла. В двух словах происходит вот так
@KurskikhA
@KurskikhA Жыл бұрын
Привет! Какую версию CUDA вы ставили? У меня работает только на CPU, команда переключения на gpu заканчивается ошибкой что llamacpp не может найти путь к cuda
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Жаль, заметно медленнее работает? В видео было показано как я устанавливал CUDA, найдите и посмотрите пожалуйста Если поделитесь текстом ошибки или скрином, было бы легче вам помочь
@IvanPetrov-b8n
@IvanPetrov-b8n 7 ай бұрын
Та програмируй на процесоре, не исполняй 😂😂😂
@atomicengine
@atomicengine 5 ай бұрын
А рсть какойнибудь локальны gpt для пайтон програмистов чтобы ему вопросы задввать ?
@takethejunioroutofthelamp
@takethejunioroutofthelamp 5 ай бұрын
llama3 думаю справится
@vladoman29
@vladoman29 11 ай бұрын
Спасибо, еще хотелось бы что-то вроде топа моделей увидеть, какие локальные модели ближе всего к гпт4 можно использовать? Я бы хотел максимально нагрузить свое железо (64gb ddr5, gpu: 7800xt с 16гб видеопамяти)
@FOX3490-z7u
@FOX3490-z7u 6 ай бұрын
Llama3 8b instruct вам нужна. 16гб видеопамяти позволит использовать модель в исходном качестве, это хорошо, так как сжатие сильно шакалит способности модели в русском языке.
@АлександрГузяев-к8р
@АлександрГузяев-к8р 11 ай бұрын
А как установить все это на Linux? Мне кажется, было бы очень круто, если бы вы записали такой обзор, наверняка очень многих эта тема заинтересует)
@holy_moleys
@holy_moleys 11 ай бұрын
в чем разница то
@alex_illusion
@alex_illusion 11 ай бұрын
А какая у Вас видеокарта на ноуте при запуске privateGPT ?
@vladi_g
@vladi_g 11 ай бұрын
RTX 3070 8Gb
@ЖеняПетров-ч2м
@ЖеняПетров-ч2м 10 ай бұрын
На каком железе запускали?
@akm_rpg_xakep
@akm_rpg_xakep Жыл бұрын
Можно ли заставить это гпт искать информацию в интернете?
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Для этого должны быть еще такие компоненты, которые называются агенты, здесь насколько я понимаю они не предусмотрены. Посмотрите в сторону LangChain
@akm_rpg_xakep
@akm_rpg_xakep Жыл бұрын
@@takethejunioroutofthelamp а я вот думаю как приделать аваланш к гпт :-) там как раз поисковый ресурс доступный для всех. Аваланш который от Андрея масаловича.
@cellnill
@cellnill Жыл бұрын
@@takethejunioroutofthelamp Опять агенты смиты)... А так полезно, спасибо земляк, лайк..
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
@@cellnillспасибо)
@Душнила-т1я
@Душнила-т1я 6 ай бұрын
Как раз искал куда можно скормить внутренню документацию, чтобы потом через нейросеть делать поиск нужного
@Danekzaryazhennyy
@Danekzaryazhennyy Жыл бұрын
При отправки сообщения чату jpt по ссылке localhosta у меня выдаёт след. проблему: error Collection make_this_parameterizable_per_api_call not found Всё делал строго по инструкции и ошибок выполняя команды не было
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
Удалось исправить? Или все еще так же?
@Danekzaryazhennyy
@Danekzaryazhennyy Жыл бұрын
@@takethejunioroutofthelamp не удалось
@arterium2564
@arterium2564 Жыл бұрын
@@Danekzaryazhennyy Не нашли решения? Ошибка та же
@Danekzaryazhennyy
@Danekzaryazhennyy Жыл бұрын
@@arterium2564 нет(
@arterium2564
@arterium2564 Жыл бұрын
@@Danekzaryazhennyy Ошибка возникает если выбрать модель анализа документа (самую левую или центральную) не подгрузив ни одного документа
@AHToHK
@AHToHK Жыл бұрын
Фрагмент ок. 11:00, где GPT на _Hey_ отвечает _Hello_ - это, похоже, работает "заглушка", а не реальная LLM. В документации по этому поводу сказано: _You should see a Gradio UI configured with a mock LLM that will echo back the input_
@severusalbus3931
@severusalbus3931 8 ай бұрын
У меня почему то не установилась CUDA Toolkit, ошибку кидает, драйвер свежий, видюха 4070 супер, проц. Райзен 7 5800х, может подскажите что не так?
@AvitoBot
@AvitoBot 8 ай бұрын
А у автора видео какие характеристики? Не могу найти название его процессора и видеокарты
@oldexe7035
@oldexe7035 Жыл бұрын
жду продолжения с добучением.
@ostrovskiartur
@ostrovskiartur 8 ай бұрын
я скачиваю другую нейросеть этим способом. настораживает что можно за....ть лиск ц так что не рискую это делать както подругому а то незаработает
@Lucerbius
@Lucerbius Жыл бұрын
Очень интересно. Давно думал о безинтернетном чат GPT. Непонятно только насколько старая версия чата. Громкость звука на видео иногда сильно возрастает. Ну и было бы неплохо акать поменьше, раз в сто.
@takethejunioroutofthelamp
@takethejunioroutofthelamp Жыл бұрын
ахах, спасибо за ценные советы) Учту обязательно!
@Justas-jf9hk
@Justas-jf9hk 11 ай бұрын
А ведь уже должны существовать нейросети, которые убирают дефекты речи, например аканье или картавость
Run your own AI (but private)
22:13
NetworkChuck
Рет қаралды 1,7 МЛН
Support each other🤝
00:31
ISSEI / いっせい
Рет қаралды 79 МЛН
Cat mode and a glass of water #family #humor #fun
00:22
Kotiki_Z
Рет қаралды 41 МЛН
Cheerleader Transformation That Left Everyone Speechless! #shorts
00:27
Fabiosa Best Lifehacks
Рет қаралды 16 МЛН
Тёмная сторона GPT
8:09
Выпусти джуна из лампы
Рет қаралды 43 М.
Эти АйТи специалисты ВСЕГДА будут нужны
21:49
Выпусти джуна из лампы
Рет қаралды 2,7 М.
Research Fundamentals in software development.
20:51
MindFight
Рет қаралды 5 М.
Support each other🤝
00:31
ISSEI / いっせい
Рет қаралды 79 МЛН