Скормил моему личному GPT кодовую базу и был приятно удивлен ее способностям...

[@efo7end]

"Трудности в общении" можно обойти попросив модель задавать уточняющие вопросы по задаче. И в целом эффективнее общаться по формуле "вопрос - вопрос - ответ - ответ". Например, U: "Покажи как сделать, чтобы пользователям присваивался вип статус если они сделали заказов на 3000 и более рублей, перед формированием ответа, задай дополнительные вопрос по данной задаче" GPT: примерно "Правильно понимаю, что нужно сделать .... это и вот это..." U: Да верно или уточнение, чтобы модель поняла, что именно нужно. GPT: Генерит решение. По крайней мере в модели Open AI, этот способ более эффективен, чем вопросы "в лоб".

[@takethejunioroutofthelamp]

Спасибо! Ну вот, буду тоже учиться культуре общения с GPT))

[@sve41794833]

Отлично, ждем дальнейших выпусков. Спасибо!

[@defend00r]

Как интересно, большое спасибо!

[@AiJ_Alew]

Вот уже посмотрел несколько видосов автора. Очень уникальный хоть и узкоспециализированный контент. Уверен что лет через 10 тут в коментариях будут миллионные обсуждения))))

[@takethejunioroutofthelamp]

Спасибо за теплые слова поддержки!

[@fitter2boss72]

Понравилось видео, хотелось бы видеть больше примеров, где и как можно использовать AI , какие данные можно анализировать.

[@AlexAlex-ei7zf]

Шалом, чувак! Вот действительно видео у Тебя полезные! Ништяк и респект! Рахмет

[@densaface]

шикардос эксперимент, прям очень неплохие результаты

[@The_Dream_Person]

Спасибо за видео, тема очень интересная.

[@СтасАрхипов-з1к]

Очень хороший проект !

[@VoidObj]

Пока не сказал что Акаешь, я даже не обращал внимания 😂

[@user-im9kr5wt3t]

Спасибо за видос !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

[@ПродавецРадуги]

Отличное видео!!!

[@MaxB4]

Самая большая проблема всех этих моделей - им нельзя доверять. Всё приходится перепроверять. Вы сами поймали её на мелочах, приводящих к неверному ответу. А что, если человек не в теме и из всех щелей этот алгоритм называют "искусственным интеллектом"? К чему это приведёт, как не к слепой вере? Штука полезная, но только там, где человек в теме, чтобы ускорить поиск, но и поймать на ошибке. Это надо всем "джунам" подчёркивать каждый раз.

[@dmitriyv4557]

Мне понравилось. Молодец! Подписался.

[@ДмитрийЖабровец-ъ2ъ]

Спасибо за видео! Буду рад, если подскажете, как в privategpt можно удалять файлы?

[@mqst]

Видео топ, жду дальше развитиеееееее офк ты красивый, но вебка слишком большая и закрывает контент)

[@takethejunioroutofthelamp]

Аххха) Спасибо!

[@Kulturnik]

Как мало людей, которые это смотрят.

[@АнтонБ-х9у]

так это все игрушки. На большом проекте, лучше потратить время на поимание задачи и написание кода, чем на то, как задать правильный вопрос. Это первое. Второе, все эти gpt работают только в проектах уровня MVP. В продакшене совершенно другие требования к качеству. Как эксперимент можно поиграть с моделями, но для продакшена это ещё слишком рано.

[@murapolo]

​@@АнтонБ-х9уэто да, но ведь потенциал у этой затеи тоже есть, просто сейчас нейронки сыроваты

[@alexandrdeveloper1242]

Потому что это имеет сомнительную ценность. Здесь получается что никакого обучения на самом деле нет - взята готовая обученная модель и к ней по факту добавлено то что они называют "промт" (Почему это не называть контекстом, по нормальному, не понятно). Установленная модель уже обучена sql. А что делать, если у меня язык, которому она не обучена? Или область знаний, которой она не обучена? По факту обещания разошлись с реальностью. Обещали что можно подгрузить ЛЮБОЙ источник, а по факту свелось всë к "промтам" опять... И нет, если модель ошиблась, то ошиблась. Писать этим код нельзя и будет нельзя до момента пока к нейронкам не прикрутят логический движок с самоиронией и возможностью ругаться матом, когда дают нерешаемые задачи 😁. Оно должно именно понимать, что оно делает, а не пробовать наугад сделать правильно, допуская случайные ошибки. И нет, эти ошибки не похоже на ошибки человека. Человек может ошибиться в мелочах, но при этом иметь верную стратегию решения проблемы. Тут наоборот - код пишется грамотно локально, но как правило не верно в масштабе, т к длина контекста модели конечна, а у человека нет такого параметра в принципе. Он может оперировать любыми "контекстами", в которых есть какая-то логика. Очень просто это проверить при игре в какую-нибудь логическую игру с достаточно большим количеством ходов. Начиная с некоторого хода любая модель будет " плыть" , начнёт ошибаться чаще, пока совсем не начнёт ахинею нести. (Специально заточенные для этой игры сети, типа альфа-го не в счёт,т к там руками добавлена проверка корректности хода. Я говорю об общих моделях, когда их именно самих просят "правила такие, проверяй свои и мои ходы". У человека такой проблемы нет.

[@megaboy2k]

А как загрузить проект из сотни файлов, раскиданых по папкам? Эта штука поддерживает загрузку зип архива?

[@fixplizz]

а можно заставить отвечать модель на русском и сделать некий справочник внутри организации по основным аспектам?

[@ЮрийПоваров-с6ь]

1. Возьмите Ваше ЛИЦО Чуть *КРУПНЕЕ БЕЗ* Низа "Бюста". 2. Сделайте Кружочек с СОБОЙ Немного *МЕНЬШЕ* 3. Сдвиньте СИЛЬНО *ВЛЕВО* ( За Пределы *АКТИВНОЙ ЗОНЫ* ) 4. Полагаю, что Вы *ЗНАЧИТЕЛЬНО УМНЕЕ* Вашей Модели и *ЗАЧЕМ ???* -- *НЕ* Требуются ... 😃😃😃😎

[@TheDojex]

а как ты такую менюшку сделал в коммандной строке в виде плиток, с я так понимаю названиями самописных функций, как на 2:04 ?

[@oldexe7035]

автор ты супер.

[@airlow6784]

Спасибо, красава!

[@MSaidu-sj6vx]

Всё отлично! Надо пробовать!

[@RuchejAlex]

Покажите, как устанавливать другие языковые модели и какие модели выбирать? Какая из доступных моделей сравняется с жпт-4?

[@Deciptikon]

интересный ролик, я тоже недавно столкнулся с тем что не совсем корректно формулирую мысли и джипити меня не понимает))) Что касается аканий итд, это вкусовщина, я например даже не замечаю их...

[@takethejunioroutofthelamp]

Ахах) Спасибо за поддержку ❤

[@intrigazTV]

Не казалось ли вам, что год назад ЧатГПТ понимала вас лучше, чем сейчас? Либо насколько-то раньше. Вот у меня очень веское ощущение, что её специально притормаживают, покуда реально начала постоянно тупить. Ну либо я начал тупить, что вряд ли, скорее всего :) Хотя, всяк возможно.

[@Deciptikon]

@@intrigazTV я пользуюсь чатом только пару месяцев как, поэтому не могу проверить вашу идею

[@VB-s4p]

​​​@@intrigazTVне показалось, когда только появился gpt, отвечал быстро и релевантно. Сейчас тупит и по скорости и по точности ответа. Ещё постоянно нудит, что в момент его создания такого приложения не было. Тут не могу точно сказать, кажется, ранее у gpt был доступ в инет.

[@intrigazTV]

@@VB-s4p У chatGPT3.5 точно не было выхода, но даже он давал порой точнее ответы, чем chatGPT4 сейчас.

[@vitalitian2099]

какой интересный проект вы придумали

[@fitter2boss72]

А можно скормить модели несколько RFC (к примеру о email-ах) попросить перечитать, а потом показать майл и спросить : - Какие отклонения от RFC? Или там есть ограничение на объем предложенной информации?

[@cringeberry3027]

Попробуйте Deepseek Coder

[@alexey.boguslavsky]

Спасибо за интересный контент. А можно ли как то подбрасывать документы или файлы кода для какой нибудь модели в LM Studio?

[@МаксимМедведев-ф9м]

интересно что исхоный код по идее тоже может быть создан чз GPT ?

[@alexandrakentyev6040]

ДД! В PrivatGPT используется модель mistral-7b-instruct, как переключить на mistral-8x7b-instruct - она вроде как превосходит chatGPT 3.5 И спасибо за видео.

[@takethejunioroutofthelamp]

В файле settings.yaml не пробовали строчку менять и пересобирать? Если получится, буду рад если поделитесь результатом)

[@konstantinsamodurov436]

@@takethejunioroutofthelamp - "буду рад если поделитесь результатом" Делюсь...🤣 - В PrivatGPT используется модель mistral-7b-instruct, как переключить на mistral-8x7b-instruct - она вроде как превосходит chatGPT 3.5" ОСНОВЫ: - в моделе mistral-7b-instruct - 7 \семь\ миллиардов параметров, причем некоторые урезаны - бывает до 4 бит и меньше - в GPT 3 - 170 \сто семьдесят\ миллиардов параметров - в основном по два байта на параметр, но влезает в один сервер с восьмью А100 с 40 ГБАйт на один ускоритель вычислений А100 = всего 320 ГБайт "видео" оперативы (суммарный объем ОЗУ ускорителей ) - в ChatGPT - по не проверенным слухам - 540 миллиардов параметров - вышла через пол года после того, как появились А100 с 80 ГБ на ускоритель = 640 ГБ на один сервер Уже этого достаточно, чтобы понять, что утвтерждение: "mistral-8x7b-instruct - она вроде как превосходит chatGPT 3.5" - НЕ СООТВЕТСТВУЕТ действительности... Для обучения используется порядка 10 000 \десяти тысяч\ серверов в течении полугода... ПС в GPT 4 - по сведениям из одного источника - читай "не проверенные" - в GPT 4 = один триллион семьсот миллиардов параметров - появилась через пол года после выхода H 100 с двумя чипами с 96 ГБ ОЗУ у каждого = 192 ГБ на ускоритель - все те же восемь ускорителей на сервер - часть параметров с двух байт ужимается до одного байта... Так что говорите? Можно закачать себе на ноут???...😂🤣

[@alexandrakentyev6040]

Жаль мой пост удалили, пишу повторно, и теперь без ссылок. Все получилось, в settings.yaml указал нужную модель и переустановил. Устанавливал рекомендуемую модель 26Gb, работает только на CPU. CUDA выдает out of memory так как модель использует старую версию llama.cpp (подробности гуглить так - CUDA OOM for 6bit Mixtral 8x7B Model on 2x3090) @@takethejunioroutofthelamp

[@konstantinsamodurov436]

@@alexandrakentyev6040 -"CUDA выдает out of memory так как модель использует старую версию llama.cpp" Вы же сами пишите - "гуглить так - CUDA OOM for 6bit Mixtral 8x7B Model on 2x3090" Из строки гугления видно, что модель с 7 миллиардами параметров, квантизованная до 6 бит (размерность одного (каждого) параметра - из 7 миллиардов - сокращена с 16 бит (два байта)) до 6 бит - можно загрузить на ДВЕ 3090... Для сравнения: - GPT-J от EleutherAI (6 миллиардов параметров) с float16 параметрами требует около 21 GB VRAM - а LLaMA 7B от Meta требует примерно 24 GB (строка для гугления "Как воспитать GPT модель в домашних условиях" А вы установили "модель 26Gb"... Для такой модели нужна связка из двух NV А6000 с 48 ГБ у каждой... CUDA вам и пишет: out of memory - не хватает памяти... а "старая версия llama.cpp" - тут ни причем

[@ph08nyx]

@@konstantinsamodurov436 Количество, конечно, переходит в качество, но тут, сдается мне, попытка грубой силой (а-ля брут-форс алгоритм) задавить сложную проблему. Еще я бы сказал, что это путь достаточно тупиковый. Создать сервисы с перспективой брать мзду за пользование можно, но очень быстро окажется что ии уровня gpt3 нужен в каждом пылесосе, а накладны расходы слишком велики. Например, я уже сейчас вижу что ИИ-ассистент должен быть внедрен в каждый современный автомобиль. Да и все эти "умные дома", ни на 1/100 не оправдывают своего названия, пока не будут управляться ИИ. А что такое ИИ по интернету? Чуть что со связью и вссё - свет не включишь, унитаз не смоешь. Ну, это несколько утрировано, но просто для иллюстрации. Всё же или надо оптимизировать как-то (наверняка бОльшая часть этих параметров в итоге "пустые" - не используются или дают нулевой вклад) или нужны специально заточенные под эту функцию чипы. Которые бы стоили НЕ как 8 А100, а как один 3080 хотя бы..

[@ManVSGirl]

лучший контент!

[@ivan-pn3lq]

Вопрос безопасности легко решается если выдачу из LLM скармливать на вход другой LLM, заточенную на цензуру, и уже её результат выводить на экран пользователя.

[@PS-pv8sr]

Сможет ли он стать медицинским ассистентом для пациента? И может ли генерировать на русском?

[@RadioT9197]

"Я был приятно удивлён результатом! Почему я не сделал этого раньше?" видео не смотрел просто название смешное + комент для продвижения

[@IvanGlist]

Крутяк.

[@intrigazTV]

А чем PrivateGPT от LLama отличается? У последней же модели вроде порядка 80гб весили или около того, а тут в разы меньше. Нет ли желание на llama тоже самое опробовать? Может результаты будут лучше, как для локальной модели.

[@takethejunioroutofthelamp]

Хотелось бы попробовать

[@konstantinsamodurov436]

- "А чем PrivateGPT от LLama отличается?" у LLAMA есть разные модели - и на 7 миллиардов параметров - и на 13 миллиардов - и на 70 миллиардов + по каждой модели можно ужать до 4, 5, 7 бит на параметр т.е. чтобы попробовать модель с 70 миллиардами параметров в 12-8 бит нужен комп с 4 \четырьмя/ 3090 или 4090... с общей памятью в 24х4=96 ГБайт ОЗУ на видяхах.

[@intrigazTV]

@@konstantinsamodurov436 Там же есть разные варианты моделей, какие-то в разы меньше той максимальной что вы указали.

[@murapolo]

Так разве PrivateGPT не работает на основе Llama? Там даже в видео, посвященное установке видно как устанавливаются компоненты llama + его модели. А может быть я что-то путаю

[@Aisfinks]

Вопрос безопасности думаю не составит труда решить.Если нейросеть беседует с програмистом компании она переходит в виртуальный режим в котором знает только данные по коду, и не знает данные по финансам компании.Условно говоря создать 20 нейросетей можно по каждому направлению и одну общую которая знает все и беседует с владельцем.С бухгалтером наоборот знает финансы, но не знает код.Если бухгалтер спрашивает про код или наоборот то идет оповещение службе безопасности или директору что такой-то сотрудник задал вопрос запрещенный и его накажут.

[@themarsoff]

С экселевскими таблицами работать умеют такие gpt? Т.е. скормить файл и предложить вывести нужный результат?

[@dyvniy_vershitel]

llama хорошо понимает русский, хоть и говорит, что предпочитает английский.

[@tanercoder1915]

Было бы интересно использовать эту llm в vscode как расширение , чтобы она пользовалась кодом который в локальной репе или в локальной папке.... Если открыто в браузере то опять переключать окна надо

[@maksimvashkevich1429]

Уже придумано. Codeium (бесплатная, есть платные аналоги)

[@Darttreyder]

Здравствуйте. С вами можно по взаимодействовать? Если да, как можно связаться с вами?

[@takethejunioroutofthelamp]

Добрый день! Мой тг mr_shaimardanov

[@Noxmyn]

Спасибо за выпускролика, пошел ставить себе)) Подскажи, есть где-либо группы/сообщества, где можно обсудить? Например нашел обученную модель на русском языке, но она как то слишком прямой ответ дает, а хотелось бы более развернутый ответ получить)

[@drzugrik]

Спасибо за потрясающие видео! Мне стало интересно, а если есть задача часто обращаться к нейронке с различными прикладными задачами, имеет смысл разворачивать ее на отдельном сервере. А так как лучше всего использование GPU, можно ли использовать для этого майнинг фермы? Вряд ли кому-то с майнинг-фермой пришло в голову использовать ее для нейронок, но вот если бы найти где-то дешевую б/у или в сервер поставить с десяток стареньких.... интересно было бы на такой опыт посмотреть) И еще вопрос, раз в нейронку можно загружать разные файлы для анализа, можно ли ее к примеру заставить прохэшировать все файлы на компьютере, а потом попросить рассказать о человеке которому он принадлежит?

[@СергейГушин-ж4ю]

Видео огонь. Большое спасибо за маленькую презентацию возможностей. Мне как раз для работы это нужно, у меня килотонны инструкций и найти нужную это ещё та задача. Возник вопрос своей "модели". Как общаться с ней на русском?

[@takethejunioroutofthelamp]

В целом русский понмимает, и всегда есть возможность попросить ее перевести то что она только что выдала

[@intrigazTV]

@@takethejunioroutofthelamp Имхо, лучше браузерный аддон с гугл транслейтом юзать для таких целей - он лучше переводит.

[@AWESOMEVIDESHEE]

Выпусти джуна из лампы ты на леонтьева похож )))) певца ))

[@augustlight48]

Привет! Меня очень заинтересовала тема с дообучением. Я провел несколько тестов, и судя по всему, Русских язык модель понимает, но писать на нем отказывается. Я скормил ей небольшой датасет с фразами, так-как он по идее, должен был помочь заговорить на нем, но чуда не случилось. Как там со "словом пацана"?

[@takethejunioroutofthelamp]

Чушпанские ответы какие то у нее😅 Пока что не удалось добиться чего то интересного, но я и не уверен что в книге которую я скормил было то, что могло бы ее прям научить. Скорее всего тут надо садиться и самостоятельно составлять обучающий материал

[@RuchejAlex]

Где в настройках прописать, что бы он всегда отвечал на русском? Сейчас если сказать, что бы отвечал по русски, то он дублирует ответ на англ

[@megaboy2k]

А что за программа буфера обмена?

[@takethejunioroutofthelamp]

Win+V

[@Chillveks]

полезно!

[@loguser7795]

Я почему-то не могу скачать это видео никаким инструментом - ни популярными онлайн инструментами, ни программами с гитхаба... Архивирую полезные видосы у себя, а тут как-то не вышло...

[@Full-master]

А если ей скормить утечки исходников яндекса на 40 гб и сказать искать уязвимости? 2 идея. Скормить ей свои же гитхаб репозиторий и попросить улучшить себя же 😮

[@SemyonAct]

Спасибо за видео! Подумал сейчас в такую сторону: все онлайн ai, в том числе chat gpt имеют влияние либеральной повестки, все настроенно на френдли семейный контент и т.д. Можно ли натренировать приватную модель, чтобы она тебе генерировала страшные истории с расчлененкой (наприимер)? Это бы сильно расширо возможности для творчества

[@nefree]

Я думаю можно, почему нет

[@takethejunioroutofthelamp]

В коде зашито что то что делает ее доброй, я думаю можно покопаться и найти

[@RustemShaimagambetov]

есть unsencored модели, их грузите и просите у gpt все что хотели но не могли сказать в слух

[@ВоИстину-ц6ш]

@@RustemShaimagambetov Где скачать?

[@Free-pp8mr]

Нужно только сначала справку у психиатра получить! 😂

[@agelo1006]

При демонстрации экрана ,убирай свой фейс!

[@adelesabr]

👍🏻👍🏻👍🏻👍🏻

[@deniskalini3641]

Очень жаль то что ответы жестоко ограничены размером ((

[@takethejunioroutofthelamp]

Это настраивается, и всегда можно попросить модель продолжить свой ответ

[@igor5379]

обучи его, скоро без работы останешься. до чего люди тупые.

[@МаксимМаксим-н8ъ]

ты уже показывай полные уроки как гпт этот поставить ? с++ сборщик нужен, зачем ты делаешь такое видео и не показываешь весь процесс ?

[@tertiumorganum5665]

лама полная лажа, о чем вы? даже называть это gpt нельзя. у ламы есть модель под 20 гиг видеорамы, но и она беспомощна. увы языковую модель нормальную к себе не затащить, как в случае со stable diffusion, нужны серьёзные ускорители типа a100, и много их(

[@ИловМакс]

Так я не понял, нейросети заменят программистов в ближайшие годы, или нет?

[@takethejunioroutofthelamp]

Сильно изменят текущий ландшафт разработки Скорее всего в первую очередь под нож пойдут люди, которые были ценны только потому что писали много кода, как правило на основе готовых технических заданий от бизнес и системных аналитиков. В общем надо держать руку на пульсе

[@ИловМакс]

@@takethejunioroutofthelamp в общем вместо 10 программистов сейчас нужен будет 1 через пару лет(

[@ИловМакс]

@@victor6962 ну человеку он план сейчас составляет легко, и себе сможет

[@intrigazTV]

@@ИловМакс Но для этого ей нужно само-осознание. С чего она будет себе таски ставить? Чтобы заработать больше денег? Это для неё пока что ещё ничего не значит, у неё нет таких установок ещё :)

[@HeavyOnTheMagick]

И не только программистов, но и языки программирования. Поскольку ЯП нужен только человеку. Модель может спокойно писать сразу машинный код или байткод виртуальной машины. Остаётся добавить обратную связь, чтобы модель могла сверять результат работы своего кода с заданными требованиями и вуаля - программисты "нинужны". А нужны постановщики задач, умеющие грамотно сформулировать промпт (задание для модели).

[@voyauger]

Так намудохався з AI, що аж по кучерявів...

[@ph08nyx]

По моему мнению использовать GPT на текущем уровне с целями, как в этом видео, это преждевременно. Вы хотите чтобы маина за вас поставила себе конкретную цель и успешно её решили. Именно так, потому что те цели, которые ставит автор видео - не простые задачи, типа "пойди туда, принеси то", а задачи, предполагающие постановку подзадач и решение их. Тут возникает и рекурсия в том числе... Это не "не умеем общаться", это другой класс задач получается.

[@Kindly_Otter]

А разве не в этом суть жпт? "Пойди принеси" -- это ж удел простого чат-бота. Не?

[@Mirropix35]

А Можно кормить с русском языком?😮

[@intrigazTV]

Можно

[@dmitrypichugin7449]

Если ученые говорят про IQ, то это не ученые :) Послушайте Савельева и Черниговскую. От IQ отказались уже давно.

[@misc2850]

Нафига этот гемор?

[@takethejunioroutofthelamp]

Все ради эксперимента

[@АнтонБ-х9у]

поигратся. и верить, что скоро ого го как ИИ всё поменяет. Правда заключатеся в том, что ИИ может автоматизировать задачи, которые не нужно автоматизировать. Зачем мне тратить время на проверку кода сгенерированного моделью, когда за это время я уже сам напишу код. И это касается всего ТЗ, архитектуры и т.д. Вывод - профи это не нужно, чайникам - не поможет.

[@MinistrBob]

@@АнтонБ-х9у ChatGPT умеет писать за раз достаточно большие куски кода или даже целые программы. Даёшь ей запрос типа: "Напиши программу на python ...." и далее описываешь условия, потом можно детали уточнять и просить переписать отдельные функции и процедуры. Я за такое время за какое мне программу выдаёт модель столько кода не могу написать, она делает это очень быстро. Правда в больших программах там конечно скорее всего будут огрехи и нужно смотреть, но как скелет приложения, она очень даже справляется. Не уверен что прям завтра всех программистов уволят, но я в своей работе ChatGPT использую теперь постоянно, это просто удобно и экономит кучу времени.

[@clearsky5207]

@@АнтонБ-х9уочень странно что ты такой умный и можешь быстро писать код, но при этом дико тупой и не понимаешь что мир изменился и будет меняться еще сильнее

[@DanOneOne]

@@АнтонБ-х9у доля правды в том, что ты говоришь есть. Эти промпты очень тяжёлы в написании. Большой плюс для меня был в изучении базовых линуксовских комманд. Например как поставить внц сервер. Это очень сэкономило время. Но всё, что сложнее, приходилось мучаться и объяснять и не объяснишь. Т.е. как "поисковик" по документации он конечно хорош.

[@ТАБЛЕТКАСМЕХА-ф4г]

Через api можно работать с этим gpt?

[@ПетрФомин-щ9ж]

Ааа так это англоязычная модель mistral-7b она только по английски говорит. Я ожидал от русского ютюбера увидеть установку русской модели, которая понимает команды на родном языке, например saiga_mistral_7b_lora.