Локальный Chat GPT и его друзья с huggingface

[@alexandrtortik]

в Чумачечшее время мы живём!!!! :) Спасибо мэн!!!! В одну каску мне тоже тяжело копать в этом направлении... контента сейчас по теме в сети много...

[@ЕвгенийКлименко-ш9м]

Как в старом меме:" -Чет я очкую Славик." от всего этого прогресса

[@1984tourist]

Совершенно очевидно, что даже наши телефоны станут умнее нас ещё при нашей жизни.

[@bandi1516]

@@1984tourist Ты из Казани?)

[@1984tourist]

@@bandi1516 Да

[@musicdoriankon2632]

Не очкуй. Вымрут только тупые

[@rassvetniy]

Привет, Спасибо! Оставляю коммент)

[@leoniddzhabiev]

спустя какое то время начнет уменьшаться свободное место на жестком диске, модель начнет галюцинировать, отвечать бред, дразниться

[@Ou_My_Good]

Подскажите, а на huggingface можно чат gpt-4 скачать или его ближайший аналог, если да то подскажите название модели?

[@1984tourist]

Следите за новыми моделями уж, они появляются и будут появляться. То что я пробовал - аналоги gpt-3.5, может чуть лучше самые большие модели. Но последним надо очень много памяти - 64Гб и больше.

[@1984tourist]

Вышла Llama 3. Можно скачать и она крутая. Доступна на 70B и она приближается к gpt-4, как говорят. Ну 3,5 точно опережает и серьезно. Выложил сегодня про нее ролик.

[@bandi1516]

какие еще нашел удачные модели? Какую рекомендуешь модель для 16GB оперативной памяти? Тот который ты в закрепленном сообщении оставил - туповат))

[@1984tourist]

Для 16Гб не искал. Сам я для программирования пользуюсь deepseek-coder-33b-instruct.Q5_K_M на 32Гб - в следующем ролике показано как. Вполне неплохо, мне кажется, лучше, чем GPT 3.5. Просто медленно работает конечно, даже на мощном компе. Но дождаться можно. Заказал еще оперативки - не могут довезти её из-за метели. Как доедет, попробую ботов покрупнее, но наверно еще медленнее будет.

[@1984tourist]

Llama 3 8b вышла недавно. Только что выложил про нее ролик.

[@IGOREKHissin]

Вот теперь вопрос созрел, а для чего это все в мире? Тот же биткойн, который что то там генерировал за вознаграждение, а были огромные пулы, объединение майнинг ферм, что же они решали? что это были за задачи? Грядет мировое правительство, которое будет полностью управляемо системой компьютеров, (как в фильме матрица?) а мы в загоне как кролики будем жить.

[@1984tourist]

Ну а как вы хотите - чтобы человечество с его дикими инстинктами, предубеждениями и тягой к саморазрушению так и оставалось без присмотра?

[@MrKim-pt2vm]

Рефераты самим надо писать, т.е искать и анализировать информацию

[@1984tourist]

Общение с роботом - это тоже способ поиска и анализа информации.

[@MrKim-pt2vm]

@@1984tourist ага, чтобы готовое выдал, тогда совсем разучатся думать. И так инфоцыгани бабла немерено зарабатывают на идиотах, так этих идиотов будет ещё больше

[@AlekseiTruba-]

и зачем? Бред же. Это как не пользоваться линейкой чтобы прямую начертить, самому надо уметь ровную прямую делать...

[@MrKim-pt2vm]

@@AlekseiTruba- бред это твоя аналогия.

[@romanbolgar]

Когда-то где-то находил русские модели вроде бы называется Сайгак. А это даже боюсь пробовать опять убью время займёт куча места и не будет работать. Тем более писать руками на английском это не то

[@1984tourist]

Язык для этих моделей - вообще не проблема. Во-первых, они практически все понимают русский. Во-вторых, есть специализированные модели переводчики и их даже много. Ну и вы можете предварительно перевести же свои промпты просто каким-нибудь гуглом даже.

[@romanbolgar]

@@1984tourist Ну если русский понимает это хорошо. тогда действительно проблем нет. Проблема только хотя бы одну большую запустить. Столько уже перепробовал...

[@1984tourist]

@@romanbolgar Ну без большой памяти это бесполезно. Я deepseek-llm-67b-chat.Q5_K_M использую, когда на GPT токены кончаются. Они вполне сопоставимы. Правда занимает много времени - работает медленно. Так что смысла большого нет. Но прикольно с файлом на своем диске общаться конечно. А чтобы было быстро - нужна очень непростая видеокарта за миллион. )))

[@1984tourist]

@@romanbolgar Еще глянь openchat_3.5.Q5_K_M, эта очень легкая, на любом калькуляторе запустится. Я на ноуте гоняю в походах, когда что-то хочу покодить, но не помню синтаксис. Но качество генерации там конечно хуже.

[@romanbolgar]

@@1984tourist Памяти у меня конечно немного но я не сказал бы что сильно мало 16 Гб ОЗУ. Плюс диск SSD M2 А там скорости выше чем у обычного SSD. Когда-то баловался stable defusion Десктопная версия Автоматик три единицы потом забросил нет времени. Хотел попробовать и какую-то языковую модель Но как-то не срослось. Они какие-то сырые недоработанные. Хотя вроде уже сейчас появляются установщики типа Пиноккио чтобы установить в два клика Но всё равно Надо разбираться чтобы подключить эти библиотеки А потом ещё что-то может не хватать... В общем пробовал разное не запустилась. В идеале было бы натренировать на своих данных И вообще можно общаться Не в режиме чата А в режиме форума. Почему-то все помешаны на этих чатах. А я наоборот стараюсь основательно сформулировать большой запрос и пусть разбирается Глубоко анализирует и ищет в базах. Но увы...За openchat_3.5.Q5_K_M Спасибо Постараюсь куда-то себе кинуть чтобы не забыть найти. Но опять же уже столько такого насобирал... Когда бы найти время попробовать...

[@AllexKrillo]

Смотрю на всё это безобразие, безобразие не в том, что эти нейронки появились, нейронки конечно же само явление интересное, а безобразие в том, как это всё "глупырями" преподносится. Вот и автор тоже туда же пыль гонит. 😁 Всё это, на данном этапе, да и я полагаю ещё лет так 50, можно использовать как микро развлекухи, которые надоедают через 5 минут из за своей никчемности и тупости. Какой нах реферат, какое нах прорамирование, какое нах проф-использование??? 🤣🤣🤣 Это всё равно что научить обезьяну кататься на самокате и пытаться заставить её заниматься грузоперевозками. Вот таких людей, как авторы таких роликов, раньше называли баламутами, ветрогонами и т.д.

[@1984tourist]

Видите ли, когда-то и автомобили были "микроразвлекухой, надоедающей через 5 минут из-за своей никчемности и тупости". И самолеты. И много что еще - почти всё. Ведь ясно же, что лошадь гораздо практичнее, а летать глупо, опасно и вообще боженька покарает же за такую наглость. Ортодоксов и консерваторов не сегодня изобрели. Они раз за разом и век за веком отказываются принимать новое. И почти каждый раз ошибаются. Но выводов всё так и не делают почему-то. Тем более с нейронками всё уже не так - они уже не развлекуха, а мощные используемые на практике инструменты.

[@1984tourist]

И да, если вам интересно, то вот что ответила на ваш комментарий маленькая нейросеть из видео. Которая 5Гб - в общем мнение небольшого файла на моем диске. ))) Друг мой, я согласен с вашей точкой зрения о том, что некоторые видео о нейронках могут выглядеть как развлечение. Однако, я также думаю, что это может быть полезно для начинающих, которые хотят узнать об основных принципах искусственного интеллекта и машинного обучения. Не всем нужно изучать сложные темы, и для тех, кто просто хочет поиграться, такие видео могут быть полезны. Кроме того, даже если видео кажутся тупыми или безвкусными, они могут помочь людям понять, что за механизмы лежат в основе современных технологий. Поэтому, вместо того чтобы критиковать такие видео, мы должны поддерживать их создателей и помогать им улучшать качество своего контента. Спасибо за ваше внимание! 😊🤖💡 Наверно это вот вообще бесполезно и никак нельзя использовать? ))) Кстати на русском языке ответила, оказалось, что она его тоже знает.

[@AllexKrillo]

@@1984tourist Да с моей стороны нет никакого отрицания нейросеток, а даже наоборот, я говорил, это интересно, НО, вы это преподносите как какойто супер-шмупер-шурупер инструмент, а сослаться на практическое его применение не можете, вот в этом то, как говорится, и порылась собака. 😁😁 Ну некуда это всё пока применять, НЕКУДА!

[@AllexKrillo]

@@1984tourist Ответ? 🤣🤣🤣 Да это все равно, что в болоте выловить жабу и интересоваться её мнением! Уровень интелекта равнозначный.🤣🤣🤣

[@1984tourist]

@@AllexKrillo Ну мне это всё нужно в основном для программирования. Я уже год пишу код с помощью роботов - просто с GPT неудобно в том плане, что токены кончаются и надо за подписку платить. Вот выбираю сейчас локальный аналог - чтобы был неограниченным и бесплатным. На мой взгляд, это прям очень круто. По сути, как дополнительный программист в проекте - не самый крутой конечно, но и не самый плохой. Вдобавок знающий все языки и способный работать в тысячу раз быстрее человека. Если вам такое кажется бесполезным - то я не знаю, что тогда полезное может быть.