Автономный бот "Chat with RTX" с обучением в 1С

[@vadimkutia6516]

Хорошая тема. Возможность локального развертывания и обучения мне нравится

[@Administrator1C]

Для "Домашнего" использования вполне неплохой вариант (Особенно если с ENG языком работаете)

[@vasiliynet3425]

Классная тема! Радуют подвижки в этом направлении.

[@Administrator1C]

Да! Особенно RAG!

[@VesellyGlaz]

Богдан Благодарю. Надо подумать как все это использовать для автоматизации

[@Administrator1C]

Лучше будет это kzbin.info/www/bejne/Y4PWaWCDYt11fKssi=Coo3sVEqanrc4H4Y или сам AnythingLLM useanything.com Планирую внедрить RAG в своего бота, посмотрим что получится

[@shampun2281]

В LM Studio можно так же загружать Dataset?

[@Administrator1C]

Добавив там плагин ениллм

[@Septanium]

ох надеюсь нвидиа будет обновлять его хоть иногда и можно уже ексель файлы догружать

[@nikolaydd6219]

На Вин10 тоже работает

[@ssserega2976]

на виндовс 10 спокойно работает! везде где они пишут в требованиях виндовс 11, всё это и на 10ке работает, я сам проверял устанавливал!

[@Administrator1C]

Отлично! Спасибо за информацию!

[@ssserega2976]

@@Administrator1C кстати его языку можно обучать, я когда первый раз его запустил, спросил у него, можешь отвечать мне на русском? он написал что понимает, но языку вы можете меня обучать)

[@Administrator1C]

@@ssserega2976 Он многое говорит, ) не все правда )

[@ssserega2976]

@@Administrator1C интересно а если ему вбросить насколько тысяч слов с переводом, перед этим прописать и обьяснить ему что это перевод и ему это нужно запомнить)

[@Administrator1C]

Надо тестить​@@ssserega2976

[@TheMineGold3]

А почему у меня при установке нет ничего, кроме mistral? Карта 4070 на 12GB, i9-13900K... Неужели недостаточно?

[@Administrator1C]

Здравствуйте. Чтоб была в списка лама надо 16 Гб видеопамяти

[@Dmitry_Max]

Видеокарта у вас слабенькая

[@ryukuy]

У меня на 4060ти есть

[@CezarjRUD]

Интересно обучится ли он нормальный код собирать) Чат GPT хрень выдаёт обычно когда по 1С его спрашиваешь) Он как будто выдумывает свои методы несуществующие.

[@Administrator1C]

Нет, ) слабее его даже, но вот используя RAG можно получать качественную справку, загрузив в него пару десятков книг по 1С. Но использовать другую модель, скачать например на huggingface.co/ huggingface.co/datasets/IlyaGusev/ru_turbo_saiga и вместо Chat с RTX это: kzbin.info/www/bejne/Y4PWaWCDYt11fKssi=Coo3sVEqanrc4H4Y

[@CezarjRUD]

@@Administrator1C Я вот подумал эту систему можно же использовать как базу знаний по идее, добавить все книги плюс добавить свои наработки и наработки других людей в компании например и будет общая база. Только вопрос как он обучается, только по файлам? или можно ему прямо написать что то, что он запомнит и добавит себе в базу?

[@Administrator1C]

@@CezarjRUD Можно например сделать так: в локальной сети на сервере где нибудь развернуть lM studio она работает как сервер, а на пк директора, глав буха или hr например уже им установить anyllm и загрузить каждому свои документы из которыми тот работает useanything.com/ модель взять чтоб нормально понимала русский например сайгалама huggingface.co или любую другую что с русским нормально работает и подключить ее Так у всех например руководителей в компании будет свой датасет что сможет им помогать в поиске нужной информации и само собой различной операции с ней

[@Administrator1C]

Lm studio будет как backend a вот anyllm как fronted ​@@CezarjRUD

[@mravgan8712]

скачал но чета не запускается ((

[@ВсеволодКоваленко-ч6к]

Тема с ботом достаточно старая... Модели слабоваты.

[@Administrator1C]

Chat с rtx месяц назад как вышел и суть не в боте, а в RAG возможности работать со своими datasets

[@ВсеволодКоваленко-ч6к]

@@Administrator1C Можно сказать и так, правда вроде свои датасеты можно и в chatgpt засунуть... тут преимущество в локальной установке. Но пока не нашел сценариев для реального использования.

[@Administrator1C]

@@ВсеволодКоваленко-ч6к Да, можно, правда стоит это 20 центов в день за 1Гб там хранения.

[@MemmedovZaur]

[@Сергей-ы1с5о]

если инфа не в dataset, то значит в другом месте зашита... сам бот ничего не придумает

[@Administrator1C]

@@Сергей-ы1с5о Да, поэтому я создал бота получше который если не находит ответ в RAG идёт искать по обычной модели gpt4 mini от openai