Проверил. Действительно, вылезает ошибка. 24 мая разработчики выпустили версию гигачейна 0.2.0. Если при установке указать более старую версию, то все нормально работает: !pip install -q gigachain==0.1.17

Да, Гигачат порой игнорирует инструкции в системном сообщении. В следующем видео я показываю как пользоваться различными видами памяти в GigaChain/Langchain: kzbin.info/www/bejne/mYTFeICogseMpMk Там ближе к концу видео есть пример про доктора исторических наук, который должен отвечать только по истории. Для работы с памятью нужно составлять шаблон промпта, который подается как единый пользовательский запрос. То есть там и описание персонажа, и инструкции, и история сообщений, и текущий запрос упаковываются в одно пользовательское сообщение. И тогда отвечает нормально.

Да, есть такая проблема. Но разработчиков можно понять, лучше перестраховаться, чем допустить генерацию недопустимого контента. Если говорить про доступ к модели по API, то попробуйте так: GigaChat(credentials=auth, model='GigaChat-preview', verify_ssl_certs=False, profanity_check=False ) Параметр profanity_check отвечает за включение/отключение цензора. Должно стать получше, но некоторые темы все равно не пропускает.

@@trashchenkov Благодарю

​​@@trashchenkovполно же других нейронок. А от Сбера, то, что Грефу принадлежит - слуге Шваба и врагу народа, укравшему все народные деньги Сбербанка и желающего народ в неведении и рабстве держать, на деньги же народа - сомнительное удовольствие и польза в пользовании😅

Вопрос в общем и целом справедливый, но нужно прояснить некоторые моменты. Тогда станет понятнее, что ответы на этот вопрос могут быть разные)). Обучить большую языковую модель с нуля на сегодняшний день могут только крупные компании. Это дорого, требует серьезного оборудования и штат квалифицированных специалистов. На эту тему отсылаю к видео, там в начале про это Andrej Karpathy очень хорошо рассказывает kzbin.info/www/bejne/sJvOc4B8nbOdlck Можно брать готовые языковые модели, которые опенсорсные, запускать их на собственном железе, дообучать под свои задачи, если нужно, и использовать. Так делают многие бизнесы, которые не хотят передавать свои данные сторонним компаниям. Но это тоже требует определенных ресурсов и квалификации. Использование доступа к готовым языковым моделям по API, как например к GigaChat, это еще одна опция. Она позволяет не брать на себя издержки по обслуживанию софта и оборудования. То есть это как бы языковая модель как услуга. Если речь не идет о работе с какими-то чувствительными данными, то это приемлемый вариант. Более того, значительная часть примеров кода может с минимальными изменениями быть использована как для доступа к моделям по API, так и к запускаемым локально моделям. Если возвращаться к Вашим аналогиям, то можно ездить на личном автомобиле, можно пользоваться общественным транспортом. Аналогия с детьми более сложная, но есть люди, которые работают учителями или берут приемных детей. Видимо для них есть какая-то мотивация участвовать в воспитании чужих детей)))

Добрый день, на ваших запросах языковая модель не обучается. А в бизнесе эти технологии имеют очень крутое применение, я допустим сейчас делаю бота, который будет общаться с клиентом в чате авито, отвечая на запросы по наличию, аналогам, доставке и оформлению заказа. В данном видео очень примитивная демонстрация возможностей.

Интегрировать в лангчейн можно (про это есть в последующих видео), а вот дообучать нельзя. Максимум можно в промпте передать несколько примеров того, как надо выполнять требуемое задание (такая техника называется few-shot prompting).

как вообще научить гигачат чему-то уникальному? Например как в chatgpt, там можно кинуть ему 1000 книг и сказать в промте: теперь ты берешь ответы оттуда. Есть такая возможность в гигачат?

@@user-ut1lp6di5s здравствуйте! У сбера недавно появился продукт, который делает тот функционал, о котором вы говорите: t.me/gigatrash/10 В основе должна быть RAG система, которая будет искать кусочки текста среди тысячи книг, которые наиболее подходят под вопрос. Я как-нибудь сделаю видео, где покажу как сделать простую RAG систему.

Можно прописать в коде следующий алгоритм действия: Если получаем вместо ответа на запрос сообщение, что токен недействителен, отправляем запрос на получение нового токена, а затем повторяем наш запрос к языковой модели, используя новый токен. В следующих видео я вместо обращений через requests использую класс GigaChat из библиотеки GigaChain. Там все эти процессы автоматизированы.

Спасибо) 1. Какой-либо проблемы с совместимостью ИИ и pyTelegramBotAPI нет. В примерах из ролика результат работы языковой модели извлекается в виде строки и передается в таком виде в API телеги. Можно еще сделать своего бота для генерации картинок Кандинским, сообщения в виде картинок pyTelegramBotAPI тоже отправлять умеет. 2. Нет, pyTelegramBotAPI принимает только токены от BotFather. Но это тоже неплохой функционал, потому что таким образом можно, к примеру, автоматически вести телеграмм канал (бот в качестве администратора). Если же все-таки касаться юзерботов (оставляем за скобками юридическую сторону вопроса), то это надо смотреть в сторону библиотеки Telethon и ее производных. Но я этим никогда не занимался, поэтому мало что могу подсказать.

@@trashchenkov Благодарю за Ваши видео и github. GigaChat показал хорошие результаты в сравнении с крупными зарубежными моделями + на русском + не надо VPN + пока бесплатно. Буду ждать Ваши последующие видео.

Здравствуйте. Как я понимаю, Вы про создание RAG (Retrieval-Augmented Generation). Про это будет одно из последующих видео. RAG - это вопросно-ответные системы, которые при генерации опираются не на знания модели (которые ограничены и подвержены галлюцинациям), а на внешнюю базу знаний (обычно это векторная база данных). Для такой системы надо не одна, а две модели: помимо генератора вроде Гигачата понадобится еще эмбеддинговая модель, которая преобразует кусочки текста в векторы фиксированной длины. Суть в том, что нужно подготовить тексты. Допустим Вы берете книжку и делите ее на небольшие кусочки (чтобы можно было их как часть промпта использовать) и векторизуете эмбеддинговой моделью. Все это помещаете в векторную БД. Когда пользователь делает запрос по тексту, его запрос тоже векторизуется и сравнивается с векторами в БД. Кусочки, векторы которых самые близкие к вектору запроса передаются в промпт к генератору вместе с запросом. Тогда генератор пишет ответ на основе этих кусочков. Таким образом мы можем использовать языковую модель для работы с текстами, которые сильно больше лимита токенов модели.

Спасибо за обратную связь. Продолжение готово)