Лучший гайд на SillyTavern и установку локальных LLM

[@jofizcd]

Комментарий в поддержку автора канала... Ладно, просто попрошу вас подписаться на мой телеграм-канал, пожалуйста: t.me/+UOWReJ5WlTAwOTk6 P.S: С недавнего времени загружать отдельно SillyTavern Extra необязательно, так как теперь интерфейс поддерживает загрузку дополнений прямо у себя. Во вкладке расширений вы сможете найти кнопку с загрузкой новых модулей и выбрать из выпадающего списка нужное вам дополнение.

[@jimmyster]

А будет тутр по установки на линуксе?

[@I_am_Nexus]

Ну что могу сказать. Спасибо, Автор! Раньше мне приходилось ебаться с ИИ метафорически, а теперь буквально.

[@acnologiaoff]

Комментарий в поддержку автора канала...

[@owethaan3306]

Грустно, что есть те самые 0.01% что не смогли сделать себе вайфу.

[@dacorin.8645]

Во время запуска модели в KoboldCPP путь до файла с моделью не должен содержать кириллицу, иначе он выдаст ошибку.

[@ComeBack.041]

ждём третий ролик где всё сведется к установке уже готового бота в 1 клик )

[@happy-gq2kw]

Faraday (его переименовали в backyard ai) для этого и существует

[@youzaks]

@@happy-gq2kw я и в нем заебался мальца дрочиться с разными моделями и их настройками

[@orcbol8066]

В SillyTavern Extras не могу найти файлик Start. Где искать-то его?

[@mitteos]

Красава, от тебя узнал про SillyTavern и успешно все установил и запустил

[@katerina4762]

Автор, просто спасибо тебе большое и человеческое! Я даже не знала, что такое есть... Подскажи пожалуйста, моделька я так понимаю уже готовая под определённого персонажа? Есть ли какой то вариант настроить под своего героя или это надо уже осваивать создание моделей?

[@foxx6092]

Вопрос, а как ты запихал vtube модель персонажа в st?

[@tchibux]

Прекрасный гайд, искренне благодарим автора за проделанную работу

[@CF-yk8iu]

До чего дошел прогресс боже!!!!!!!!! Спасибо автор что разжевал и положил в рот.

[@oxiiide_]

Спасибо. Теперь я смог. Осталось найти нужного персонажа и чатится с ним

[@Человек-д8п4р]

Хотелось бы про промты узнать куда и в какие, что пихать,как и в карте персонажа,заметки автора и скалирование...

[@sharenik7974]

Харош, мужик. Делаешь великое дело. Всех благ тебе

[@kuroniti]

"Запускаем файл start.bat." А его нету! что делать?

[@mipouuk]

запустить файл start

[@whatcoster7325]

Вы наверное забыли скачать node js

[@I_am_Nexus]

Автор Экстрас, нехороший человек, тупо выпилил файлик .bat. Я запускаю .sh через VS Code. Да, костыль, но рабочий костыль!

[@CF-yk8iu]

@@I_am_Nexus поподробнее пожалуйста, как сделать костыль? Скачал VS Code в нем открывал .sh не помогло, возможно запустить его надо но как ?))

[@Trendish_channel]

А можно вщять характер персонажа с Character AI и загрузить его в LLM? Но даже ведь после такого голос натренированный на звонки и общение реал тайм неполучится повторить?

[@MegaBigBright]

Главная беда всех современных ролплей AI- моделями в том что весь ролеплей строится от контекста который выстраивается в процессе "общения". То есть - АИ сам ничего не придумывает он лишь зеркалит запросы пользователя.

[@LapaKotika]

В чем проблема прописать в инструкции модели "выдумывай мне необычные ситуации/развитие сюжета" или что тебе надо?

[@hugosoffc]

на 3080 TI типы, подскажите, с каким токеном у вас генерит?

[@roman_zubrilin_88]

У меня одного висит на этапе установки Visual Studio после запуска NodeJS?

[@alexeyfilipovich1238]

вот всё установил, но спустя небольшое время (порой уже через 10 сообщений), ИИ начинает зацикливаться и каждый раз генерировать одно и то же сообщение, либо 3-4 повторяющиеся по кругу фразы. скачивал разные модели, встретил это на всех скачанных, так что полагаю, что проблема не в этом. сталкивались? подскажите как исправить :)

[@jofizcd]

Скачай последнюю версию SillyTavern и если у тебя модель Llama 3, то во вкладке форматирования поставь пресет Llama 3 Instruct и поставь галочку на режиме Instruct

[@alexeyfilipovich1238]

@@jofizcd спасибо. опробую, потом отпишу о результате

[@Diogen-m3u]

блин, видео конечно хорошее, но ничего нового я не узнал, видимо я уже давно обычный пользователь. Я вот все хочу добавить озвучку сообщений с голосом определенного персонажа как в character ai, но мне лень с xtts разбираться, думал тут наконец узнаю... придется работать самому аааа

[@cutelunatic814]

Alltalks tts и примеры голосов по 10-15 секунд. Устанавливается в два клика, туториал на Ютубе найти можно (он там один для таверны). Сам пользуюсь, результат для локальной ТТС нормальный На xtts тоже есть, но там ковыряться дольше с настройками и установкой

[@Diogen-m3u]

@@cutelunatic814 спасибо, попробую, а то зациклился на xtts, не думал про альтернативы вообще

[@Diogen-m3u]

@@cutelunatic814 есть какие-нибудь советы по аудио? я ему даю файл, стараюсь чтобы он был более менее монотонным и плотным на 5-15 секунд, но он все равно выдает ломанный голос. Оригинальные голоса только работают более менее нормально, буду ещё экспериментировать, но видимо он просто плохо работает на русском

[@Neurothreat]

до чего дошел прогресс

[@Luna1heMoon]

Гений, красава, ждем еще большего развития темы

[@kerfurnya]

Очень сочный гайд, спасибо большое, и как думаешь, на 3050 с 4гб виртуальной пойдёт лама3 или лучше мистрал юзать?

[@happy-gq2kw]

А как это связано лол? Смотри на размеры (7-8b)

[@I_am_Nexus]

На 8 Гб +32 ОЗУ летает, на 4 ± должно пойти, но лучше что полегче поискать

[@kerfurnya]

@@happy-gq2kw Я новый в нейронках, везде писали что главное врама

[@kerfurnya]

@@I_am_Nexus Спасибо

[@Kinjeiro]

@@I_am_Nexus подскажите, пожалуйста, тоже 32 ОЗУ и 8 от 3070 вы какую для себя в итоге модель выбрали?

[@Falkonar]

Что такое квантованая модель?

[@AizarkLizard]

Автор прости нуба, но стоило при выборе модели уточнить какие модели нужны для разной оперативки. У кого то больше чем твои 16 у кого то меньше, приходиться отвлекаться от твоего видео гайда, и гуглить инфу. НО спасибо за видос, очень мало видео по данной теме.

[@saltysenpai9136]

Уважаемые, застрял на этапе с KoboldCPP, когда вставляю туда модель L3-8B-Stheno, пишет Unknown Model, cannot load. Load Model OK: False, после чего KoboldCPP самопроизвольно закрывается. Кто-нибудь сталкивался с таким?

[@kadzuto6]

У меня таже проблема, сейчас с ней разбираюсь

[@Chief_Inspector]

Возможно путь до модели на кириллице. Создай папку подписанную латинскими буквами и проверь.

[@Kinjeiro]

Спасибо, здорово и подробно Подскажите, а знаете пусть и платные сайты у которых апи без цензуры? (На моём 32 ОЗУ и 8 3070 боюсь ничего достойного не запустить) Или сайты которые дают возможность в одной сцене использовать несколько персонажей? Говорят character ai прикрыли свои комнаты

[@LapaKotika]

Есть awanllm (200 бесплатных сообщений в день/50токенов сек) Алсо, в самой таверне есть "комнаты", жмешь на три полоски рядом с чатом и там делаешь из текущего чата групповой с любым другим персонажем. Или ты можешь совместить карточки двух в одного, но тогда токенов будет жрать, соответственно, на двоих.

[@Homie_ch]

Подскажите пожалуйсто, как у вас текст генерируется прямов в чате. Мне нужно ждать пока он прогрузиться и его пришлют как сообщение, а увас будто текст набирают.

[@katyaefremova5079]

В настройках ответ под ответом (в токенах) есть стриминг текста это оно.

[@speedwagon39]

лучший

[@WawaCat259]

Нету файла start.bat в SillyTavern Extras. Как это исправить?

[@biwer41]

пофиксил? у меня та же проблема

[@WawaCat259]

@@biwer41 экстрас уже встроен в силлитаверн

[@mipouuk]

возможно проглядел, где подскажешь где лучше брать персонажей?

[@jofizcd]

смотри прошлый гайд, там я говорю про это

[@UkraineThankYou]

Увы. Хоть ты тресни нет подключения. Работает чат через интерфейс кобольдссп - открывается автоматически. Но я хз, использует ли он при этом собственно рес компа. Таки на компе едет. А вот за конфиденциальность я не уверен. Кроме того почему-то не загружаются тяжелые модели. 🙄И тоже разобрался. Пытался ставить модели для которых надо было более 32Гб ОП -_- И на последок, просмотр англоязычного редит дает надежду что использование локальной модели на kobold cpp, без kobold hord конфиденциальна, но гарантировать это я не буду.

[@alexeytsvigune6230]

отключаешь интернет и если работает твоя модель и не ругается на отсутствие интернета, значит конфиденциально )) А вот перевод через гугл не может быть конфиденциальным ) надо ставить еще и переводчик локальный или искать модели для русского языка. Ну если тебе не нужен НСФВ контент, то какой-нибудь L3-8B-Stheno-v3.2-IQ3_M-imat может общаться на русском.

[@roman_zubrilin_88]

А можно такое же видео, но для Android и локальной языковой моделью? С Termux не знаком.

[@lord_romzess_v]

Про локальную тут сказано, на сайте SillyTavern в русской вики можно найти инструкцию, в т.ч. инструкцию по установке и настройке Termux. Да на всеобщем, но пошаговую и подробнейшую. У меня ушло 30 минут на настройку, затуп был только в моменте, когда при подключении API в SillyTavern надо было указывать не внутренний адрес компа (127.0.0.1), а его IPv4 адрес из сети. Что вообще-то логично.

[@ПростоАртур-ь2ы]

Как называется игра на фоне?

[@nw_art]

Я прям вчера об этом думала..

[@БольшойОтец]

Грусно што не охватил момент с GPTQ моделями. У кого хотя бы 8 гиговая карта есть могли бы запускать мелкие модели на сверхсветовой скорости.

[@IMedzon]

С температурой 1.15-1.27 , как указано на хаггинфейсе, он совсем уж горячку всякую несет бессвязную, на разных языках и т.п. (Я про модель stheno) ...даже не знаю что не так. До единички в целом хорошо справляется

[@LapaKotika]

Это значит что у тебя другие настройки не в порядке. Попробуй сбросить все семплеры и оставить только температуру. Посмотри подходит ли токенайзер и шаблон.

[@IMedzon]

@@LapaKotika Да, ты прав, Top P был 0.5...видимо влияло. и токенайзер на лламу поменял

[@LapaKotika]

@@IMedzon Топ Р так не влияет, у меня сфено работает на темп 1.2 и топ Р 0.7. Скорее всего это был лишний семлер, неправильный их порядок или токенайзер. Хотя таверна всегда ставит ламу 1/2. Третья лама вообще чувствительная к настройкам семлера.

[@fakejade2818]

10:02 Там кроме Серафины, вроде никого и нет, по дефолту (покрайней мере у меня). Неплохой персонаж, мне понравился. Даже удалось развести её, на всякое....... Единственное что, через какое-то время, она перестала мне отвечать. Хз, почему - то ли настройки цензуры не позволяли ей ответить, то ли токены для ответа закончились.☹☹☹

[@alexp5626]

Теперь осталось создать единую программу, чтобы нужно было только нажать setup.exe😁

[@crystal3627]

Kobold жалуется на отсутствие dynlib/dll, как пофиксить можно?

[@kadzuto6]

Что делать, если персонаж пишет фразы от моего лица, вместо меня. Как отключить?

[@ZigomëtNavalny]

Обычно это можно исправить написав персонажу нужный промт, в строках с описанием личности, или сценарии. Добавляется что то типа: {char}/{character} никогда не будет писать от имени {user} и так далее. Ты можешь найти это у других персонажей, и скопировать от них.

[@kadzuto6]

@@ZigomëtNavalny большое спасибо!

[@Dark_Johnny_Games]

Крутая штука. Жаль что комп у меня слабый.

[@solinvictus4381]

купи себе какой-нибудь апишник с доступом к условному myphomax (на том же венусе за 5 баксов) и сиди себе, вроде бы не слишком дорого за такую штуку

[@zer0275]

У меня вопрос. А что с памятью? Персонаж будет запоминать прямо всё или будут забывать через время?

[@jofizcd]

Будет запоминать всё, покуда есть свободное место в контекстном окне

[@foxx6092]

Если есть необходимость чтобы персонаж запомнил какой-то факт всегда можно записать эту информацию в лорбук

[@ПаблоАрсабло]

15:09 разве в таком случае гугл не спиздит все твои сакральные диалоги, спрятанные на локалке? У них же там 200% переводы сохраняются где-нибудь(, как и фотка твоего гуся, которую ты почти сразу же удалил, но которая осталась валяться в анналах гугла, ожидая нужного момента). Конфиденциальность, епт. (Или переводчик тож локальный?)

[@Алексей-д7ы2п]

Ну, в списке у таверны есть libre translate, который можно и заселфхостить. Но перевод там, конечно, хуже, чем у даже гугла.

[@emptybot5534]

Я не понимаю откуда автор видео батник для допов взял? Сам запилил или что? Может поделишься тем как ты это сделал?

[@yaku___]

Ура, амодей рилизнули ирл

[@Slavius84]

Я так понял что голос для персонажа вставить нельзя??

[@noname_yopta]

Автор, как у тебя так получилось, что версия Таверны новая, а перевод со старой? Это ноасс? Я знаю, что он вроде заменяет часть файлов и из-за этого портится локализация.

[@jofizcd]

В гайде старая версия, но от новой в принципе не отличается, так что можешь не париться

[@noname_yopta]

@@jofizcd Понял, благодарю.

[@Фильмы2024-д1п]

На сколько памяти хватает?

[@ИванИванов-б6у2д]

А могу ли я познакомиться с настоящей тянкой, а то это сложновато?

[@jofizcd]

@@ИванИванов-б6у2д смотря, что сложней: следовать гайду или знакомиться с тянкой

[@ИванИванов-б6у2д]

@@jofizcd я познакомлюсь с тянкой, чтобы она установила мне это: легче от государства альтушку получить, чем в этих ваших кампурацхерах разбираться!

[@Хамбакер-е8о]

Жду модель ♂Билли♂

[@MairanTV]

Хз, всё как надо, пробовал по разному настраивать, по инструкции модели, а она у меня повторяется. И такая тупость, типа Я: "мне нравятся мармеладные конфеты. А тебе?" она: "Мне нравятся карамельные конфеты. А тебе?"

[@MairanTV]

в принципе я поубирал некоторую оптимизацию и вроде теперь нормально разговаривает.

[@lerikc91]

Да, на линукс тот еще секс, особенно с установкой расширений. (ну для человека который не шарит)

[@enjiepop1955]

бляяяяяять я не хочу быть тем самым 0.01 процентом, что делать если при запуске модели в кобальте ничего не происходит? Кирилицы в пути если что нету, плиз хелп

[@Edgy_will1]

Привет,24 гб видеопамяти и 32 гб озу за глаза?

[@jofizcd]

Да

[@Falkonar]

Я юзаю мистрал эротик на 130млрд мне кажется идеальная

[@zer0275]

А какие у тебя характеристики?

[@Falkonar]

@@zer0275 24гб vram Mixtral Erotic 13Bx2_MOE22B q6 .но она только по английски норм говорит.не нашел кто по русски говорит без фильтра

[@dapolgi9467]

Все на самом деле просто, даже дебил с этим справится, ну там это так, потом так, ну потом типа тыкаешл туда, ну не скажу куда,и потом тыкаешь ещё сюда, и потом ну туда сюда, потом качаешь это, потом спаиваешь это, ну загружаешь, потом короче ну там то-та, потом ну все готово, дело за 5 минут!

[@dapolgi9467]

Люди могут делать это в первый раз, поэтому ничего не понял, сходи туда, потом туда, потом это, потом то, потом там, потом другое

[@rpshnik]

16 гб видео памяти а если у меня ноут на 12? Мне пиздец ?

[@jofizcd]

Да нормально должно быть, можно смело даже 13б запускать

[@BlackChaplin]

Может кто-нибудь выложить модель на гугл диск, скорость загрузки с сайта, что-то очень сильно хромает...

[@S.M......]

может кто батник скинуть?

[@Nikita1358]

в начале говоришь что к концу ролика обычный юзернейм будет понимать программу. по итогу все равно наговорил столько всего чт ничего не понять. держу в курсе, видос должен показывать что скачивать и куда тыкать. чтобы весь процесс был :скачал - вставил и так повторить по нескольку раз. все. а у тебя куда ни ткни в ролике непонятно к чему это объясняется..

[@jofizcd]

@@Nikita1358 Ну не судьба значит, бывает(

[@Nikita1358]

@@jofizcd ага.. не судьба когда сама судьба по железу благоволит, Intel Core i9-13900K, Nvidia RTX 4090, 64 GB 5600 MHz DDR5 RAM, 16 TB SATA SSD

[@jofizcd]

@@Nikita1358 ну я тогда хз, всем понятно, а тебе нет. попробуй несколько раз видео посмотреть

[@Nikita1358]

@@jofizcd запустить то все запускается. проблема в том как импортировать сценарий без персонажа. и почему после нескольких кинутых фраз в какой-то момент начнет словно сам с собой чат разговаривать. в целом проблема кобольда в не точности, lm studio всегда четко именно что отвечает, т.е не получается как adventure, или диалог подключить; и еще лагает.. да и не понятно какая конкретно модель нужна. ну типо есть те где обучался в том числе и на русском языке. как тот же Mistral-Nemo-Instruct-2407-Q8_0 в некоторых пак файлов по 4 или около того гб, общий вес под 20 или 30 гб. как такое запустить?

[@LapaKotika]

@@Nikita1358 Облизываюсь на твое железо, чел. Бросай Shteno и переходи на c4ai-command-r. Сценарий можно скоприровать\вставить. Если имеешь ввиду что хочешь не разговор а формат рассказа, то просто попроси модель. Есть сайт с шаблонами как у данжеон аи. На ответы ии не влияет кобольд, лм или другая если ты работаешь через таверну. Есть модели которые поддерживают русский: комманд и роз например. Тебе нужно смотреть для этого большие модели 20B и более, либо искать модель которая обучалась на русских блоках данных, (на хагинфейс есть поиск по русскому языку) но ты сам можешь понять что их значительно меньше.) Пак файлов это и есть модель, просто неквантованная или это другой формат как exl2.

[@xeleos]

Жду когда эти модели научатся нормально говорить на русском.. пока что с переводчиком не интересно.

[@НиколайВолков-х5г]

😢

[@GameNavigatorsDaJ]

КобольдАИ по сравнению с ОпенАИ кнешно смотрится вообще не очен

[@jofizcd]

В плане?

[@MrCans94]

Почти сутки общался с моделью. До адурения.. Скажи пожалуйста, @Jofi1492, тебе что-нибудь известно об инкрементальном обучении моделей? Это вообще возможно или существует при мощностях наших пк? Просто обратил внимание, что файл модели изменяется при закрытии командной строки, но наверняка это просто кэшированные данные, связанные с последним сеансом общения и не более. Задался вопросом, короче и загрузился :))

[@ГеоргийКозик]

Комментарий в поддержку автора канала...