Управление голосом сервером умного дома Home Assitant с помощью Voice Assistant и USB микрофона

[@upavla]

Подписывайтесь на мой телеграмм канал: t.me/ypavla

[@akireyenko1984]

Вшиспер:))))) Это пять!!!

[@dan-3268]

Сам в шоке был. Ясно же что произносить надо "вХиспер" 😅

[@mr.wayfarer6082]

давно из Лондона в Балашиху переехали? Чего шеймите человека, если он не знает языка?

[@arthurgabdullin3779]

стоит добавить не просто "мощность компьютера", а словарь языковой модели или как он там называется - чем он больше по объему, тем больше ресурсов требуется, но и сильно лучше результат распознавания. Плюс своего помощника в том, что сказанное остается в пределах сервера и в никакой условный Яндекс не утекает.

[@kristoferrobin4695]

Спасибо за информацию😊

[@coolflex2]

Круто когда обьясняют такое, прям респект за работу, конечно есть и лучше решения, в видео он сказал про Алису, но все же!!!

[@kdv9824]

в общем и целом пока до алексы будешь докрикивать пока она тебя распознает уже сам зайдёшь в. виджет и активируешь сцену😅, но в целом видео как всегда полезное спасибо за труды!!!

[@Mbyte-rx8lj]

Видел на просторах интернета опенсурс помошника irine от janvarev. Очень интересно как его прикрутить к HA, т.к. возможностей у него намного больше, и варианты голоса есть получше.

[@dartwejders]

спасибо за проделанную работу да, сыровато, но это уже хорошее начало.

[@vechtomas]

А если подключить не юсб а аналоговый через джек?

[@upavla]

Хз, тут я чето не подумал. Не уверен, что звуовая карта raspberry pi определилась

[@vmabramenko]

​@@upavlaтоже подумал про аналоговый микрофон. Сто процентов что у вас настроена ALSA, а может еще и PulseAudio. Если работать со звуком на вход (микрофон) через АЦП, а на выход (усилитель/колонки) черз ЦАП, то ресурсы основного процессора сильно освобождаются. У меня, например, все это делает внешняя звуковая карта, у вас на малинке АЦП/ЦАП скорее всего на борту (наверное на вариантах попроще тоже внешняя карта нужна). Пока коммент писал, глянул по-быстрому, аддоны для PukseAudio точно есть. И видел что TTS пускают через MPD, соответственно ALSA, как минимум, через прокладку мпд доступна. P.S. это все для "подумать" и про то как получить микрофон высокого качества/чувствительности с гораздо меньшими вложениями

[@upavla]

@vmabramenko alsa это ппц конечно. Но у меня там стоял hasos. Хз что там у него. Может и alsa

[@Walteg74]

Все дополнения что ставятся через магазин, вроде разворачиваются в отдельных докер контейнерах. Можете скинуть названия образов? а то там только на один Whisper вариантов больше 10 страниц :)

[@hotmonitor]

Можно ли установить 2 USB-микрофона?

[@nrz_tv]

До 127 устройств

[@ИлайСмитт]

Да ещё бы правда видео по работе микрофона через джек и по использованию микрофона блютуз колонки такие тесты глянуть

[@goiiia3774]

А есть управление жестами через веб камеру ?

[@upavla]

О таком не слышал. Xiaomi лампа только знаю умеет воспринимать пару жестов.

[@user-gw5yj2209]

Здравствуйте. Так можете подсказать, как решить проблему "Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону.? Андроид 14.

[@upavla]

Такое на айфонах вроде

[@laxerspk]

Вероятно, настроить https на НА и , может, выпустить и добавить в НА сертификат Lets Encrypt.

[@DimaAndr]

Насколько я понял, озвучиваешь необходимий сценарий и он срабатывает?

[@polbin]

Спасибо за видео. Попробовал с хорошим микрофоном. Результат так же не очень. Проблема с распознавателем речи, например слово (включи) он упорно распознаёт как (в ключи) и естественно не включает -)) из 10 попыток примерно 1 срабатывает. Может распознаватель можно как то дообучить ? (будем изучать мануал) Задержка ответа или действия при инициализации голосового помощника через подключенный к серверу микрофон, похоже прописана где то в конфигурации, ресурсы процессора на скорость ответа не влияют.

[@upavla]

Есть вариант локальную базу whisper скачать. Есть интеграция от alexit. Но там предупреждение, что она много ресурсов кушает и весит

[@polbin]

Продолжаю наблюдение. Поставил базу Medium-int8 стало значительно лучше. (сервер PROXMOX core i3 12100f, 8Gb, сейчас выделены все 4 ядра под HA, голосовой запрос нагружает до 25%) Заметил, что когда близко говорить в микрофон, распознаёт быстрее (2- 3 сек). Когда отдаляешься от микрофона, тоже распознаёт но значительно медленнее (6 - 8 сек) Для быстрой работы Whisper рекомендует использовать видеокарту. Не знаю насколько это целесообразно для умного дома, с учётом немалого потребления видеокартой электричества 24/7, удовольствие кричать в доме - окей Набу включи розетку -, будет довольно финансово затратно -) Но всё равно любопытно. @@upavla

[@akaDemBirsk]

Попробовал, реакция моментальная, проц e3-165l v2, даже не грузит почти, но качество распознавания отвратительное, можно как-то улучшить его?

[@akaDemBirsk]

Разобрался, просто стояла минимальная модель...

[@ДмитрийСолдатов-э9ф]

Попробуйте в качестве TTS использовать RHVoice, по мне лучше проговаривает

[@SuperVitcom]

медленно жуть ..... на распознавание команды 5-15 сек и при том качестве распознавания это ещё раза 3-4 надо повторить и не факт что правильно распознает. может какие настройки можно покрутить ..

[@A_R_X_A_N_G_E_L-TV]

СДЕЛАЛ ВСЕ КАК НА ВИДЕО НО СИСТЕММА НЕ РАСПОЗНАЕТ НИ КАКИЕ КОМАНДЫ

[@Правопорядок-с6ш]

Добрый день Как решить проблему "Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону."

[@upavla]

Выкинуть iPhone и купить Android :)) я так понял эта проблема на iPhone и как ее решить, я не знаю. Так как у меня андроид

[@Правопорядок-с6ш]

Спасибо.@@upavla

[@olegdovidoff5863]

А у меня пишет Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону.

[@upavla]

Уже так случилось у одного. У Вас Apple?

[@romanenot]

Так он делает это из приложения для телефона (не из браузера).

[@olegdovidoff5863]

@@romanenot и в браузере тоже самое

[@dracosh6618]

Забавно конечно, но всё же проще поставить Алису в каждый угол и через неё управлять всем.

[@asustek78]

В Алисе проблема когда нет интернета, она не выполняет команды

[@ЕвгенийДмитренко-о3м]

Тоже пользуюсь колонкой с Алисой и интеграцией Yandex Smart Home. Всё прекрасно работает. Умный дом ест все объекты, которые указываю в интеграции, датчики, камеры, кондиционер, реле/розетки и пр, причем с привязкой по локациям (комнатам). Если делать передачу именно команды из колонки в HA, то тут возникает проблема точности команд. А так понимание и распознавание команды перекладывается на яндекс)))))

[@МихалИваныч]

Тогда дядя Майор будет знать сколько раз на дню пердит каждый из проживающих в твоём доме.

[@upavla]

@user-db1zg5jd4m вот мне нечего скрывать :) а Вам? :)

[@logotrend]

Яндекс - фашисты.

[@АлександрИванов-с3ы6ш]

Ну тут уже мы "слишком много кушать" уж больно быстро привыкли к алисам/марусям/алексам и теперь воспринимаем ГА от НА как некую диковину ))) Я, например, буду ждать "допила" тут как то сервера яндекса захворали и Алиса кирдыкнулась, вот жеж боль была...как выяснилось семья то прям привыкла к ней ))) Годик и будет норм локально работать, надо как то гугловский корал под это дело прикручивать )) будет мини пк обвешаный их TPUшками стоять )))

[@kvark_]

Добрый день. Можно ожидать видио про микрофон на esp, микрофон в каждую комнату? А можно сделать видео про подключение колонок по воздуху, в каждой комнате со своей музыкой?

[@upavla]

Да, микрофон на esp. Буду делать

[@DmitryKey]

@@upavla очень нестабильная штука, нон стопом спамит сервер аудиоданными, да и только ленивый не повторил. Если есть свободный одноплатник, собирай сразу wyoming-satellite (первый линк в гугле) с локальным wakeword. Если ещё и на оранже сделаешь, то вообще уникальный контент будет.

[@EvgenMo1111]

tts какое то дно, есть чтото приличное, или с робо голосом как в киношках?

[@MrDrPfGenci]

брат у тебя всё хорошо я увидел твои вкладки ты обогнал моего руководителя на 4 вкладки !

[@druzzer111]

Установил на HA Supervisor. Платформа Intel NUC. распознает крайне уныло. с дикцией все в порядке, максимально медленно и членораздельно проговариваю, и все равно раз на третий понимает. что касается Assist Microphone тут отдельная хохма: он после отнократного срабатывания уходит в себя и не отвечает более на внешние раздражители. в лог ничего не пишет. после перезагрузки модуля все по-новой. Распознал\не распознал- до свидания. На официальном форуме нашел еще пару бедолаг с подобной проблемой. Предложили откатить ядро до январской версии, мол там все работало. Откатил, расстроился что похерилось половина моих интеграций, вернул все обратно. Придумал вилы: автоматизация перезагружает модуль Assist Microphone через 10 секунд после получения wake world. ) Ждем обновлений :)

[@druzzer111]

А, еще пытался менять модели whisper, так вот не вышло в модели medium-int8 whisper уходит в циклический ребут. что бы это значило...?

[@Kentavr_]

такая же проблема с новой версией ядра, если появится решение, напишите пожалуйста, слежу за форумом зарубежным, пока тихо(

[@Kentavr_]

Вышло новое обновление аддонов все заработало, ура!

[@druzzer111]

@@Kentavr_ итак да, победа: после обновы assist microphone больше не вешается после однократного срабатывания, но увы распознавание всё ещё грустное. Мне удалось запустить mrdium-модель whisper. Распознает гораздо лучше, но при этом нагружает ЦП сервера на максимум и время обработки занимает около 10 секунд )

[@Kentavr_]

@@druzzer111это точно, я пока тестирую на base, тут чуть лучше по процессору, но распознание через раз, попробую поиграть с настройками громкости и подавления шума

[@fatmannewman3591]

Лет 7 назад, когда купил Orange Pi Plus 2E, не помню по какому мануалу подключил Google Assistant (настраивалось из консоли в Armbian). Затем написал на питоне скрипт к нему для управления интернет радио. Пользовался встроеным микрофоном. Все работало как часы, голосовые команды хорошо распознавались во время проигрования музыки, что тогда меня удивило, но зависило конечно же от громкости звучащей музыки из динамиков. Не было никаких задержек в исполнении команд, редко когда нужно было повторять команду второй раз. Скорее всего, в вашем случае, такая нагрузка на проц. возникает из-за алгоритмов работы самого home assistant и всех, этих голосовых дополнений, ресурсов, тем более вашего оборудования с головой должно хватать для распознания голоса.

[@Параульский]

Пожалуй продолжу пользоваться с алисой

[@israfilibrahim9761]

Коллега, а как заставить алису управлять HA?

[@Параульский]

@@israfilibrahim9761 там же есть интеграции

[@serg3659]

@@israfilibrahim9761 Поставить интеграцию Yandex Smart Home из HACS

[@upavla]

@israfilibrahim9761 легко и просто. Все уже есть на канале. Ищите видео.

[@БорисБ-ж9ы]

те у кого нет алисы , самое то!!! И да есть еще огромный плюс, оно работает без инета!!!

[@sever9633]

Так это без тырнета будет работать?

[@upavla]

Да, это работает без интернета

[@mrMicroSur]

А у кого HASS стоит на виртуалке Питона - идут лесом )

[@u17l305194817]

виртуалка питона - это что такое?

[@mrMicroSur]

@@u17l305194817 Home Assistant Core: Manual installation using Python virtual environment.

[@user-ruzzia-v]

Микрофон похоже так и не дошел)))

[@elblog7735]

Этот синтезатор голоса, это конечно ужас! Этим лучше не пользоваться.

[@logotrend]

ШТА??? «ШИСПЕР»???

[@upavla]

Ага

[@ELFMEDIA]

@@upavlaВиспер он.

[@Volvo_car]

Спасибо. Алиса рулит

[@wisemars]

Вшиспер ахахахх, пожалуйста проверяйте произношение английских слов хотябы в переводчике. Режет слух😢

[@upavla]

Не буду. Мне пофиг на этот язык :)

[@AlexanderSmirnovXYZ]

@@upavla тогда уж, если пофиг, сразу говорите "шептатель" :) А то какой-то "вшиспер-блохастер" получается.

[@АлексейМиллер-щ7ч]

Шептун и трубач

[@upavla]

@AlexanderSmirnovXYZ ну эт я из вредности конечно. :)

[@upavla]

@user-rw6qd7fz4m главное не пустить этого самого Шептуна

[@СергейНСК-р1ь]

ЖДЕМ С ЕСПушкой

[@DS-vq4ce]

Первый!😊