Управление голосом сервером умного дома Home Assitant с помощью Voice Assistant и USB микрофона

В данном видео управление голосом сервера Home Assistant делал на:
Raspberry pi 5: alii.pub/6vrwq...
usb_microphone: alii.pub/6vrwr...
USB микрофон конечно-же я бы такой не советовал. Надо что-то сильно получше. Так-же для уменьшение задержек от команды до исполнения (у меня это 6 секунд). Надо сервер как можно мощнее.
Распознавание голоса выполнено с помощью 4рех дополнений:
Whisper, Piper, openWakeWord и Assist Microphone.
С этими настройками управление голосом активируется по фразе.
Все это дело я еще описал у себя на сайте: psenyukov.ru/уп...
Меня можно поддержать на Boosty: boosty.to/upavla
Подписаться на телеграмм канал можно по ссылке: t.me/+K05yDjyd...
или
t.me/ypavla
Мой 3d принтер: alii.pub/6bu5tp
Крутой тепловизор Infiray p2 pro: alii.pub/6qyhgs
Теги: #Упавла! #homeassistant #умныйдом #voiceassistant
================================================
Помощь каналу: www.donationale...
Реклама: ООО "АЛИБАБА.КОМ (РУ)" ИНН: 7703380158

[@upavla]

Подписывайтесь на мой телеграмм канал: t.me/ypavla

[@arthurgabdullin3779]

стоит добавить не просто "мощность компьютера", а словарь языковой модели или как он там называется - чем он больше по объему, тем больше ресурсов требуется, но и сильно лучше результат распознавания. Плюс своего помощника в том, что сказанное остается в пределах сервера и в никакой условный Яндекс не утекает.

[@akireyenko1984]

Вшиспер:))))) Это пять!!!

[@dan-3268]

Сам в шоке был. Ясно же что произносить надо "вХиспер" 😅

[@kdv9824]

в общем и целом пока до алексы будешь докрикивать пока она тебя распознает уже сам зайдёшь в. виджет и активируешь сцену😅, но в целом видео как всегда полезное спасибо за труды!!!

[@dartwejders]

спасибо за проделанную работу да, сыровато, но это уже хорошее начало.

[@coolflex2]

Круто когда обьясняют такое, прям респект за работу, конечно есть и лучше решения, в видео он сказал про Алису, но все же!!!

[@Mbyte-rx8lj]

Видел на просторах интернета опенсурс помошника irine от janvarev. Очень интересно как его прикрутить к HA, т.к. возможностей у него намного больше, и варианты голоса есть получше.

[@kristoferrobin4695]

Спасибо за информацию😊

[@БорисБ-ж9ы]

те у кого нет алисы , самое то!!! И да есть еще огромный плюс, оно работает без инета!!!

[@ИлайСмитт]

Да ещё бы правда видео по работе микрофона через джек и по использованию микрофона блютуз колонки такие тесты глянуть

[@hotmonitor]

Можно ли установить 2 USB-микрофона?

[@nrz_tv]

До 127 устройств

[@Walteg74]

Все дополнения что ставятся через магазин, вроде разворачиваются в отдельных докер контейнерах. Можете скинуть названия образов? а то там только на один Whisper вариантов больше 10 страниц :)

[@vechtomas]

А если подключить не юсб а аналоговый через джек?

[@upavla]

Хз, тут я чето не подумал. Не уверен, что звуовая карта raspberry pi определилась

[@vmabramenko]

​@@upavlaтоже подумал про аналоговый микрофон. Сто процентов что у вас настроена ALSA, а может еще и PulseAudio. Если работать со звуком на вход (микрофон) через АЦП, а на выход (усилитель/колонки) черз ЦАП, то ресурсы основного процессора сильно освобождаются. У меня, например, все это делает внешняя звуковая карта, у вас на малинке АЦП/ЦАП скорее всего на борту (наверное на вариантах попроще тоже внешняя карта нужна). Пока коммент писал, глянул по-быстрому, аддоны для PukseAudio точно есть. И видел что TTS пускают через MPD, соответственно ALSA, как минимум, через прокладку мпд доступна. P.S. это все для "подумать" и про то как получить микрофон высокого качества/чувствительности с гораздо меньшими вложениями

[@upavla]

@vmabramenko alsa это ппц конечно. Но у меня там стоял hasos. Хз что там у него. Может и alsa

[@dracosh6618]

Забавно конечно, но всё же проще поставить Алису в каждый угол и через неё управлять всем.

[@asustek78]

В Алисе проблема когда нет интернета, она не выполняет команды

[@ЕвгенийДмитренко-о3м]

Тоже пользуюсь колонкой с Алисой и интеграцией Yandex Smart Home. Всё прекрасно работает. Умный дом ест все объекты, которые указываю в интеграции, датчики, камеры, кондиционер, реле/розетки и пр, причем с привязкой по локациям (комнатам). Если делать передачу именно команды из колонки в HA, то тут возникает проблема точности команд. А так понимание и распознавание команды перекладывается на яндекс)))))

[@МихалИваныч]

Тогда дядя Майор будет знать сколько раз на дню пердит каждый из проживающих в твоём доме.

[@upavla]

@user-db1zg5jd4m вот мне нечего скрывать :) а Вам? :)

[@logotrend]

Яндекс - фашисты.

[@АлександрИванов-с3ы6ш]

Ну тут уже мы "слишком много кушать" уж больно быстро привыкли к алисам/марусям/алексам и теперь воспринимаем ГА от НА как некую диковину ))) Я, например, буду ждать "допила" тут как то сервера яндекса захворали и Алиса кирдыкнулась, вот жеж боль была...как выяснилось семья то прям привыкла к ней ))) Годик и будет норм локально работать, надо как то гугловский корал под это дело прикручивать )) будет мини пк обвешаный их TPUшками стоять )))

[@goiiia3774]

А есть управление жестами через веб камеру ?

[@upavla]

О таком не слышал. Xiaomi лампа только знаю умеет воспринимать пару жестов.

[@DimaAndr]

Насколько я понял, озвучиваешь необходимий сценарий и он срабатывает?

[@ДмитрийСолдатов-э9ф]

Попробуйте в качестве TTS использовать RHVoice, по мне лучше проговаривает

[@polbin]

Спасибо за видео. Попробовал с хорошим микрофоном. Результат так же не очень. Проблема с распознавателем речи, например слово (включи) он упорно распознаёт как (в ключи) и естественно не включает -)) из 10 попыток примерно 1 срабатывает. Может распознаватель можно как то дообучить ? (будем изучать мануал) Задержка ответа или действия при инициализации голосового помощника через подключенный к серверу микрофон, похоже прописана где то в конфигурации, ресурсы процессора на скорость ответа не влияют.

[@upavla]

Есть вариант локальную базу whisper скачать. Есть интеграция от alexit. Но там предупреждение, что она много ресурсов кушает и весит

[@polbin]

Продолжаю наблюдение. Поставил базу Medium-int8 стало значительно лучше. (сервер PROXMOX core i3 12100f, 8Gb, сейчас выделены все 4 ядра под HA, голосовой запрос нагружает до 25%) Заметил, что когда близко говорить в микрофон, распознаёт быстрее (2- 3 сек). Когда отдаляешься от микрофона, тоже распознаёт но значительно медленнее (6 - 8 сек) Для быстрой работы Whisper рекомендует использовать видеокарту. Не знаю насколько это целесообразно для умного дома, с учётом немалого потребления видеокартой электричества 24/7, удовольствие кричать в доме - окей Набу включи розетку -, будет довольно финансово затратно -) Но всё равно любопытно. @@upavla

[@Параульский]

Пожалуй продолжу пользоваться с алисой

[@israfilibrahim9761]

Коллега, а как заставить алису управлять HA?

[@Параульский]

@@israfilibrahim9761 там же есть интеграции

[@serg3659]

@@israfilibrahim9761 Поставить интеграцию Yandex Smart Home из HACS

[@upavla]

@israfilibrahim9761 легко и просто. Все уже есть на канале. Ищите видео.

[@MrDrPfGenci]

брат у тебя всё хорошо я увидел твои вкладки ты обогнал моего руководителя на 4 вкладки !

[@fatmannewman3591]

Лет 7 назад, когда купил Orange Pi Plus 2E, не помню по какому мануалу подключил Google Assistant (настраивалось из консоли в Armbian). Затем написал на питоне скрипт к нему для управления интернет радио. Пользовался встроеным микрофоном. Все работало как часы, голосовые команды хорошо распознавались во время проигрования музыки, что тогда меня удивило, но зависило конечно же от громкости звучащей музыки из динамиков. Не было никаких задержек в исполнении команд, редко когда нужно было повторять команду второй раз. Скорее всего, в вашем случае, такая нагрузка на проц. возникает из-за алгоритмов работы самого home assistant и всех, этих голосовых дополнений, ресурсов, тем более вашего оборудования с головой должно хватать для распознания голоса.

[@akaDemBirsk]

Попробовал, реакция моментальная, проц e3-165l v2, даже не грузит почти, но качество распознавания отвратительное, можно как-то улучшить его?

[@akaDemBirsk]

Разобрался, просто стояла минимальная модель...

[@druzzer111]

Установил на HA Supervisor. Платформа Intel NUC. распознает крайне уныло. с дикцией все в порядке, максимально медленно и членораздельно проговариваю, и все равно раз на третий понимает. что касается Assist Microphone тут отдельная хохма: он после отнократного срабатывания уходит в себя и не отвечает более на внешние раздражители. в лог ничего не пишет. после перезагрузки модуля все по-новой. Распознал\не распознал- до свидания. На официальном форуме нашел еще пару бедолаг с подобной проблемой. Предложили откатить ядро до январской версии, мол там все работало. Откатил, расстроился что похерилось половина моих интеграций, вернул все обратно. Придумал вилы: автоматизация перезагружает модуль Assist Microphone через 10 секунд после получения wake world. ) Ждем обновлений :)

[@druzzer111]

А, еще пытался менять модели whisper, так вот не вышло в модели medium-int8 whisper уходит в циклический ребут. что бы это значило...?

[@Kentavr_]

такая же проблема с новой версией ядра, если появится решение, напишите пожалуйста, слежу за форумом зарубежным, пока тихо(

[@Kentavr_]

Вышло новое обновление аддонов все заработало, ура!

[@druzzer111]

@@Kentavr_ итак да, победа: после обновы assist microphone больше не вешается после однократного срабатывания, но увы распознавание всё ещё грустное. Мне удалось запустить mrdium-модель whisper. Распознает гораздо лучше, но при этом нагружает ЦП сервера на максимум и время обработки занимает около 10 секунд )

[@Kentavr_]

@@druzzer111это точно, я пока тестирую на base, тут чуть лучше по процессору, но распознание через раз, попробую поиграть с настройками громкости и подавления шума

[@kvark_]

Добрый день. Можно ожидать видио про микрофон на esp, микрофон в каждую комнату? А можно сделать видео про подключение колонок по воздуху, в каждой комнате со своей музыкой?

[@upavla]

Да, микрофон на esp. Буду делать

[@DmitryKey]

@@upavla очень нестабильная штука, нон стопом спамит сервер аудиоданными, да и только ленивый не повторил. Если есть свободный одноплатник, собирай сразу wyoming-satellite (первый линк в гугле) с локальным wakeword. Если ещё и на оранже сделаешь, то вообще уникальный контент будет.

[@SuperVitcom]

медленно жуть ..... на распознавание команды 5-15 сек и при том качестве распознавания это ещё раза 3-4 надо повторить и не факт что правильно распознает. может какие настройки можно покрутить ..

[@user-gw5yj2209]

Здравствуйте. Так можете подсказать, как решить проблему "Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону.? Андроид 14.

[@upavla]

Такое на айфонах вроде

[@laxerspk]

Вероятно, настроить https на НА и , может, выпустить и добавить в НА сертификат Lets Encrypt.

[@EvgenMo1111]

tts какое то дно, есть чтото приличное, или с робо голосом как в киношках?

[@Правопорядок-с6ш]

Добрый день Как решить проблему "Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону."

[@upavla]

Выкинуть iPhone и купить Android :)) я так понял эта проблема на iPhone и как ее решить, я не знаю. Так как у меня андроид

[@Правопорядок-с6ш]

Спасибо.@@upavla

[@olegdovidoff5863]

А у меня пишет Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону.

[@upavla]

Уже так случилось у одного. У Вас Apple?

[@romanenot]

Так он делает это из приложения для телефона (не из браузера).

[@olegdovidoff5863]

@@romanenot и в браузере тоже самое

[@mrMicroSur]

А у кого HASS стоит на виртуалке Питона - идут лесом )

[@u17l305194817]

виртуалка питона - это что такое?

[@mrMicroSur]

@@u17l305194817 Home Assistant Core: Manual installation using Python virtual environment.

[@sever9633]

Так это без тырнета будет работать?

[@upavla]

Да, это работает без интернета

[@wisemars]

Вшиспер ахахахх, пожалуйста проверяйте произношение английских слов хотябы в переводчике. Режет слух😢

[@upavla]

Не буду. Мне пофиг на этот язык :)

[@AlexanderSmirnovXYZ]

@@upavla тогда уж, если пофиг, сразу говорите "шептатель" :) А то какой-то "вшиспер-блохастер" получается.

[@АлексейМиллер-щ7ч]

Шептун и трубач

[@upavla]

@AlexanderSmirnovXYZ ну эт я из вредности конечно. :)

[@upavla]

@user-rw6qd7fz4m главное не пустить этого самого Шептуна

[@user-ruzzia-v]

Микрофон похоже так и не дошел)))

[@elblog7735]

Этот синтезатор голоса, это конечно ужас! Этим лучше не пользоваться.

[@Volvo_car]

Спасибо. Алиса рулит

[@logotrend]

ШТА??? «ШИСПЕР»???

[@upavla]

Ага

[@ELFMEDIA]

@@upavlaВиспер он.

[@user-ki3rk7mt7z]

ЖДЕМ С ЕСПушкой

[@DS-vq4ce]

Первый!😊