Cyberpunk 2077 - синтез голосов реальных персонажей игры (Ви, Адам Смешер, Джони Сильверхенд)

Преимущество данного метода озвучивания персонажей заключается в том, что для озвучивания всей игры будут нужны только субтитры на русском языке, а голос под них будет синтезирован автоматически из заранее созданных нейросетью голосов по образцам из оригинальной игры.
Discord server для обсуждения проекта руссификации:
/ discord

[@НиколайВиноградов-и4л]

Что-то мне подсказывает, что с такими энтузиастами как вы, развитие нейросетей не придется ждать 10 лет, про которые все говорят. А актером дубляжа нужно сильно напрячься. Прогресс не остановить. Было бы очень символично, если первая озвучка от нейросети будет в Cyberpunk или Deus Ex

[@overout6799]

Сделали озвучку гг киберпанка голосом Адама дденсона из деус экс. Мод уже на нексусе

[@STYXEL]

Очень круто! Второй вариант Ви очень круто получился. Думаю, если реально взять чистые дорожки озвучек из игры, возможно, в каких то видео самих актёров озвучки, от туда набрать материала, то выйдет превосходно!

[@blackviper9093]

Недурно - трудно отличить от реальных голосов. Даже интонации хорошо сделаны. У Джонни мне понравился 1-й вариант, а у Ви - 2-й. А что за нейросетка?

[@ilyapavlov1778]

RedpaX, очень толковый подход(я про всё вкупе, про ваши мотив и альтруизм с моралью). Надеюсь у вас получится и команду собрать, и мощности необходимые привлечь, и в конечном итоге получить озвучку на уровне и всё-таки благодарность в каком-то денежном выражении. Это будет вполне заслуженно. Теперь по поводу самой русской озвучки, как тут ниже упоминали про оригинальные голоса англоязычных актёров, то конечно людям пришлись бы два варианта, с нашими актёрами которые основную игру озвучивали и с оригинальными ихними но по русски. Желаю большущей удачи и успеха в воплощении этой затеи! P.S. Кстати наши актёры не смотря на договоры и NDA, вполне бы могли неофициально-нелегально озвучить, и потом заявить что это не они, а "пираты с нейросетью" их голосами. Гемс Войс непонятно зачем создали шумиху с обращением в CDPR, прекрасно понимая отрицательный исход. Выглядит это больше как вредительство. Озвученные CDPR причины о невозможности нормально организовать финансовые моменты в нынешних непростых международных условиях, изначально несерьёзны.

[@GaikotsuSova]

Желаю автору успехов и скорейшей озвучки всего длс.)

[@animemoboy_2284]

Надо делать, ну серьезно они сделали русские субтитры, просто выбрать все файлы русской озвучки(из оригинала) и поставить файлы определеных актеров к определенным персонажам для фантом либерти. Можно даже деньги не собирать, а просто попроситб и научить это делать всех желающих помочь с этим.

[@Tsar_Heknt]

Очень круто сделано, нужно будет ещё научить нейронку шипящим звукам и накинуть немного интонации. Как обычно игру доделывают фанаты) Удачи в разработке, надеюсь всё получится, буду очень ждать.

[@pyrokinesis5779]

Это бомба просто, как вопще 😮

[@Andrey_From_North]

Очень реалистично практически не отличить от оригинала

[@Darina_Morozova]

Отличить, еще как!

[@КириллГвоздков-ч6ж]

@@Darina_Morozova отличить то отличить, только это звучит гараздо лучше чем отсутствие русского языка + тут чел для модели голоса использовал от 30 секунд до пары минут. В идеале обучать надо минут 30, вот тогда не отличить

[@killabook]

Круто вышло. Очень круто. Чувствуется, что голос синтезировае, присутствует некая металичность, но об этом Я знал. Но если бы мне не сказали, что голос синтезирован, то подумал что такая задумка

[@ilyapavlov1778]

RedpaX, кстати насчёт "эмоций в голосе", нужно искать подходящих имитаторов актёров чтобы с эмоциями фонетику и прочее актёров озвучивавших смогли воспроизвести, всё остальное сделает нейросеть. По аналогии с песнями голосами певцов которые сейчас создают, вокалист с похожим тембром и манерой напевает песню максимально имитируя оригинального исполнителя , а нейросеть натасканая на определённого певца/певицу доделывает всё остальное. P.S. Хотя может я и не вполне компетентен, и нейросеть уже вполне может обучаться и эмоциям на конкретных примерах, и наговаривающие/напевающие уже и не нужны.

[@RedpaX]

Увы нет. Моя нейросеть работает по другому.

[@ilyapavlov1778]

@@RedpaX , значит остаётся только вариант с указанием в тексте акцентов для эмоций или как? В принципе наверное можно ограничиваться и этим, то что у вас с трейлером получилось, и в данном примере уже вполне приемлемо. А если ваша нейросеть ещё и эволюционирует в "понимании" эмоций и контекста так и вообще лучше и не придумать.

[@RedpaX]

@@ilyapavlov1778 она развивается каждый день. Посмотрим что получится :)

[@ilyapavlov1778]

@@RedpaX, звучит обнадёживающе!) Удачи в процессе, и получении результата!👍✌

[@Kekebrums]

Я мечтал что этот день наступит. Наконец кому-то не влом. Братан, пиши. Извлеку тебе любое говно из любого говна, если найду инструкции и смогу деобфусцировать или найти инструкции у моддеров

[@coolalex9590]

Такими темпами можно включить и голоса довно ушедших актёров дубляжа. Бурзунов, Суховерко, Вихров, Смирнов, Ярославцев и других. Не обязательно в киберпанк а в другие игры.

[@Varik23]

круто конечно .а я вот начал уже озвучивать и обрабатывать голос персов из длс. должна получиться некая солянка из реальной озвучки ,звукообработки и нейросети .лично я считаю что нейросети такие подойдут для левых либо проходящих персонажей .а вот с основными лучше запариться и проработать глубину диалогов .а то погружение и впечатления будут совсем не те .хоть и голоса похожи..а так отлично что нейронки прокачиваются !

[@vadimmakarov5539]

Можно как вариант задействовать ОДНОГО актёра озвучки и он же будет режиссёр озвучки, то есть человек прогорит все интонации именно так как сам видит, а потом разбросать уже по моделям озвучки.

[@Voicemix]

Мне кажется, разумнее поступить как с масками в инсте и тд. Т е чтобы весь текст зачитал 1 актер (но живой!), а уже на его живые интонации накинуть маску голоса Бледного и тд

[@RedpaX]

Я не буду так делать это слишком трудозатратно.

[@ScarlettTakahashi1989]

Поляки уже забегали, засуетились по поводу использование нейросети. Все же уже об этом знают, да? сначала ультиматум устроили неофициальным студиям, а потом и энтузиастам нейроподборки голосов. Я так же слышала, что сами актеры немного напрягаются из за этого. Оно и понятно, ведь если так будут озвучивать фильмы и мульты, у этих людей не останется работы.

[@sofiaponedelnik]

прикольно но мне кажется проскакивают металлические нотки в голосах(?)

[@RedpaX]

Сложно сказать, я вот сам не могу отличить от реального голоса.

[@svk643]

​@@RedpaXобщая тональность слишком ровная, на самом деле качество вышка.

[@gera_mori3087]

У меня есть оригинальный киберпанк, и операционная система, я могу помочь

[@dresdensoftbunlover3047]

Петя Гланц совсем не попал, ибо кусок очень маленький) Я вообще предлагаю параллельно открыть сбор добровольного доната, чтобы после разделить на ребят, давшим свои голоса персонажам, в качестве, так сказать, компенсации. Ведь некоторые могут и обидеться на то, что их голоса используют. А так хотя бы будет честно по отношению к ним.

[@overout6799]

А знаешь что то про шевеление губами ? Там озвутчикам давали инструменты, чтоб шевеление губами совпадало с дубляжом языка. Тоесть губы шевелятся как будто дубляж родной ? Такое возможно будет ?

[@RedpaX]

«Липсинк» называется. Так глубоко я не копал пока. Узнаю у мододелов, возможно они в курсе.

[@IdolGames_hunt]

За первый вариант джони! И второй от Ви

[@brazo_largo]

Ну хз, как по мне такую локализацию придеться шлифовать и шлифовать. Но для озвучки второстепенных НПС пойдет.

[@RedpaX]

Возможно, я сам пока не знаю, но как минимум интересно попробовать.

[@GRTXOFF]

А можеш сказать что за нейрость я просто хочу опробывать

[@ОляЛанская-ц6т]

Почему нельзя сразу перевести голос Киану на русский? (без использования голоса актера дубляжа)

[@RedpaX]

кто сказал что нельзя? конечно можно. Вот смотрите: kzbin.info/www/bejne/l6eTq5ygr8ajbZYsi=5hBdHF6Km6gQw0L6

[@whiteraven3056]

А есть какие то реквизиты, чтобы поддерживать материально?

[@7alexandrow]

неплохо, вот творцы модов скайрима обрадуются, особенно любители лора

[@RedpaX]

У меня была мысль старфилд русифицировать но там настолько много диалогов, что ресурсов железа не хватит для полной русификации.

[@VortMordrak]

@@RedpaX Выйти на более серьезный уровень? собрать команду и предложить свои услуги Компаниям которые не хотят много тратить на актеров ? Или для инди проектов ?

[@FoLDx]

@@RedpaX Или просто сделать руководство как все сообщество может делать тоже самое)

[@Darina_Morozova]

Получилось неплохо, но, естественно, оригинал звучит так, как надо - лучше, душевнее. Если не будет оригинальной русской озвучки и такая сойдет. Но вопрос этики: нейросеть крадет у актеров голоса и заработок.

[@Xedfor]

голоса - согласен, заработок - нет. за отсутствие озвучки им никто платить не будет, а эту игру они озвучивать отказались.

[@Darina_Morozova]

@@Xedfor да, к сожалению. Учитывая тот факт, что были все же намеки, что озвучка возможно и будет.

[@valeriusakimoff166]

Ничё по теме непонятно, но очень интересно (С) (づ｡◕‿‿◕｡)づ

[@Сэтрий]

Как нет отдельных голосов? Мне кажется голоса это отдельные файлы или архив, то есть там же не как в фильме всё на одной дорожке, это же игра. Или я чего то не понимаю?

[@RedpaX]

уже все извлекли нормально

[@Сэтрий]

@@RedpaX Отлично! А извлекли это как понять? То есть из файла отдельные голоса или отделили из общей аудиодорожки голос?

[@alberteinstein7017]

а что у тебя за пк? мак? а начем тренишь? в облоках?

[@youmustdie5653]

В Пасифике🤣

[@iiSeaWolf]

А насколько это затратное в плане денег и ресурсов мероприятие ?

[@RedpaX]

Сейчас уже становится приблизительно понятно, сколько часов озвучки в оригинале игры, более 15000 звуковых файлов, это значительно больше, чем я предполагал, я думаю моих мощностей GPU не хватит, что бы сделать озвучку и за полгода, вероятно придется арендовать сервера думаю 1500-2000$ обойдется все это.

[@iiSeaWolf]

@@RedpaX Не дешевое это удовольствие надо сказать.

[@alexl7265]

@@RedpaXчто у тебя за gpu?

[@RedpaX]

@@alexl7265 40 штук 4080 но этого крайне мало.

[@alexl7265]

@@RedpaX ого!

[@sima574]

А почему в длс другая озвучка ?

[@FoLDx]

Скажите пожалуйста с помощью какого инструмента это сделано? Я понимаю что это нейросети, но какая именно?

[@RedpaX]

Не публичная закрытая (пока) разработка.

[@zeronsham]

Хорошая работа, но как быть с актерами озвучки? Они не очень будут довольны что их голоса используют без их ведома. Это как бы биометрические данные.

[@RedpaX]

Мое мнение тут жесткое, они могут быть сколько угодно недовольны, но это уже не их голоса, а созданные мной, как автором и нейросетью которая просто подражает, как допустим человек подражал бы голосу другого человека. К биометрическим данным это не имеет никакого отношения. Ну и самое главное, я не собираюсь извлекать из этого прибыли, а даже наоборот, я потрачу свои личные деньги и время но то, что бы людям было интереснее играть в игру на родном языке. Я был бы очень рад если бы актеры озвучки озвучили бы всю игру так же как это делаю я безвозмездно и на чистом энтузиазме но, что-то мне подсказывает, что деньги они любят больше и бесплатно пальцем не пошевелят.

[@Darina_Morozova]

@@RedpaX Актеры тоже кушать хотят, у них семьи, дети, которых в школу и детский садик нужно отправлять, за квартиру нужно платить...

[@Xedfor]

​@@Darina_Morozova так кто им мешает работать официально? у дополнения киберпанка не будет русского языка. эти актеры ничего не потеряют на озвучке, потому что они не собирались для этой игры ее делать. само собой настоящая озвучка лучше, но отсутствие озвучки как им даст покушать-то?

[@andrewkorolev3218]

​@@Darina_Morozovaот озвучки одной игры они конечно обеднеют, что капец

[@Voicemix]

@@Darina_MorozovaРазумеется, речь идет о тех проектах, в которых актеры не имеют права участвовать по объективным причинам.

[@kiby7745]

У Джонни и Ви 1 вариант лучше звучит

[@BoringNameU]

Гайд можно пж пж

[@avm2017]

Это отлично. Но у меня вопрос. Живые голоса делают эмоции (где то повышаются в виде криков, иногда тихо или шёпот и они меняют свой тон почти ежесекудно, иногда чуть-чуть или резко ), а здесь синтез идёт как бы ровно, не больше, не меньше. Нельзя как бы свои проговариваемые эмоции как надо, синтезировать под голоса оригинальных героев чтобы получилось более живое звучание?

[@RedpaX]

Согласен это ключевая проблема. Эмоции можно делать но только за счет контекста в тексте, но оно слабо управляемо. Напрямую пока на эмоции влиять нельзя.

[@evgeniysukhomlinov4966]

@@RedpaX да блин, лучше хоть такая озвучка, чем вообще никакой. Понятно, что качественная живая озвучка ещё не скоро будет достигнута.

[@НикитаКузьминов-й1о]

Я на эту затею смотрю и вижу, как вас таскают по судам. Это нормально для левых студий, где люди в виде хобби это озвучивают в виде модов для игры. Но это совершенно новый уровень и тут надо сначала не о файлах думать, а адвоката бы нанять хорошего. Ваша позиция, она напоминает позицию читеров из игры. Им тоже в принципе плевать, они делают , что хотят и возможно кто то их поведение посчитает терпимым и необходимым, нормальным , потому что все вокруг читеры, но правила то нарушены и отвечать будете по правилам, а не по вашим хотелкам, потому что вы лично будете у всех на виду,а не где то в тени. Многие читеры становятся читерами чтобы просто уровнять шансы, видят так сказать, чт омир несправедлив. Вы я тоже смотрю видите, что озвучку не добавили, значит не по справедливости поступили разрабы. А вот правила то и законы они некуда не делись

[@RedpaX]

Законы и правила никакие не нарушены. Аналогия с читерством совершенно не уместна. Изобретение любой технологии читерство, автопилот в авто - убийца таксистов (посмотрите ролик про автопилот теслы у меня на канале где я его тестирую в РФ), мед аппараты проводящие операции тоже читеры убивают профессию врачей, нейросети рисует лучше художников, пишут код лучше программистов, отвечают на любые вопросы кое где уже лучше профессоров. Переводчики? Да вы и сами знаете для 99% задач они стали ненужны еще 10 лет назад. А промышленная революция недавнего времени если вспомнить вообще вызвала в свое время бунт. Так было всегда, те кто сопротивляется технологиям уходят на свалку истории, те кто возглавляет их или хотя бы присоединяется становятся сильнее и успешнее и выживает. Да и судов я не боюсь, за моей спиной их не мало, зубы обломают судиться со мной. Но в любом случае спасибо за ваш комментарий, это ваша точка зрения и она высказана в культурной форме я такое приветствую!

[@НикитаКузьминов-й1о]

​​​@@RedpaXгеймс войс хотели делать, их бы точно поддержали. Но актеры и сама красный воробей против. Типо там договоренности и правила. Ну, как знаешь. Имхо, я вижу три пути: 1. Никто просто тебе не поможет, ну да интересно получается, но мы то просто наблюдаем, нам тут все равно по большому счету как у тебя дела. (60%) 2. Тебе самому наскучит и ты бросишь, так как никто денег не заносит. (35%). Так кстати было с кажется переводчиками из группы миракл и они стали ток за бабки фул сумму вперед. 3. Вместо озвучки будешь судиться. (5%). Чисто на основании поста из группы Гейм войс мои мысли

[@ДиванныйАналитик-ы4ю]

@@НикитаКузьминов-й1о 1)киберпанк на хайпе, а т.к гв слиняли этот чел вполне может привлечь кучу народа 2)это вообще решаемо, гв так и работало 3)несуществующая в рф студия будет судиться по несуществующему в рф продукту по безосновательному обвинению)))))