Николай Васильчук - Замена фона в видеозвонке

Подробнее о конференции VideoTech: jrg.su/1c4Boc
- -
Скачать презентацию с сайта VideoTech - jrg.su/FiI97D
Спикер рассказывает, как разобрать видео на кадры, найти в кадрах людей, заменить фон и собрать обратно. И еще немного про нейронки, стримы и канвасы. Используемые технологии: WebRTC, Insertable Streams, Media Source Extensions, Canvas. Доклад будет полезен, если вы работаете с видео, звонками или конференциями, делаете свой видеоплеер, сервис групповых звонков или DRM.
#webrtc #videocall

[@stepanmikhailiuk4571]

Спасибо за доклад. Скажите, модель, которую вы используете есть в открытом виде?

[@stepanmikhailiuk4571]

Не удалось понять для чего именно используется imageData. Так как в примерах на слайдах imageData просто рисуется. Видимо имелось в виду что полученная ресайзнутая imageData передается в модель. В таком случае, преимущество webgl readPixels не очевидно так как он делает то же самое. что и getImageData. Единственная разница что readPixels поддерживает возможность передать туда ссылку на Uint8Array, что позволяет не аллоцировать на каждый кадр новую память. Но у readpixels есть неприятный нюанс - он возвращет флипнутое изображение. Надо или компенсируюший флиппинг на шейдере делать или же после чтения jsoм - но это будет стоить еще 0.5 ms-2ms для 1080p на m1 pro, если я верно помню цифры

[@stepanmikhailiuk4571]

kzbin.info/www/bejne/hqSbdK2amrKlh5osi=KQbnWI-k_rODipCA&t=998 Тут ошибка. метод resize возвращает imageData. canvasRenderin2dContext.drawImage не поддерживает передачу туда ImageData.