Был вопрос про квантование для типичного пользовательского железа(CPU). Для этого подходит фреймвок от intel openvino. В нем есть встроенный WEB интерфейс(workbench) служащий для оценки производительности и выполнения квантизации. В целом перевод в int8 позволяет получить 2-4x по производительности. Опробовать на простых нейросетях возможно буквально за пол часа выполнив установку с DockerHub.
@VitalZh11 ай бұрын
Непонятно.
@objective_subject9 ай бұрын
Бывает братан
@gordinmitya Жыл бұрын
какой-то очевидный доклад, кажется спикер не угадал с аудиторией
@hidunay Жыл бұрын
Кажется квантование не сильно популярная вещь. Я с интересом послушал