Компьютер для Computer Vision (Data Science) специалиста (i9-14900K + RTX4090)

[@koryginagrobova3506]

Прекрасный разбор проделанной работы по выбору комплектующих. Очень понравилось за разбор мелких деталей и возможных путей решений. Мне как обычному компьютерному обывателю очень понравилось смотреть этот полуспециализорованный видеоролик. Спасибо, что поделились)

[@TolstyakFree]

Очень полезное видео, без воды, мемов и т.п. мусора. В основном все сборщики снимают для геймеров, для программистов - единицы видео! Спасибо за ваш труд, работа проделана колоссальная.

[@Motskin_AI]

Большое спасибо за ваш тёплый комментарий!!!

[@EugeneMenshov]

Пользуюсь для аналогичных задач связкой Palit RTX4090 c i7 12700f (на воздухе) + 64 Gb DDR-5 (4800, не гнал!) + 2Tb 980Pro nvme от Samsung. До этого стояла Asus RTX 3090 Turbo - в комнате находиться было некомфортно. Сейчас - тишь да гладь :) 4090 при обучении достаточно тяжелого детектора греется заметно меньше 3090. Не вижу смысла ставить проц-печку с индексом К 12-13-14 поколения, обычный 8-ядерник с предобработкой данных и GPU feed справляется на ура (на train батче загрузка GPU 99-100%, ядра процессора загружены процентов на 60, в среднем). Если кто-то будет собирать домашнюю ML\DL- рабочую станцию, имейте в виду, что самое главное - чтобы не было bottleneck на операциях ввода-вывода, в нашем случае - это чтение с диска. Скорость чтения зависит от типа nvme , особенностей платы (версии PCI-E и количества свободных линий PCI-E процессора\чипсета), куда он воткнут. На некоторых платах в разных разьемах NVMe может быть разная скорость! Касаемо предобработки (transforms) я не знаю, что же такое нужно навернуть для задач CV, чтобы не хватило мощи восьмиядерника того же 12-го поколения от Intel.

[@Motskin_AI]

Большое спасибо вам за такой развёрнутый комментарий. Уверен, он замечательно дополнит информацию, представленную в видео.

[@objective_subject]

А не позволяет ли функция resizeble bar видеокарте оперировать неограниченным количеством видеопамяти? Хоть и с меньшей скоростью, но на 4 канала ддр4 выдает солидную производительность.

[@Motskin_AI]

Может быть. Я уже не стал разбираться почему не выдаёт ошибки, что не хватает памяти. Просто принял это как данность и очень счастлив этому. Что касается 4 планок памяти, то увы, я получил больше памяти за счёт снижения скорости. Если с четырьмя планками скорость чтения 75 тыс, то на 2-х планках была бы 100 тыс.

[@androidbyserega]

А ImageNet-1K на таком железе сколько обучаться будет?

[@Motskin_AI]

могу только навсидку сказать. Предположим, что ImageNet-1K имеет 1.2 млн изображений. А я в серии видео про классификацию обучал на датасете в 5 тыс изображений (Арма). Пусть одинаковая модель и количество эпох и размер изображений 224 на 224 пикселя. Предположим у меня это занимало 1 час. Тогда 1.2 млн делим на 5 тыс. получаем в 240 раз дольше. Тогда ту задачу, которую я обучал на датасете арма за 1 час, на датасете ImageNet-1K займёт 240 часов. При всех равных условиях.

[@androidbyserega]

@@Motskin_AI 240 часов это 10 суток работы получается. А Nvidia a100 насколько быстрее будет работать примерно?

[@Motskin_AI]

@@androidbyserega У меня был опыт запускать задачу обучения трансформера на А100. Так время обучения было в 3 раза меньше чем на RTX3090. Но сейчас мы сравниваем RTX4090 и A100, поэтому зависит от задачи.Есть варианты, когда RTX4090 будет чуточку быстрее чем A100. Но H100 точно уделает RTX4090 раза так в 3 точно.

[@androidbyserega]

@@Motskin_AI все это невыносимо долго. Видимо придется с четырьмя видеокартами корпус собирать

[@Motskin_AI]

@@androidbyserega это будет невыносимо дорого :)

[@romangajda1535]

майнинг фермы можно адаптировать под такие задачи ?

[@Motskin_AI]

К сожалению не могу ответить на ваш вопрос, так как никогда не майнил и вообще не пересекался с криптой. И не знаю особенности строения фермы.

[@romangajda1535]

@@Motskin_AI на майнинг фермах стоят видеокарты rtx 3060 , 3070 ,3080 12 гиговые. я так понимаю основная задача их усадить правильно на правильные материнки + проц+ память + ссд. можно ли их синхронизировать в одну задачу ? можно по группам разбить. можно продать их и пересесть на 4090. время простоя спокойно могут майнить..

[@romangajda1535]

@@Motskin_AI Материнская плата MSI X470 Gaming Plus Max s-AM4 ATX 4xDDR4 + AMD Ryzen 7 3700X+ddr4 16gb

[@Motskin_AI]

Я могу сказать только на основе своего опыта. Когда у меня был сервер с двумя видеокартами. То в основном были задачи, где я использовал их независимо и просто выбирал ту, на которой должна выполняться операция. Однако метод поиска FAISS имел настройку, чтобы использовать все доступные ресурсы на сервере. И когда приходил запрос на поиск, то задача распределялась сразу на 2 видеокарты. Т.е. теоретически вполне может быть нормально. Но всё-таки я никогда не пересекался с майнинговым оборудованием, поэтому не могу вам точно сказать по этому вопросу. Может кто сможет в комментарии написать о своём опыте?!

[@1234mifa]

Заинтересовал момент с нехваткой видеопамяти, когда в ролике стала использоваться ОЗУ. Хотелось бы подробнее про этот момент. Я знаю что так можно, но думаю что Ари соблюдении каких-то условий, например наличие pci-e не ниже 4.0. вы изучали вопрос ?

[@Motskin_AI]

В этот вопрос не углублялся. Просто обратил внимание, что при нехватке памяти GPU, компьютер начинает использовать оперативную память. Всё очень медленно, но главное, что программа не падает.

[@Sound_Works]

Какой ты молодец, и какой классный видос! У меня такой же комп один в один, только корпус модный. И я очень даволен, не загружаю его сильно, занимаюсь инженерными разработками в 3д )) он отдыхает. Вот нейронками бы позмниматся но мозгов не хватает )😊

[@Motskin_AI]

Ой спасибо за такой эмоциональный комментарий 😁. Кстати, у меня полгода уже комп и я не перестаю получать от него удовольствие. Я кстати сделал ещё одну доработку - в стол поставил кулер, так как ниша для системника почти глухая. И когда обучал нейронки, то горячий воздух не успевал уходить из под стола. А сейчас с кулером в столе всё норм. И я тоже стараюсь беречь комп. Вот сейчас жара, я пока нейронки стараюсь не обучать. В общем продолжаем наслаждаться мощью! 😀

[@georgevonfloydmann1797]

Здравствуйте, разрешите поинтересоваться, почему Вы используете wsl для обучения моделей? В линуксе обучение эффективней?

[@Motskin_AI]

Наверное по следующим причинам: 1. для унификации процесса обучения на локальном компьютере, сервере и облаке. В 2-х последних случаях это точно Linux. 2. Эксперименты показали, что на базовых настройках компьютера взаимодействие с изображениями через WSL осуществляется быстрее чем на нативном Виндовс. Сам был удивлён, но что есть то есть. Но думаю этот вопрос можно было решить поковырявшись с настройками 3. А ещё встречаются библиотеки, для которых нет версий под windows. 4. И были проблемы с поддержкой GPU на виндовс. Вроде для TensorFlow. Не хотелось рисковать, поэтому сразу и перешёл на Ubuntu через WSL.

[@Евгений-ы9к4б]

Здравствуйте. А карточка нормально работает с torch cuda? На сайте nvidia написано что используется версия 8.9, а torch вроде не поддерживает архитектуру sm_89. Пытаюсь разобраться пока не купил.

[@Motskin_AI]

Здравствуйте. У меня сейчас используется CUDA версии 12.3. А Cudnn 8.9 (nvidia-cudnn-cu12 8.9.4.25). Всё это через WSL (как в видео). Никаких проблем не замечал.

[@Евгений-ы9к4б]

@@Motskin_AIпонял, спасибо

[@Motskin_AI]

@@Евгений-ы9к4б Пожалуйста :)

[@Евгений-ы9к4б]

Подскажите пожалуйста стоит брать материнскую плату с двумя PCI для возможности в дальнейшем установить еще одну видеокарту 4090? Если оно того стоит то посоветуйте пожалуйста материнскую плату. Вам сейчас хватает одной видеокарты?

[@Motskin_AI]

Мы сейчас с вами говорим про рабочий (личный) компьютер датасайнтиста. И 24 Гбайт самый раз! Но этот компьютер не подразумевает серверных нагрузок. Если вам нужно обучать большие датасеты, а главное тяжёлые модели, то вам и 48 Гбайт может не хватить. Тогда уже придётся раскошеливаться на H100 или A100 и это уже серверное решение и стоит очень больших денег даже по меркам бизнеса. Я использую компьютер для каких-то исследований. Вот последний пример. Попытался обучить модель EfficientNet v1 -B7. На вход подавал изображения 640 на 640 пикселей. И я смог вместиться в RTX4090 только с батчем 4 изображения, хотя на меньших моделях использую размер батча 64. Ну было бы у меня две RTX4090 или одна видеокарта с 48 Гбайтами?! Я бы смог сделать батч с 12 изображениями. Конечный результат не сильно бы отличался. Ну быстрее бы обучил сеть. Вместо 3-х часов, было бы 2 часа. Но это крайний случай. Если обучать на меньших изображениях, например 224 на 224 пикселя, то обучение может длиться 10-20 минут на одной RTX4090. В основном я обучаюсь на малых изображениях и получаю точность например 88%, но я знаю, что если обучу на 640 пикселях, то получу 94%. Поэтому быстрые эксперименты могу делать в рабочее время, а длительные поставить на ночь. А ещё вам придётся решить много косвенных вопросов, если мы говорим про рабочий компьютер. Дополнительная видеокарта RTX4090 потребует увеличения мощности блока питания на 500 Ватт. И вам придётся потратить эти деньги сразу при покупки компьютера. Во-вторых нужно продумать охлаждение. У меня при длительной 100% нагрузки одной видеокарты RTX4090 горячий воздух валит из корпуса. Внизу корпус холодный, а сверху 70 градусов, может и больше, например 76, сколько видеокарта показывает. А если вы поставите 2 видеокарты, то куда вы будете девать 900 Ватт только от видеокарт. А ведь и на процессор будет больше нагрузка. Я сейчас одну видеокарту запускаю, и то стараюсь окна открывать, чтобы лучше охлаждение было. У меня кабинет не большой и он быстро нагревается от горячего воздуха. Поэтому могу сказать, что я ни разу не пожалел что взял с одной видеокартой.

[@Евгений-ы9к4б]

@@Motskin_AI спасибо большое за ответ. Я сейчас в основном обучаю модели в google colab. Хочется уже собрать свой ПК, но знаний какие комплектующие купить у меня нет. Поэтому и куча вопросов. Думаю теперь определился, буду собирать по вашему видео. И теперь решился вопрос по второму слоту на материнской плате для видеокарты - не стоит за него переплачивать.

[@Motskin_AI]

Меня google colab как-то быстро забанил :). Бесплатная версия годится только для студентов без тяги к экспериментам. На моё видео конечно можно опираться, но учитывать нужно и ошибки в выборе комплектующих. А вообще настоятельно советую обратиться за консультацией к людям, которые занимаются сборками. Есть например стримеры, которые за 5-10$ могут взглянуть на вашу сборку и высказать своё мнение, возможно они укажут на ошибки до того как вы сами это обнаружите после покупки. Я для себя решил, что в следующий раз обязательно обращусь к двум трём консультантам, чтобы они проанализировали мою сборку.

[@Евгений-ы9к4б]

@@Motskin_AI Здравствуйте. Еще раз хочу обратиться к вам. Я все так же ни как не могу уйти от мысли собрать пк с 2 видеокартами. На сколько я понимаю есть 2 пути. Первый - купить процессор, например i9 и материнскую плату в 2 pci (до 40 т.р). В данном случае 2 видеокарты максимум будут работать в режиме pci 4.0 x8/x8, так как у процессора всего 24 линии pci. Второй вариант - купить дорогой процессор, например AMD Ryzen Threadripper Pro 5955WX в котором 128 линий pci и купить материнскую плату для него, например ASUS Pro WS WRX80E-Sage и тогда обе видеокарты будут работа в режиме pci 4.0 x16/x16. Но это все очень очень дорого. Только процессор и материнскую плату можно купить в лучшем случае за 300 т.р. Хочу понять на сколько хуже будет работать видеокарта в режиме x8 в отличии от режима x16. Нашел статьи в интернете в которых описывается что разница составляет всего 1-5 процентов. Если есть возможность проведите пожалуйста один эксперимент с обучением модели в режиме x16 и потом в режиме x8. На сколько я понял в биосе можно поменять режим pci на x8 (Дополнительно\Конфигурация встроенных устройств).

[@EugeneMenshov]

Важный момент: если вы хотите, чтобы GPU работали на полной скорости PCI-E 4.0 x16, то и плата и процессор должны поддерживать нужно количество линий PCI-E. Здесь уже нужно смотреть в сторону платформ типа AMD Threadripper \ Intel Xeon.