Бесплатный тензорный процессор Google в облаке | Нейросети в Google Colab

[@MrScalleta]

Андрей продолжай пожалуйста свои такие бесплатные видео! Ты единственный нормальный человек в этой теме! СПАСИБО ТЕБЕ ОГРОМНОЕ!

[@AndreySozykin]

Пожалуйста!

[@romanzakharov6344]

Спасибо за очередной замечательный урок!)

[@voronov_ad]

Спасибо! Я как раз пишу исследование LSTM модели и мне не хватает GPU. Огромное спасибо!

[@voronov_ad]

Вопрос, как много данных можно загрузить в runtime блокнот?

[@AndreySozykin]

GPU на Colaboratory тоже есть :-)

[@AndreySozykin]

Вот, что выдала команда !df -h: Filesystem Size Used Avail Use% Mounted on overlay 40G 7.6G 30G 21% / tmpfs 6.4G 0 6.4G 0% /dev tmpfs 6.4G 0 6.4G 0% /sys/fs/cgroup tmpfs 6.4G 4.0K 6.4G 1% /var/colab /dev/sda1 46G 9.0G 37G 20% /etc/hosts shm 64M 0 64M 0% /dev/shm tmpfs 6.4G 0 6.4G 0% /sys/firmware Скорее всего, можно загрузить примерно 30ГБ.

[@voronov_ad]

@@AndreySozykin спасибо, этого должно хватить, думаю самое логичное будет разместить данные на Гугл диске и через АПИ их выгрузить в runtime. Ещё вопрос, а будут ли ещё видео про NLP или рекуррентные сети?

[@AndreySozykin]

Про NLP будет примерно через месяц. Там будет про LSTM и одномерные сверточные сети.

[@MrVeskin]

Андрей, большое спасибо за интересный материал! На colab в данный момент по умолчанию устанавливается tf версии 2.2.0. Запуск из Вашего ноутбука приводит к выводу сообщений об ошибках. Я исправил часть скрипта по созданию модели и запуску обучения на следующие: # Модель: tpu = tf.distribute.cluster_resolver.TPUClusterResolver() print('Running on TPU ', tpu.cluster_spec().as_dict()['worker']) tf.config.experimental_connect_to_cluster(tpu) tf.tpu.experimental.initialize_tpu_system(tpu) strategy = tf.distribute.experimental.TPUStrategy(tpu) print("REPLICAS: ", strategy.num_replicas_in_sync) with strategy.scope(): tpu_model = create_model() tpu_model.compile( optimizer=tf.keras.optimizers.Adam(1e-3), loss=tf.keras.losses.sparse_categorical_crossentropy, metrics=[tf.keras.metrics.sparse_categorical_accuracy]) # Обучение history = tpu_model.fit(x_train.astype(np.float32), y_train.astype(np.float32), batch_size=256*8, epochs=50, verbose=2) # Проверка качества обучения scores = tpu_model.evaluate(x_test.astype(np.float32), y_test.astype(np.float32), verbose=0, batch_size=256 * 8) Сейчас одна эпоха обучения, при использовании указанных выше кусков кода, длится меньше 1 секунды. Сеть распознает картинки с точностью 82%.

[@ruslansergeev4061]

Классный обзор, спасибо большое )

[@MrRONE777]

Я пока нуб, хочу узнать - современные dnn, как тот те же Midjorney также работает - у него подобная логика алгоритма?

[@tato_good]

Молодец! Тебя смотрят в Нью Йорке программисты из Уолл Стрит! Спасибо большое!

[@AndreySozykin]

Спасибо за приятный отзыв!

[@Dalavir]

Красота

[@AndreySozykin]

Спасибо!

[@НиколайКоротков-ъ7с]

Отличное видео. Спасибо!!! Есть вопрос: возможно ли на тензорном процессоре google получить модель Хаара в формате CPU для распознавания в OpenCV?

[@AndreySozykin]

Модель Хаара вроде бы на CPU достаточно быстро обучается. Вряд ли такой моделью получится полностью загрузить TPU.

[@НиколайКоротков-ъ7с]

@@AndreySozykin Как сказать, 4 ядра работали 4 часа для обучения по выборке в 1500 хороших изображений и 1000 плохих.

[@voronov_ad]

@@НиколайКоротков-ъ7с попробуй скомпелировать tensorflow, через cmake, чтобы активировать дополнительные инструкции процессора. На офф сайте сайте есть документация по установке из исходников.

[@НиколайКоротков-ъ7с]

@@voronov_ad, я делаю не через tensorflow а через opencv_traincascade. Но если использовать каскад LBP то он в разы быстрее создаётся, где-то 30 минут. Вопрос всё же остался: можно ли получить каскад HAAR или LPB через TPU и при этом использовать результат на CPU в OpenCV?

[@AndreySozykin]

Я не знаю, как запустить на TPU что-нибудь не через TensorFlow.

[@evgenyzavarygin3690]

"Копия обучается на 1/8 части данных от мини-выборки." Как в итоге происходит усреднение этих 8 копий? Правильно я понимаю, что результат обучения сети на одной мини-выборке будет немного разным при запуске на TPU и CPU/GPU из-за этого разделения мини-выборки на 8 частей в TPU?

[@AndreySozykin]

Да, как и при любом распараллеливании.

[@evgenyzavarygin3690]

@@AndreySozykin Спасибо за ответ. Вот нашёл про усреднение, вдруг кому будет интересно: cloud.google.com/tpu/docs/troubleshooting#data-parallelism

[@AndreySozykin]

Спасибо!

[@evgeniys7247]

Спасибо, очень интересный материал, однако(по крайней мере на этой сетке) выигрыш в производительности очень сомнительный: TPU : INFO:tensorflow:Finished compiling. Time elapsed: 2.1341052055358887 secs - 18s - loss: 2.4682 - sparse_categorical_accuracy: 0.1526 Epoch 2/50 - 6s - loss: 1.9581 - sparse_categorical_accuracy: 0.2788 Epoch 3/50 - 6s - loss: 1.6618 - sparse_categorical_accuracy: 0.3861 Epoch 4/50 - 6s - loss: 1.5133 - sparse_categorical_accuracy: 0.4448 Epoch 5/50 - 6s - loss: 1.4070 - sparse_categorical_accuracy: 0.4834 GPU: Epoch 1/50 - 14s - loss: 2.4006 - sparse_categorical_accuracy: 0.1759 Epoch 2/50 - 7s - loss: 1.8558 - sparse_categorical_accuracy: 0.3266 Epoch 3/50 - 7s - loss: 1.5831 - sparse_categorical_accuracy: 0.4223 Epoch 4/50

[@AndreySozykin]

Да, этот набор данных слишком маленький, чтобы полностью загрузить TPU.

[@MrShrrgn]

@@AndreySozykin Я не совсем понимаю, что вы хотите этим сказать. Можете объяснить?

[@sergeynovikov9607]

Правильно я понимаю, что в Colaboratory можно использовать только предустановленные библиотеки, а установить новые нет возможности. Например DLIB (для одного из Ваших предыдущих примеров)?

[@AndreySozykin]

Дополнительные библиотеки можно устанавливать с помощью команд операционной системы, перед которыми нужно писать знак восклицания. Например: !pip install kaggle-api

[@me2beats313]

Все замечательно устанавливается, клонируется с гитхаба, копируется с Гугл драйв и тд. У меня комп был в ремонте, так я Гугл колаб с планшета юзаю и все нормально

[@EastonAVK]

Вот лайк, просто за то, что говоря на русском, вы произности английские слова в русской фонетической артикуляционной системе, это граммотно. И приятно на слух. ЛАЙК.

[@me2beats313]

Отличное видео, стало гораздо более понятно про tpu в Google colab. Можете подсказать, как исправить ошибку? import tensorflow as tf from layers import (_causal_linear, _output_linear, conv1d, dilated_conv1d) Пишет нет модуля layers. Запускаю Google colab в пустом проекте, python3 GPU

[@AndreySozykin]

Модуль layers из TensorFlow? Тогда нужно импортировать from tf.layers

[@me2beats313]

@@AndreySozykin тогда пишет нет модуля tf

[@me2beats313]

@@AndreySozykin если написать from tensorflow.layers import (_causal_linear, _output_linear, conv1d, dilated_conv1d) То пишет cannot import name '_causal_linear' Вот источник кода raw.githubusercontent.com/tomlepaine/fast-wavenet/master/wavenet/models.py (3-я и 4-я строки)

[@me2beats313]

А вот сам репозиторий github.com/tomlepaine/fast-wavenet/ в issues никто не писал об этой проблеме, может конфликт версий tensorflow? У репозитория 1000 с лишним звезд, думаю столько не поставили бы, если бы код был нерабочий По идее эта нейросеть должна генерировать аудио звуки)

[@me2beats313]

@@AndreySozykin нашел решение! этот модуль layers имеется в репозитории. Не знаю почему сначала не обратил на него внимание. код будет работать, если после клонирования репозитория перейти в папку wavenet А дальше делать всё как в демо ipynb файле, но в путях удалять "wavenet/"

[@kuqmua755]

а где можно посмотреть по-подробнее про архитектуру TPU?

[@AndreySozykin]

Например, здесь - m.habr.com/post/422317/

[@kuqmua755]

@@AndreySozykin спасибо

[@welaury]

Гугл не продает их, только предоставляет мощности?

[@AndreySozykin]

Насколько я понимаю, да. Но глубоко не разбирался.

[@voronov_ad]

Они ещё развивают технологию TPU, для них это как бесплатное открытое тестирование. Ещё важно заметить, что collaborate предупреждает, при закрытии страницы с runtime, что все данные, что загружены, будут стёрты. А это значит, что у них довольно высокая оптимизация и выделено только определенное кол-во ресурсов. Так что надо пользоваться, пока дают)

[@AndreySozykin]

На самом деле данные стираются не при закрытии ноутбука, а при простое виртуальной машины. Можно закрыть ноутбук и сразу же открыть снова, тогда данные будут на месте.