[Mì ÚP] Hướng dẫn tất tần tật về train model bằng Google Colab - Mì AI

[@duyatnguyen2136]

Em xin phép bổ sung thêm tiện ích cho các bạn dùng Colab. 1. Mount google drive 2. Copy các data, file (dạng file rar) cần vào thư mục colab, nằm trong "/content" vì nếu data bạn tầm vài ngàn file trở lên thì colab load file từ google drive rất lâu. 3. Giải nén các file vào thư mục tương ứng. 4. Tiến hành train, save model .... y như trên desktop 5. Nén các file cần rồi lưu vào google drive.

Thanks em kaka!

[@huynhphanxuan5276]

làm sao giải nén v ạ

[@duyatnguyen2136]

@@huynhphanxuan5276 tùy định dạng file .rar .zip or .7z ... bạn có thể google câu lệnh linux tương ứng để giải nén. Ví hệ điều hành chạy colab là debian or ubuntu

[@nhancao5553]

@@huynhphanxuan5276bạn dùng lệnh unzip thử

[@buison1910-s]

cảm ơn a nhé. nhờ có bài của a mà e đã hoàn thành đồ án một cách mĩ mãn ạ. chúc a nhiều sức khoẻ ạ

Hihi vui quá. Nghe em nói mà anh cảm thấy có nhiều động lực để ra nhiều video hơn nữa! Cảm ơn em!

[@vuchithanh]

Chào bạn nhé. Vô tình xem được video của bạn hướng dẫn chi tiết thích quá, bạn am hiểu rất sâu và rất kiến thúc. Mình đã xem và học rất nhiều video chủ đề hướng dẫn như này trên yt nhưng không làm theo được khi xem hướng dẫn của bạn mình học đường tuần tự vài bước rất thích. Mong bạn rảnh hướng dẫn chi tiết học giọng nói bạn nhé vì nhiều video hướng dẫn sơ sài và mình không học được. Cám ơn bạn chúc bạn khỏe và may mắn

Cảm ơn bạn nhé. Comment của bạn mang lại cho mình rất nhiều động lực. Mình sẽ cố gắng ra nhiều video chất lượng hơn nhé!

[@hungvutrong278]

video rất hay, cảm ơn a rất rất nhiều ạ. video giúp em hiểu rõ các bước để hoàn thiện bài tập môn học

Yeah. Rất vui vì giúp được em . Cần thêm gì em cứ post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup nhé!

Hôm nay chúng ta sẽ cùng nhau tìm hiểu về cách train model trên Colab nhé. Bao gồm các thông tin: - Colab là gì? - Train ra sao cho hiệu quả? - Cách liên kết với Drive để tránh bị xoá trắng sau 12h - Cách chống tràn bộ nhớ ở client Xin chào các bạn, rất vui vì các bạn đã ghé thăm vlog Mì AI của tôi! Hãy join cùng cộng đồng Mì AI nhé! 🎯🎯🎯#MìAI Fanpage: facebook.com/miaiblog Group trao đổi, chia sẻ: facebook.com/groups/miaig... Website: miai.vn KZbin: kzbin.info

[@duyatnguyen2136]

Cảm ơn anh rất nhiều. Để nội dung dễ theo dõi hơn, anh có thể bổ sung chức năng timestep vào phần mô tả của Video.

Có em. Đêm qua up xong gần 12h đêm nên anh ngủ đã. Sáng nay dậy Edit kaka

[@chubii1949]

E học kinh tế lượng phải dùng cái này hic

[@abcdasa1830]

cảm ơn anh rất dễ hiểu ạ

Yeah rất vui giúp được em

[@cuongphanthietvlog5292]

thông tin rất bổ ích , cảm ơn anh đã chia sẽ, chúc anh sức khoẻ

Cảm ơn em đã ủng hộ nhé. Mong em tiếp tục ủng hộ các clip mới ra.

[@nguyenquoctuan8910]

Cảm ơn anh đã chia sẻ

Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!

[@flyens]

video hay quá, em cảm ơn anh nhiều ạ

Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!

[@chothuetrotphcm3191]

a ơi , a có thể làm 1 video về lộ trình bắt đầu học AI không , và lộ trình các hướng đi luôn , e năm nhất muốn bk cảm ơn a

Cái này thì anh lại không dám múa rìu qua mắt thợ vì anh cũng ở dạng học lỏm, ko được đào tạo bài bản. Hic!

[@tvtcrochet3957]

That may man vi da biet den clip nay

Yeah. Cảm ơn bạn rất nhiều đã ủng hộ. Mình rất vui vì giúp được bạn. Cần thêm gì bạn post lên facebook.com/groups/miaigroup nha!

[@vuongng7145]

Yêu anh

THanks em kaka :D

[@tamoan7458]

Cảm ơn anh

Yeah em. Welcome em nha!

[@huynhminhtantien9508]

Anh ơi cho em hỏi, nếu em train ra được 1 model trên gg collab thì làm sao để triển khai nó lên phía server

Em tải file weight về sau đó deploy lên server của em. Server của em dạng gì. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi thêm cho tiện nhé!

[@TuanNguyen-gv1dm]

cho e hỏi epochs là dùng để làm gì ạ?

Em tham khảo nhé: viblo.asia/p/epoch-batch-size-va-iterations-maGK7Gw9Kj2

[@nguyenhongthai2970]

anh ơi, có nên đầu tư mua con mac chip M1 + colab để train ko a? hình như VS code chưa được hỗ trợ trên con chip này

Ớ đay là 2 vấn đề khác nhau nhé. Dù em dùng máy gì thì Colab nó vẫn thế, nó ko phụ thuộc vào máy M1 hay là máy thường đâu. Còn việc đầu tư M1 bây giờ thì theo anh là chưa cần, vì 2 lý do: - Thứ nhất là nó chưa tương thích nhiều tool dev - Thứ hai là vì clip này: kzbin.info/www/bejne/jIC7m6CmZp2dhKc

[@nguyenhongthai2970]

@ e cảm ơn a nhiều, hiện giờ e đang muốn mua 1 máy tính để học DL, theo a thì nên mua mac, mac pro hay build máy cây có GPU ạ?

@@nguyenhongthai2970 Cái này hoàn toàn theo kinh nghiệm của anh thôi nhé (có thể đúng, có thể sai). Tùy nhu cầu của em, em cần mang đi mang lại thì xài laptop, ko thì dùng máy case cho ngon. Về hệ điều hành thì em nên dùng Ubuntu có GPU cho sướng.

[@nguyenhongthai2970]

@ dạ, cảm ơn a nhieeuf

[@manchausa6261]

Anh ơi cho em hỏi là giờ em muốn import 1 file trong thư mục để trainning thì làm kiểu gì ạ? (ko dùng gg colab) Em thử cop link nó vẫn hiện là ko tìm thấy file

Bạn post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh xem nhé!

[@1000trilliondollars]

liệu bây giờ có thể trainning 1 con Ai trợ lý giúp mik làm một số việc đơn giản trên máy tính như thống kê , sắp xếp , copy past được ko nhỉ ?

Về cơ bản là được bạn. Tuy nhiên bạn cần làm rõ nó làm những gì. Tiếp nhận lệnh qua phương thức gì.

[@xuandung6445]

em sd colab để tập train model 1 thời gian vào buổi chiều đến tối vào lại connect thì nó báo "Bạn hiện không thể kết nối với một GPU do hạn mức sử dụng trong Colab" thì làm ntn ạ

À colab nó giới hạn đó. Bạn đổi acc Google mới hoặc đợi sang ngày hôm sau nhé!

[@moonblue1100]

Dạ anh ơi em dùng colab mà bị ngắt gpu thì nếu em muốn kết nối gpu thì phải dùng mail khác hả anh? Em cảm ơn ạ

Email và IP khác nữa em ạ. Cho chắc!

[@moonblue1100]

@ Dạ em cảm ơn ạ

[@tamao1473]

Nhìn ảnh quen ghê, ko biết có phải gặp ở TMA ko

[@quangduynguyen8166]

anh ơi cái căn dòng thẳng như kia setup kiểu gì vậy ạ

Anh không hiểu ý em?

[@thanhphongnguyen90]

Không có làm trong Sài Gòn hả anh. có livestream lại ko anh

Sài Gòn hẹn mùa sau nhé em. Có live stream. Em vào facebook.com/groups/miaigroup để cập nhật thông tin nhé!

[@tranchienthanh6163]

anh ơi, em train colab nó báo "You cannot currently connect to a gpu due to usage limits in colab". Khi nào em mới train tiếp được nữa vậy anh.

Em đợi qua ngày hoặc là chuyển sang gmail và IP khác nhé.

[@nhutminh1552]

cho em hỏi cái giao diện ở phút 34 thầy dùng là gì vậy?

Ủa ko thấy có giao diện nào ở phút 34z

[@manhthintran1000]

dạ chào a. em đang gặp vấn đề là cứ mỗi epoch complete thì nó lại xuất ra một cái output. nếu train 1 -2 epoch thì không sao, nhưng nếu train tận vài chục hay vài trăm epoch thì disk k có chỗ chứa. có cách nào khác phục không a ? mặc dù trong phần config e đã chỉnh model_save = false rồi. A chỉ e cách khắc phục với a! thanks sir.

Cái này bạn có thể cài auto click để clear output nhé!

[@phunuhiendai1155]

Thank you!!!

Welcome you!

[@agendavietnam]

a ơi cho e xin file code bài nhận diện chó mèo này được k ạ. E tìm trên website không thấy ạ

Ah bài này đơn giản nên em typing theo code trong bài nha. Anh lại ko lưu rồi :( #MìAI Fanpage: facebook.com/miaiblog Group trao đổi, chia sẻ: facebook.com/groups/miaigroup Blog: miai.vn KZbin: kzbin.info

[@ovantu4709]

Anh ơi, cho em hỏi, em đang làm bài mà nó k cho kết nối GPU do giới hạn định mức gì ấy ạ, a cho em hỏi là bao giờ mình có thể sử dụng lại ạ. E cảm ơn anh

Hiện Colab đang giới hạn tầm 3 tiếng sau đó mở ra em ạ

[@khainguyen3377]

A ơi cho e hỏi mình lưu model file h5 xog lúc train tiếp thì gọi nó ra kiểu gì ạ em cảm ơn

Em dùng hàm load_model của Keras. Em post lên facebook.com/groups/miaigroup trao đổi cho tiện nha!

[@nguyenvantan5591]

Colab Pro chỉ có thể mua ở US vs CAD thôi à, bản free lúc train thì lâu lâu bị disconnect, có đợt kia mình train 200epochs thì đến epoch 195 thì disconnect :))))

THanks bạn mình đã nói điều đó trong bài :D

[@TuanNguyen-gv1dm]

epochs là gì vậy ạ

[@thanhannguyen621]

Khi mình muốn load lại model thì dùng gì v anh ?

Load lại model với Keras thì cư dùng hàm load_model thôi em. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!

[@themanagerofintercontinent8909]

anh có thể cho em xin code test dc ko ạ

Em vào phần mô tả video nhé. Nếu ko có thì anh ko lưu lại rồi :(

[@HiepTran-hz6cs]

Upload file lên gg colab thì lm ntn ạ

Em up lên Gdrive rồi link sang hoặc kéo thẳng vào Colab. Cần chi tiết em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!

[@nhutminh1552]

thầy ơi, sao colab dùng cv2 để đọc ảnh ko đc vậy thầy

Nó lỗi gì em post lên Group: facebook.com/groups/miaigroup cho tiện nhé!

[@quocbaohuynhnhat8699]

có thể cho em xin source code không ạ

Bài này anh train ví dụ nên không còn lưu rồi. Em post cụ thể lên facebook.com/groups/miaigroup cho tiện trao đổi nhé!

[@Tb.ManhVu]

Rất hy vọng bạn giúp mình vấn đề này, cảm ơn bạn rất nhiều hic - Bối cảnh: Mình train âm thanh và file checkpoint là đuôi .pth trong đó mục tiêu của mình là Voice cloning. - Vấn đề: Mình đặt file config.json là epochs = 500, trong quá trình train do colab nó không cho dùng GPU nữa nên mình bị disconnect phiên đó và lúc này mới train được 200 epochs. File checkpoint đã auto save sang drive. - Câu hỏi: Vậy vẫn là lượng input dataset đó, làm sao để gọi file checkpoint đã lưu ra và thực hiện train tiếp từ 200epochs (dang dở lần trước) lên full 500epochs vậy. - Mong muốn 1: mình sẽ dùng file checkpoint để sử dụng lại cho việc Voice cloning nên cách làm đó (train nối tiếp) không được khiến file checkpoint bị lỗi khi Voice cloning.

Bạn post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé. Chat riêng chỉ 2 người biết nhưng post lên sẽ giúp đời bằng cách tạo ra kho tàng kiến thức cho các bạn đi sau. Cảm ơn bạn!

[@chinhduongv2307]

Anh có thể cho xin code của bài này được ko ạ ? Em cảm ơn anh

[@chinhduongv2307]

Sao bài này không thấy trên web vậy bạn

Bài này anh làm sample thôi. Em cần train món gì!

[@chinhduongv2307]

@ e đang train về biển báo giao thông ấy anh :))

@@chinhduongv2307 Thế em lên Mì Ai search chữ biển báo là ra 2 bài haha

[@Meoconmun]

Míu hiểu gì cả😂😂😂

Bạn chưa hiểu phần nào post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!

[@vncoolestguy]

Nếu mà train 12 tiếng chưa xong nó ngưng thì sao bạn?

Thì mình lưu weight lại. Trong clip mình có nói đó!

[@xuanhuynguyen3003]

Cảm ơn anh,

Welcome e! Fanpage: facebook.com/miaiblog Group: facebook.com/groups/miaigroup Website: miai.vn KZbin: bit.ly/miaiyoutube

[@luckyboy-ih5hd]

Cảm ơn anh.

Yeah không có gì em. Welcome em nha!