Finetuning Large Language Model với PEFT, LoRA - Mì AI

Chào mừng các bạn đến với kênh "Mì AI"! Trong video hôm nay, chúng ta sẽ cùng nhau khám phá một chủ đề vô cùng hấp dẫn và quan trọng trong lĩnh vực trí tuệ nhân tạo: Fine-tuning các mô hình ngôn ngữ lớn (Large Language Models) với hai kỹ thuật tiên tiến là PEFT và LoRA.
Nội dung chính:
1. Giới thiệu về Fine-tuning: Tại sao việc tinh chỉnh mô hình lại quan trọng và mang lại lợi ích gì?
2. Tìm hiểu PEFT: PEFT là gì? Cách nó hoạt động và áp dụng vào việc tinh chỉnh mô hình ngôn ngữ.
3. Khám phá LoRA: LoRA là gì? Những ưu điểm nổi bật và ứng dụng thực tiễn.
4. Thực hành Fine-tuning: Hướng dẫn chi tiết và demo trực quan cách áp dụng PEFT và LoRA vào mô hình ngôn ngữ lớn.
Ai nên xem video này?
Những bạn đang học hoặc làm việc trong lĩnh vực AI và Machine Learning.
Các nhà nghiên cứu và kỹ sư AI muốn nâng cao hiệu quả của mô hình ngôn ngữ.
Bất kỳ ai đam mê công nghệ và muốn tìm hiểu sâu hơn về các phương pháp tiên tiến trong AI.
Lợi ích khi xem video:
Hiểu rõ hơn về các kỹ thuật tinh chỉnh mô hình ngôn ngữ lớn.
Nắm bắt được cách áp dụng PEFT và LoRA vào các dự án thực tế.
Cải thiện kỹ năng và kiến thức trong lĩnh vực AI.
Hãy like, share và subscribe kênh "Mì AI" để không bỏ lỡ những video hữu ích và thú vị về trí tuệ nhân tạo nhé!
Cảm ơn các bạn đã theo dõi và hẹn gặp lại trong các video tiếp theo!
#AI #MachineLearning #LargeLanguageModel #PERT #LoRA #MìAI #FineTuning #TríTuệNhânTạo
🎯Link hữu ích: github.com/tha...
🎯Link mua áo ủng hộ Mì AI: miai.vn/mua-ao
🎯Link mua Shopee ủng hộ Mì AI: miai.vn/donate...
-------------------------------------
Xin chào các bạn, rất vui vì các bạn đã ghé thăm vlog Mì AI của tôi!
Hãy join cùng cộng đồng Mì AI nhé!
🎯🎯🎯#MìAI
Fanpage: / miaiblog
Group trao đổi, chia sẻ: / miaigroup
Website: miai.vn
KZbin: / miaiblog
------
We use "Fun Summer Pop Party Intro" - bought from audiojungle.net.
I have text and pdf license file, i can show it to proof of my purchase.

[@cresmonz]

Hello Anh, trong video Anh có đề cập video hướng dẫn dùng genimi, video đó có tiêu đề là gì vậy ạ?

À đó là 1 video anh lập trình trên colab xong Gemini nó gợi ý ấy mà!

[@buisinam5950]

sau khi train + merge thì thành con model mới, mình down file về load bằng LM studio được phải không anh?

Được lun em!

[@ZinhhZinhh]

Dạ anh ơi, sau khi train xong, em muốn làm thêm bước Reward model thì phải làm như nào ạ 🥲 em có tham khảo trên TRL HuggingFace, mà vẫn chưa hiểu cách set data cho phần Reward này.

Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!

[@thuy2001791]

Sau khi lưu lại model model.save_pretrained("models/finetune_model.pt") tokenizer.save_pretrained("models/tokenizer/") Làm sao load lại khi sử dụng

Bạn check lại link github trong phần mô tả video. Mình có up thêm 1 file load_finetune nhé!

[@davidnguyen6724]

a ơi cho em hỏi giờ em từ bên software qua mảng AI, không biết học AI thì nên học ML trước hay học LLM trước ạ cho em xin lời khuyên với ạ

Nên là ML trước em nhé.

[@davidnguyen6724]

cảm ơn a

[@xuanbinhtran1004]

rất bổ x ạ

Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!

[@nguyenthanhnhanng5662]

anh làm video inference finetuned LLM trên CPU bằng ctransformers đi anh, em có file weight adapter_model.bin nhưng không biết inference nó trên CPU(máy local GPU yếu). Cảm ơn anh đã đọc.💚💚💚

Yeah thanks em. Để a bố trí nhé!

[@hungnguyen-mp8ns]

có clip về cái này chưa anh ?

[@josephhoc9646]

Anh ơi cho em hỏi, em làm giống như trong video hướng dẫn nhưng khi lưu model thì bị thiếu mất file pytorch_model-00001-of-00002.bin là do đâu vậy ạ? Em chạy thử lại mấy lần đều gặp trường hợp này ạ

Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!

[@minhhuynguyen5014]

anh ơi anh rảnh làm video về video event retrieval, về model CLIP hay gì đó a =)))))

Yeah em. Để anh bố trí nhé!

[@learningenglish903]

Anh ơi em có 1 tập các câu hỏi và câu trả lời, em muốn build 1 chatbot cho công ty mình, em non_tech thì xem hết video này có thể làm dc ko ạ

Video này chỉ build đc phần Core em ạ. Để làm chat bot còn FE, deploy, kiến trúc…. Non tech a sợ hơi khó. Em có thể post thêm lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup để hỏi thêm info nhé!

[@dasndan1183]

Làm sao để a load lại model sau khi a lưu ở local vậy a, nó có bị sai lệch với weight lúc finetune so với lúc đã merge ko a ??

A sẽ post đoạn load lên github nhé. Link github ở phần mô tả video nhé!

[@rephimyoutube]

Em có từng thử nghiên cứu trong vài ngày và fine-tuning Gemma trên Kaggle với LoRA từ mấy bài share trên đó (em chưa học gì về LLM). Nhưng không biết người ta fine-tuning dùng vào mục đích gì nhỉ? Em cảm thấy sau khi fine-tuned xong nó cũng hay hay mà trả lời ngắn hơn ChatGPT, Gemini :))

Anh ví dụ 1 vài case cần fine tune: - Một là trong môi trường quá nhiều từ chuyên ngành mà model hiểu sai. Ví dụ FTP thì model toàn dịch ra là File Transfer Protocol trong khi ở bank nó là Fund Transfer Pricing chẳng hạn hehe. - Hai là khi ta muốn nó trả lời theo một văn phong đặc thù của ai đó chẳng hạn. Blah blah

[@anhtunguyen2207]

Vì model LLM thường sẽ học rất rộng nhưng mà không quá sâu về một lĩnh vực gì. Để tăng độ chính xác cho LLM trả lời trong một lĩnh vực nào đó thì phải cung cấp thêm thông tin cho nó mỗi khi hỏi (RAG) hoặc là mình sẽ tinh chỉnh lại thông số của nó một chút (fine-tuning) để mô hình rõ hơn về bài toán mình cần giải quyết. Ví dụ mô hình ngôn ngữ pre-trained có thể dùng để phân loại văn bản (theo cảm xúc, độ khó, ngôn ngữ...) nhưng nếu dùng trực tiếp mô hình mã nguồn mở có sẵn sẽ thì chất lượng phân loại sẽ hơi kém. Để mô hình phân loại được chuyên nghiệp hơn, tức là chính xác hơn thì mô hình cần tiếp xúc nhiều hơn với cụ thể một bài toán được nhiều lần, việc fine-tuning chính là bạn đang cho mô hình ngôn ngữ luyện tập cho quen tay phân loại văn bản theo tiêu chí của bạn. Việc này như con người chúng ta làm được rất nhiều thứ, nhưng trước khi làm project gì đó phải học thêm skill này nọ cho phù hợp requirement của project để làm được ngon lành hơn.

[@nguyentienat758]

cho em hỏi có cách nào fix out of memory khi train bằng colab kh anh em thử thuê gpu rtx3090 trên web chạy vẫn bị mong anh giúp đỡ

Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!

[@nguyentienat758]

em có post mà không thấy ai duyệt ạ :(

[@learningenglish903]

Anh ơi tại phút 20 tại sao hàm load_dataset nó tự động load data từ huggingface ạ? Em tưởng phải download data và add cục bộ vào colab ạ Với lại anh tải model về colab lúc nào sao anh đã dùng được rồi. Em ko hiểu đoạn đó

À đó là do lệnh đó nó sẵn thế em. Nếu em chỉ vào local file nó sẽ load local, còn ko sẽ load từ mạng về.

[@learningenglish903]

vậy còn model ạ, anh tải model llma2 từ meta về colab lúc nào vậy ạ, em ko hiểu

Nó cũng tự động load về tử web khi mình dùng HuggingFace em ạ! Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!

[@ĐạtNguyễnVăn-z7m]

Source code này có public không anh =)))

Trong phần mô tả video đó em kaaka

[@hoanglongle5926]

Hình như phải là PEFT

Chuẩn bạn. Sorry mình typing nhầm. Mình sẽ sửa ngay. Cảm ơn bạn nhé. Trên cái hình cũng là PEFT mà mình ko để ý huhu