Hướng dẫn chạy AI LLM miễn phí, offline trên PC, cả Windows / Mac đều dùng tốt

[@HaiLeQuang]

Nhìn quả bàn làm việc với 4 con laptop xịn đã vãi. Ước j đc như anh ấy

[@HuyPham-cg3dv]

quá tiện anh ơi anh cảm ơn anh chia sẽ những công nghệ hữu dụng cho việc học và đi làm của dev newbe như em 🥰🥰🥰🥰🥰🥰

[@batboyboy]

còn này mà chạy dạng server xong mình kết nối app riêng thì tuyệt

[@Orion-TG]

Cám ơn anh về những kiến thức mà anh chia sẻ trong video, có một lưu ý là LLM Studio chỉ hỗ trợ cho dòng M1 trở về sau, hơi buồn xíu vì em đang dùng MBP 2019

[@BuilderTV]

CẢM ƠN Duy Luân

[@quyenngo7254]

Thank you Anh rất nhiều!

[@huyhandes]

So về chất lượng/dung lượng thì Q5_K_M đạt chất lượng tốt hơn hẳn các model kia

[@batboyboy]

ăn cấu hinhf cao ko ạ?

[@ngohoang5977]

Em cảm ơn anh Luân đã chia sẽ, anh có thể ra tương tự phát triển chạy thử model trên điện thoại được ko ạ? Em thấy điện thoại bây h cũng có nhân NPU khá thích hợp để làm project nhỏ ạ 🎉

[@duyluandethuong]

Maấy cái trên điện thoại thì nhiều app đã làm từ lâu rồi bạn hehe

[@minhthanhnguyen3268]

@@duyluandethuong hôm nào bạn làm video hướng dẫn xây dựng server từ LMStudio này và 1 client nhỏ kết nối với LM Studio server này được không :D

[@duyluandethuong]

@@minhthanhnguyen3268 này bạn xài VS code plugin như Continue gắn vô là xong rồi á, không cần làm gì phức tạp đâu

[@ntcz2242]

quá tuyệt vời anh ơi

[@annguyentrong5043]

Cám ơn anh đã giới thiệu

[@BiBeeFun]

Rat hay. Cam on!

[@FaiWongJeng]

a Luân cho e hỏi có model nào có thể upload file lên để đọc và phân tích không a

[@duyluandethuong]

Chatgpt plus nha bạn

[@t_huystock]

A Luân edit với quay màn hình bằng phần mềm gì v, hay quá

[@NghichDuThu]

Có cách nào tải model AI về sau đó chuyển toàn bộ vào máy offline sau đó dạy dữ liệu cho model đó không bạn. vì mình cần tính bảo mật.

[@lanpncz]

Bạn đang xem đúng clip hướng dẫn rồi đó.

[@nguyenvanha5899]

hay quá, thánks e

[@IDOLSKPOP68]

Luân cho mình hỏi card 1080ti vs 4g vram dùng được modem nào tốt để viết tiểu thuyết vậy ak

[@ThanhNguyen-jx2wl]

anh ơi học code thì nên dùng dịch vụ ai như chat gpt hay chạy như model a hướng dẫn thì tốt hơn ạ?

[@nguyenminhquan0112]

Dạ a Duy Luân ơi cho em hỏi , e đang xài Pro M2 13" thì có tải model Vistral giống anh để xài thì họ yêu cầu MacOS 13.6 or later thì phải update MacOS lên mới sử dụng được ạ?. Với cho em hỏi có thông tin nào để research các model để sử dụng trong LM Studio không. Em cảm ơn anh ạ

[@duyluandethuong]

Vụ macos thì cứ phải theo thôi, còn model thì nó có tên và model nền nếu có nên bạn cần thì search thêm về nó nha

[@nguyenminhquan0112]

@@duyluandethuong Vâng e cảm ơn thông tin của a ạ

[@tamannguyen2565]

Mình cũng bị, mình ở Macos monterey 12.6, vừa nâng cấp lên 14.3 xong. Tính giữ zin os máy mà giờ phải phá zin thôi kkk

[@anh2mc]

Ủa anh có phần mềm ai nào dùng máy mình để tạo ảnh không ạ

[@DuongTran-ij4fr]

Cấu hình nào tối thiểu tiền nhất để chạy đc bạn?

[@nghiatran1509]

Xin hỏi laptop chạy model AI thì card RTX 4090 hay card RTX™ 5000 Ada Generation Laptop GPU 16GB GDDR6 card nào tốt hơn ? Xin cám ơn.

[@jutom3711]

model này có thể jailbreak để trả lời những câu hỏi ví dụ cách truy cập wifi người khác ko ?

[@MsZoozee]

Luân cho hỏi xíu là có cần phải xài card ndivia không? Hay card amd cũng chạy được?

[@duyluandethuong]

Amd cũng được bạn, mà amd đang beta

[@sinhnguyentruong9553]

Cảm ơn Duy Luân và Video chia sẻ của bạn. Cho mình hỏi thêm, có thể thêm bổ xung thêm thông tin Private cho Model đang sử dụng ko ?

[@duyluandethuong]

Bạn phải tự fine tune model, rồi chuyển nó thành dạng GGUF thì sẽ dùng được nha. Fine tune thì phải làm riêng, trong phần mềm này không hỗ trợ

[@AIAlone86]

có model nào giống với gpt không bạn. mình hỏi nó bảo dịch qua tiếng anh nhưng nó không dịch được. Mình dùng model Vistra-7B mà thấy nó trả lời không đúng với ý đồ của mình

[@nghiatran1509]

Xin hỏi dung lượjng VRAM trên RTX có tương ứng với số lượng tham số mà model có thể chạy hay không ? Ví dụ 8 Gb VRAM tương ứng với 7B, 16Gb VRAM tương ứng với 13B, 128 Gb VRAM tương ứng với 128 B tỷ tham số của model ? Xin cám ơn

[@nghiatran1509]

Xin hỏi model LLM nào chuyên phân tích số liệu trên báo cáo tài chính của các công ty trên thị trường chứng khoán? Xin cảm ơn

[@GodPlayer-Diva]

Anh cho hỏi là nếu dùng GPT Plus, khi hết tháng thì mấy con custom GPT được mình tạo ra có tiếp tục sử dụng được không hay phải trả phí mới xài tiếp được ạ. Mong anh phần hồi.

[@NamHaVblog]

anh Luân giới thiệu cho model để phân tích dữ liệu kế toán

[@monola244]

nếu muốn chuyển văn bản thành ảnh thì tìm kiếm 1 con model có khả năng đó đúng không anh , nếu anh biết có con nào có khả năng đó thì chỉ em với ạ

[@angNguyen-cg8gk]

cho em hỏi có model nào chạy đc trên llm studio mà gen được image không ạ

[@mohhamad_alikute]

Cho em hỏi các model này lấy data ở đâu để trả lời câu hỏi của mình nếu chạy offline ạ? Nào giờ em cứ nghĩ là model sẽ lấy data từ internet để kết xuất ra kết quả. :(

[@neovh34]

LM Studio không support Mac chip Intel. A có gợi ý phần mềm nào tương tự k a?

[@tractran1426]

Bạn ơi, Model giúp viết tiểu thuyết là gì ạ?

[@tuandac90]

apple intel không xài được hả Luân ơi

[@nghiatran1509]

MacBook Pro 16 inch M3 Max 128GB RAM có chạy được model có độ lớn gần bằng 128GB RAM không bạn ? Xin cám ơn.

[@thongle4590]

Em tải về mà k thể cài đặt bấm vào vài cđặt thì nó chạy vô trình soạn ln ạ

[@mahanminhnhat]

Cảm ơn bạn, tuy nhiên khi mình cái LMStudio trên windows 10 , khi bấm load model thì báo lỗi Failed to load the model Attempt to pull a snapshot of system resources failed. Error: 'Cannot read properties of undefined (reading 'pullReport')' . Bạn có kinh nghiệm hỗ trợ với.

[@onlinekhoahoc9350]

Có model nào dùng để vẽ hình giống Chat GPT không ạ?

[@LittleStory88]

có cái nào vẽ được ko ạ

[@duongkechuyen1999]

Chào anh Duy, anh có cách nào tuỳ biến một con AI học tập bằng cách up cho AI nó các câu hỏi và đáp án trong file PDF. Rất mong anh giải đáp khắc mắc của em, em đang muốn một con AI tối ưu quá việc học tập cho riêng em 😢😅

[@duyluandethuong]

Dùng GPT Plus, bạn tự tạo Custom GPT, rồi upload các file PDF lên để hỏi nó là được nha

[@huytran2213]

@@duyluandethuong nếu mình dùng local trên như video thì sao a ? Fine-tune lại hả a ?

[@duongkechuyen1999]

@@duyluandethuong cảm ơn anh Duy nha

[@kaidev0711]

@@huytran2213 ollama hình như có á bác

[@phamhoanganh7272]

Mac air m2 dùng đc ko b

[@HiepTran-tv1hh]

Chạy kiểu này có bị giới hạn số lượng từ như chatGPT hoặc Google Gemi không anh ?

[@Pogn3855]

Anh Duy ơi làm sao để em sử dụng điện thoại android có thể xuất màn lên máy mac ạ mong anh trl

[@quochoandkh]

Có con nào thông minh ngang chatgpt 3.5 k ad ơi

[@duyluandethuong]

Không bạn ơi, có thì cũng không chạy nổi tteen máy cá nhân nhe

[@vphuong2338]

A Luân cho e hỏi. Có thể setting như API để app call không. Hay chỉ type trên app LM studio thôi a

[@duyluandethuong]

Được nha bạn, nó cần phần chạy local server luôn

[@cookieman.19]

Nếu có internet thì dữ liệu được trao đổi theo client, server. Còn nếu chạy offline (không có internet) thì nó lấy dữ liệu ở đâu vậy anh Luân, em chưa hình dung ra được nó nén dữ liệu kiểu gì mà có thể chạy ở local 😨

[@duyluandethuong]

nó chỉ đơn giản là serve cái model đó ra cho giao diện sử dụng thui bạn, cũng y như client, server. Server thực chất nó cũng server model đó ra dạng API để web xài

[@LUONGTHITHUKIM]

sao em cài LM Studio báo lỗi javascript a có hướng giải quyết không anh.

[@MaythaoprosLethiej]

Chào anh Luân! Laptop của mình nó bị gì mà hay bị mất hình ảnh mình cài vô để làm lịch và hay bị treo máy

[@nhantrannguyenle5532]

mình đang xài M2 pro 12CPU-19GPU 32GB ram, số lượng tokens gen ra /s gần 15tokens, mình có thể tối ưu tốc độ hơn được không ạ? mình cảm ơn

[@huybach1842]

Vì sao tiện lợi vậy mà nó miễn phí nhỉ ? Cảm thấy hơi vô lí

[@boquangdong]

fine turn cho toàn bộ data từ document nào đó đc ko anh?

[@duyluandethuong]

nếu tìm thông tin trong document thì dùng RAG chứ đừng fine tune nha

[@banhat5172]

Có model nào hỗ trợ generate image không nhỉ

[@duyluandethuong]

Stable Diffusion nha baạn, nhưng trong LM Studio hình như chưa hỗ trợ đâu

[@vietanhnguyen1146]

anh ơi, mình tự lựa dữ liệu, tự train model của riêng mình, anh nghĩ nó có khả thi không ạ 😗 em đang tính train để viết bài tối ưu SEO

[@duyluandethuong]

Bạn phải tự fine tune model, rồi chuyển nó thành dạng GGUF thì sẽ dùng được nha. Fine tune thì phải làm riêng, trong phần mềm này không hỗ trợ

[@huynhxuandat]

muốn con ai đọc tài liệu mình đưa vào và hỏi nó trả lời bằng những nội dung trong tài liệu và nó trả lời mình dùng model nào anh . mong anh reply

[@duyluandethuong]

Chạy local thì mình chưa thấy, còn online thì Dùng GPT Plus, bạn tự tạo Custom GPT, rồi upload các file PDF lên để hỏi nó là được nha

[@TranLong-ek5bh]

Ừ, tải file dữ liệu để đào tạo nó đc k?

[@duyluandethuong]

được nhưng thường là không dễ

[@namduongthanhnam1446]

Các model như CodeLlama nặng không anh cỡ bao nhiêu GB vậy?

[@duyluandethuong]

nó có nhiều mức Quantize, tầm 3-4GB thôi bạn

[@dangvutuan7209]

mình muốn tìm một AI để đọc thuyết minh và một IA để vẽ tranh thì làm như thế nào? IA bạn giới thiệu chỉ trả về kết quả text thôi!

[@duyluandethuong]

Phần đó không nằm trong phạm vi của video này rồi. Cái đó bạn search trên google thêm nhe

[@NguyenVietHoangHE]

Có bạn nào dùng m1 pro mở phần mềm lên nó báo ram là NAN undefined không

[@TríHồCao-j2h]

Mọi ngừoi ai giúp e dới ạ, Em tải model vistral xong bấm qua chat thì nó hiện chưa tải model về :(((. E xài macbook M1

[@Datnt.]

Em cảm ơn anh. Cho em hỏi có vẻ ngu là 7b với 34b hay 70b thì nó có khác biệt về kết quả không anh, có nếu có thì nó khác biệt lớn không hay chỉ là chút ít thôi, em tải thử con code llama 34b mà nó chạy đứng máy luôn

[@duyluandethuong]

khác nhiều đó bạn :D nhưng tùy theo mức độ bạn cần mà bạn dùng thôi, chứ máy cá nhân thì hiện nay khó có con nào chạy được 34B lắm. MacBook Pro M3 Max của mình, RAM 128GB, dùng hết 60GB để chạy bản Llama 70B có quantization rồi :))

[@Regular_Person-One]

Em có gpu mà vga là mx130 nó chỉ có 2g ram làm cách nào để chạy dc gpu ạ

[@duyluandethuong]

không chạy được đâu bạn :D

[@phuonglion5676]

E đang phân vân ko biết nên chọn màn hình PC 24in 2k 60hz hay Full Hd 144hz, nhờ a tư vấn giúp e ạ

[@imblue1234]

24' thì mình thấy FHD xài đủ r bạn+xài hz cao cho mượt

[@duyluandethuong]

4K 60Hz đi bạn, còn bí quá thì 2K ok, Full-HD vỡ tùm lum xấu lắm

[@phuonglion5676]

@@duyluandethuong Dạ 4k e thử tìm thì hầu như chỉ có màn 27in, mà e sếp chỉ cho mua đc màn 24in ạ

[@phuonglion5676]

@@duyluandethuong E đang nhắm màn Dell P2423DE

[@wwk279]

Nếu đang phân vân chọn độ phân giải hay tần số quét cao thay vào đó chọn 1 con màn sở hữu cả 2 ưu điểm kể trên chẳng hạn như AOC Q24g2 24 inch 2k 165hz khỏi phải đắn đo

[@chungvan8792]

Sao e cài model codellama giống a mà nó trả lời tiếng anh không mặc dù e input tiếng việt. Giúp e với !

[@duyluandethuong]

Naày mình cũng không rõ

[@nway_noway]

máy em có thêm phần n_gpu_layers nó là gì vậy anh

[@duyluandethuong]

Nó có. Ghĩ là bạn chuyển bao nhiêu layer của model xuống GPU, nếu chuyển xuống GPU hết để chạy toàn bộ bằng GPU thì bạn nhập -1 nha

[@TuanNguyen-qu2ye]

có con AI nào mình tự train nó ko a. như kiểu trong công ty mình train nó thành chatbot ý. ví dụ train nó cần file gì thông tin gì của công ty ở đâu nó sẽ trả về kết quả.

[@duyluandethuong]

Có, nhưng bạn phải code :D chứ nó không có sẵn

[@meocobap5864]

@@duyluandethuong có 1 con y như yêu cầu của bạn phía trên á anh, con này tuy không phổ biến nhưng lại là hàng khủng từ IBM, tên nó là IBM watson assistant nha

[@tuananhang1771]

em xài con Asus vivobook i7 gen 13 đuôi H nhưng card onboard và chỉ có 16gb ram thì có dùng ổn ko ạ?

[@duyluandethuong]

vẫn được bạn, chạy mấy model nhỏ nhỏ chắc ok

[@nguyenvannghia324]

Là nó có lấy thông tin mới nhất trên mạng về trả lời không ta

[@duyluandethuong]

không co nha ban

[@BTRibbon]

đổi model's location sao anh , em dùng ssd rời chứ máy sắp hết dung lượng rồi

[@duyluandethuong]

mình không rõ, hình như không được

[@BTRibbon]

@@duyluandethuong em làm được rồi a , bing nó bảo ko đc mà mk đổi location được

[@Phatduongne25]

Hay

[@tieumarketing756]

mac intel lại k dùng đc

[@duyhoangta7988]

M1 max 32gb ram chạy ổn áp ko a?

[@kaidev0711]

chạy bét tè lè nhè :v e m2 cùi bắp còn chạy được huống gì :(

[@duyluandethuong]

32GB RAM dư sức nha bạn

[@buihuubao]

Con chip M2 ra từ năm 2022 mà vẫn chạy LM Studios ngon hơn Core Ultra ra mắt 2024 với tiền tấn đổ vào truyền thông.

[@tranvannam98]

Khi nào M2 chạy được Windows native thì tính tiếp 😂

[@duyluandethuong]

M1 còn hơn mà :D

[@tamannguyen2565]

Mac pro m2 2022 16/512 chạy vistral bị tràn ram liên tục a ơi :v

[@duyluandethuong]

bạn chọn quantize nhỏ nhỏ một chút là sẽ ổn nha, mình đang xài con MacBook AIr M2 RAM 16GB vẫn ngon

[@tamannguyen2565]

​@@duyluandethuongEm nghĩ cái này chỉ là làm cho vui thôi anh nhỉ? Tại suy đi tính lại thì bard hay chatgpt sử dụng vẫn ok hơn, cả về cấu hình máy tính lẫn thông tin

[@thienanhnguyenbui]

Chạy mấy AI Model này lâu ngày sẽ bị ăn RAM. Nên mình vẫn dùng Cloud Public service

[@duyluandethuong]

ăn RAM thì nó ăn lúc bạn dùng chứ đâu phải lúc nào cũng ăn đâu nên đâu có gì lo

[@thienanhnguyenbui]

@@duyluandethuong bạn mình cho biết sau 1 thời gian chạy các AI Models thì RAM bị chiếm dụng khá nhiều, máy tính lag hay chậm hẳn

[@nguyenphuong3836]

❤

[@hungtranqt93]

Tính xài mà nghĩ lại mình chẳng có gì cần private thì thôi xài Bard hay GPT cho rồi

có cái nàoccho dịch văn bản không nhi

[@duyluandethuong]

bạn yêu cầu nó dịch thì nó sẽ dịch thôi.

[@florentinoukraine]

ko cần vậy đâu chỉ cần lệnh CMD

[@duyluandethuong]

rồi CMD với GUI thì cái nào dễ hơn bạn :D

[@florentinoukraine]

@@duyluandethuong coi YT mấy ông làm Ai bên Đại học bên Mỹ làm Ai Nhớ fake địa chỉ mới coi đc!

[@StevenPham2310]

App này chắc phải máy mạnh chứ m cài trên MBA M1, chạy lag quá hicc

[@ThanhPham-ny3vi]

Lắm máy tính thế để làm gì?

[@thaisanhnguyen1967]

???

[@NMIXXLily]

phần mềm thì miễn phí thế còn những model thì có cái nào trả phí ko anh :)))

[@huyhandes]

Hầu hết trên huggingface thì không, đều free cả

[@duyluandethuong]

Model thì thường free, open source cả

[@nauoifoods2]

Ông này kiếm tiền làm KZbin =))

[@bongbongdalazybum2894]

em thấy koboldccp dễ dùng hơn

[@duyluandethuong]

Nhiìn qua giao diện thì mình thấy không dễ hơn :))

[@PhiQuocHung]

mình không download được bất kì model nào nó báo failed là vì sao vậy

[@duyluandethuong]

bạn kiểm tra lại đường truyền internet coi sao

[@vhmofficial437]

v~ chưởng k support mac intel :')

[@kaidev0711]

ollama đi bác :v