OCR with multimodal LLM in "a flash" on Colab via API - Mì AI

[@tuananhlehoang9255]

Cám ơn anh đã chia sẻ model ạ, model quá ngon ❤❤❤

Yeah. A sẽ gửi lởi cảm ơn của em tới tác giá nhé. Model xịn quá lun!

[@actrungoan4725]

Bạn có thể làm video hướng dẫn chạy trên máy Local không có kết nối Internet được không? Máy ở công ty của mình không được phép kết nối ra ngoài mà cái OCR này ngon quá, vượt gấp mấy lần ABBYY lẫn VietOCR Cảm ơn bạn nhiều!

Video này mình chạy trên Colab vì máy mình yếu thôi. Bạn có thể lấy code này này chạy local được nếu máy bạn khoẻ nhé!

[@nguyenvanhoang7801]

chào anh. anh có thể làm video hướng dẫn train và sử dụng anomalib của intel được không ạ. cám ơn a

Để a nghiên cứu nhé. Thanks em!

ae nào cài trên colab rồi cho xài ké với

Hehe!

[@cobala2938]

Trước kia e đã có dùng con LLM này, ngoài việc detect text, e muốn nó export bounding box của từng chữ trong ảnh. Nhưng nó không thể export được. Có cách nào để fine-tune model này để nó export bounding box không ạ?

Thế thì em chuẩn bị dữ liệu đầu vào là ảnh, đầu ra là bounding box và finetune. Nhưng theo anh nghĩ khá vất vả đấy!

[@mcartist6731]

LLM thì không nên finetune. Bạn dùng thêm PaddleOCR để detect ra text. Lưu ý phần detect này kết quả sẽ khác so vơi text đươc trích xuất bằng LLM trong video.

[@baohuynh5462]

Bạn có thể dùng mô hình florence thử detect, mô hình này chỉ 1B nên task không thể đa dạng được, tập trung tốt một task ocr trước. Hoặc kết hợp với model detect box như Paddleocr hay yolo rồi dùng LLM để OCR

[@kynghecotuong]

Mô hình này cần cấu hình ntn có thể chạy đc vậy bạn

Mình chạy Colab nên cấu hình máy như nào cũng đc nhé!

[@baohuynh5462]

Chắc bạn cần tối thiểu 8g gpu hoặc phải convert qua gguf thì chạy cpu

[@mahanminhnhat]

mình chạy bị báo lỗi ngay ở đoạn code load model và test model "model = AutoModel.from_pretrained(". ko rõ bị gì

Bạn chụp ảnh post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem cho rõ nhé!

[@sdg258]

Fix đuọc chưa á bác

[@khatrieu3108]

Cài lại thư viện transformer nha: pip install --upgrade transformers Ví dụ nó có báo "restart session" thì cứ ok rồi chạy lại các cell là ok nha