Có thể chỉ mình thông số finetune mô hình
Cảm ơn Nhóm rất nhiều, mình dùng thử thì thấy model nhận diện tiếng Việt với độ chính xác cao hơn rất nhiều so với những mô hình lớn thương mại ( Qwen VL-plus, LLama vision...) . Nhưng mình nhận thấy với khá nhiều loại tài liệu ( hóa đơn, toa thuốc...) thì model bỏ qua phần footer . Nhóm có thể chỉ mình cách finetune lại được không? hoặc cho đường link để tìm hiểu. Mình muốn dùng model để OCR hóa đơn và một số chứng từ y tế.
Xin cảm ơn nhiều
Bạn follow theo Google colab này nhé: https://colab.research.google.com/drive/1bK6fpWfResjv9UxWoKHDStXQ8bop3a6Z?usp=sharing
Cảm ơn bạn nhiều lắm
Bạn follow theo Google colab này nhé: https://colab.research.google.com/drive/1bK6fpWfResjv9UxWoKHDStXQ8bop3a6Z?usp=sharing
cảm ơn bạn đã chia sẻ source code finetune, nhân tiện cho mình hỏi chút
Mình thấy Vintern-1b-v3.5 được finetune trên InternVL2.5-1b, tuy nhiên trong google colab lại đang hướng dẫn finetune Vintern-1B-v2 base trên InternVL2. Không biết liệu mình có làm tương tự với Vintern-1b-3.5 giống như trong nội dung google colab không nhỉ? Mình cảm ơn bạn
vâng cả 2 mô hình bạn dùng chung source được nhé bạn
Bạn follow theo Google colab này nhé: https://colab.research.google.com/drive/1bK6fpWfResjv9UxWoKHDStXQ8bop3a6Z?usp=sharing
Bác oi sao mình chạy tune trên v2 không sao nhưng tune v3 lại bị dính flash attention vậy? Mình đã sửa file config rồi nhưng vẫn lỗi ạ
bác tham khảo code mới nhất của nhóm InternVL ở đây nhé: https://github.com/OpenGVLab/InternVL sẽ chạy được với các máy không cài được flash attention
bác tham khảo code mới nhất của nhóm InternVL ở đây nhé: https://github.com/OpenGVLab/InternVL sẽ chạy được với các máy không cài được flash attention
Khang có thể hướng dẫn chi tiết hơn được không, mình đã thử đủ cách: dùng Colab, cài flash attention theo pip install flash-attn==2.3.6 --no-build-isolation thì không được, dùng
"git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention
git checkout v2.3.6
python setup.py install" thì chờ 1 tiếng rưỡi mới xong, nhưng tới bước finetune thì hỏng. tốn hết 100 compute point của Colab mà vẫn là con số 0.
Lỗi mà hay gặp nhất là lỗi này : "Traceback (most recent call last):
File "/usr/local/bin/torchrun", line 10, in
sys.exit(main())
^^^^^^
File "/usr/local/lib/python3.11/dist-packages/torch/distributed/elastic/multiprocessing/errors/init.py", line 355, in wrapper
return f(*args, **kwargs)
^^^^^^^^^^^^^^^^^^
File "/usr/local/lib/python3.11/dist-packages/torch/distributed/run.py", line 918, in main
run(args)
File "/usr/local/lib/python3.11/dist-packages/torch/distributed/run.py", line 909, in run
elastic_launch(
File "/usr/local/lib/python3.11/dist-packages/torch/distributed/launcher/api.py", line 138, in call
return launch_agent(self._config, self._entrypoint, list(args))
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/lib/python3.11/dist-packages/torch/distributed/launcher/api.py", line 269, in launch_agent
raise ChildFailedError(
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
internvl/train/internvl_chat_finetune.py FAILED
Failures:
Root Cause (first observed failure):
[0]:
time : 2025-06-22_16:51:45
host : 598e7e59ddf2
rank : 0 (local_rank: 0)
exitcode : 1 (pid: 5089)
error_file: <N/A>
traceback : To enable traceback see: https://pytorch.org/docs/stable/elastic/errors.html"