Hugging Face's logo

REILX
/
llava-Qwen2-7B-Instruct-Chinese-CLIP

Image-Text-to-Text
Transformers
Safetensors
Chinese
llava
Qwen2
txtimage-to-txt
lora
conversational
Model card Files Community
REILX commited on
Commit
8cb2932
·
verified ·
1 Parent(s): c21a537

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -4
README.md CHANGED
@@ -25,24 +25,23 @@ llava-Qwen2-7B-Instruct-CLIP-ZH = Qwen/Qwen2-7B-Instruct + multi_modal_projector
25
  训练时长：5小时12分钟
26
 
27
 
28
- 5. 数据集</br>
29
  使用gemini-1.5-pro, gemini-1.5-flash, yi-vision, gpt4o,claude-3.5-sonnet模型描述emo-visual-data和ChineseBQB数据集。</br>
30
  文本描述信息通过[text-description-of-the-meme](https://huggingface.co/datasets/REILX/text-description-of-the-meme) 下载</br>
31
  图像可通过[emo-visual-data](https://github.com/LLM-Red-Team/emo-visual-data), [ChineseBQB](https://github.com/zhaoolee/ChineseBQB)下载</br>
32
  图片数据总量1.8G，约10835张中文表情包图片。文字总量42Mb，约24332个图像文本对描述信息。
33
 
34
- 6. 效果展示</br>
35
  以下测试结果显示模型能识别图像中的文字信息，且能正确识别表情包想要表达的内涵。对比REILX/llava-1.5-7b-hf-meme-lora模型中也测试了原始llava-1.5-7b-hf模型的输出，模型无法正确识别图像中的文本信息。
36
  ![](./images/llava-qwen2-lora-01.JPG)
37
  ![](./images/llava-qwen2-lora-02.JPG)
38
  ![](./images/llava-qwen2-lora-03.JPG)
39
-
40
  以下三张图为gpt4o的识别效果</br>
41
  ![](./images/gpt4o-01.JPG)
42
  ![](./images/gpt4o-02.JPG)
43
  ![](./images/gpt4o-03.JPG)
44
 
45
- 5. 代码</br>
46
  合并模型代码，合并模型之后将add_tokens.json,merge.txt,preprocessor_config.json,specital_token_map.json,tokenizer.json,vocab.json文件复制到"/保存的完整模型路径"。
47
  ```python
48
  import torch
 
25
  训练时长：5小时12分钟
26
 
27
 
28
+ 4. 数据集</br>
29
  使用gemini-1.5-pro, gemini-1.5-flash, yi-vision, gpt4o,claude-3.5-sonnet模型描述emo-visual-data和ChineseBQB数据集。</br>
30
  文本描述信息通过[text-description-of-the-meme](https://huggingface.co/datasets/REILX/text-description-of-the-meme) 下载</br>
31
  图像可通过[emo-visual-data](https://github.com/LLM-Red-Team/emo-visual-data), [ChineseBQB](https://github.com/zhaoolee/ChineseBQB)下载</br>
32
  图片数据总量1.8G，约10835张中文表情包图片。文字总量42Mb，约24332个图像文本对描述信息。
33
 
34
+ 5. 效果展示</br>
35
  以下测试结果显示模型能识别图像中的文字信息，且能正确识别表情包想要表达的内涵。对比REILX/llava-1.5-7b-hf-meme-lora模型中也测试了原始llava-1.5-7b-hf模型的输出，模型无法正确识别图像中的文本信息。
36
  ![](./images/llava-qwen2-lora-01.JPG)
37
  ![](./images/llava-qwen2-lora-02.JPG)
38
  ![](./images/llava-qwen2-lora-03.JPG)
 
39
  以下三张图为gpt4o的识别效果</br>
40
  ![](./images/gpt4o-01.JPG)
41
  ![](./images/gpt4o-02.JPG)
42
  ![](./images/gpt4o-03.JPG)
43
 
44
+ 6. 代码</br>
45
  合并模型代码，合并模型之后将add_tokens.json,merge.txt,preprocessor_config.json,specital_token_map.json,tokenizer.json,vocab.json文件复制到"/保存的完整模型路径"。
46
  ```python
47
  import torch