SiraH commited on
Commit
5e8f25b
·
1 Parent(s): 0b28c35

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -1
README.md CHANGED
@@ -8,13 +8,16 @@ This model quantized from openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf to
8
  Reference :
9
  - https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf
10
  - https://github.com/ggerganov/llama.cpp#prepare-data--run
 
 
 
11
 
12
  Example run inference in colab.
13
  ```
14
  # Download GUFF model from file and version.
15
  !git clone https://github.com/ggerganov/llama.cpp.git
16
  !pip install -r llama.cpp/requirements.txt
17
- !./llama.cpp/main -m /content/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf.gguf.Q4_0.bin -p "ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่าง" -n 400 -e
18
 
19
  #result example
20
  #ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่างมาแนะนำ
 
8
  Reference :
9
  - https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf
10
  - https://github.com/ggerganov/llama.cpp#prepare-data--run
11
+
12
+ How to quantize GUFF format:
13
+ https://colab.research.google.com/drive/1uI6Zsgcj-_KFhk3cX3xEbCdVVuIofVwA?usp=sharing
14
 
15
  Example run inference in colab.
16
  ```
17
  # Download GUFF model from file and version.
18
  !git clone https://github.com/ggerganov/llama.cpp.git
19
  !pip install -r llama.cpp/requirements.txt
20
+ !./llama.cpp/main -m openthaigpt-1.0.0-beta-7b-chat-ckpt-hf.gguf.Q4_0.bin -p "ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่าง" -n 400 -e
21
 
22
  #result example
23
  #ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่างมาแนะนำ