Update README.md
Browse files
README.md
CHANGED
|
@@ -14,7 +14,14 @@ ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，[THUDM/chatglm3-6b](
|
|
| 14 |
|
| 15 |
用 [ChatGLM.CPP]() 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
|
| 16 |
|
| 17 |
-
##
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 18 |
1. Install dependency
|
| 19 |
```sh
|
| 20 |
pip install chatglm-cpp transformers
|
|
|
|
| 14 |
|
| 15 |
用 [ChatGLM.CPP]() 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
|
| 16 |
|
| 17 |
+
## Performance
|
| 18 |
+
|Model |GGML quantize method| HDD size |1 token\*|
|
| 19 |
+
|----------------------|--------------------|----------|---------|
|
| 20 |
+
|chatglm3-ggml-q4_0.bin| q4_0 | 3.51 GB | 74ms |
|
| 21 |
+
|chatglm3-ggml-q4_1.bin| q4_1 | 3.9 GB | 77ms |
|
| 22 |
+
\* ms/token (CPU @ Platinum 8260) from [reference](https://github.com/li-plus/chatglm.cpp#performance)
|
| 23 |
+
|
| 24 |
+
## Getting Started
|
| 25 |
1. Install dependency
|
| 26 |
```sh
|
| 27 |
pip install chatglm-cpp transformers
|