update
Browse files- README.md +19 -0
- README_zh-CN.md +19 -0
README.md
CHANGED
|
@@ -5,6 +5,25 @@ license: gpl-3.0
|
|
| 5 |
|
| 6 |
## Introduction
|
| 7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
|
| 9 |
|
| 10 |
## How to use
|
|
|
|
| 5 |
|
| 6 |
## Introduction
|
| 7 |
|
| 8 |
+
这是 NanoTranslator 的 Large 型号，目前仅支持**英译中**。仓库中同时提供了 ONNX 版本的模型。
|
| 9 |
+
|
| 10 |
+
|
| 11 |
+
|
| 12 |
+
| Size | Params. | V. | H. | I. | L. | Att. H. | KV H. | Tie Emb. |
|
| 13 |
+
| :--: | :-----: | :--: | :--: | :--: | :--: | :-----: | :---: | :------: |
|
| 14 |
+
| XL | 50 M | 8000 | 320 | 1792 | 24 | 16 | 4 | True |
|
| 15 |
+
| L | 22 M | 8000 | 256 | 1408 | 16 | 16 | 4 | True |
|
| 16 |
+
| M | 10 M | 4000 | 176 | 960 | 16 | 16 | 4 | True |
|
| 17 |
+
| S | 2 M | 2000 | 96 | 512 | 12 | 12 | 4 | True |
|
| 18 |
+
|
| 19 |
+
- **V.** - vocab size
|
| 20 |
+
- **H.** - hidden size
|
| 21 |
+
- **I.** - intermediate size
|
| 22 |
+
- **L.** - num layers
|
| 23 |
+
- **Att. H.** - num attention heads
|
| 24 |
+
- **KV H.** - num kv heads
|
| 25 |
+
- **Tie Emb.** - tie word embeddings
|
| 26 |
+
|
| 27 |
|
| 28 |
|
| 29 |
## How to use
|
README_zh-CN.md
CHANGED
|
@@ -5,6 +5,25 @@ license: gpl-3.0
|
|
| 5 |
|
| 6 |
## Introduction
|
| 7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
|
| 9 |
|
| 10 |
## How to use
|
|
|
|
| 5 |
|
| 6 |
## Introduction
|
| 7 |
|
| 8 |
+
这是 NanoTranslator 的 Large 型号，目前仅支持**英译中**。仓库中同时提供了 ONNX 版本的模型。
|
| 9 |
+
|
| 10 |
+
|
| 11 |
+
|
| 12 |
+
| Size | Params. | V. | H. | I. | L. | Att. H. | KV H. | Tie Emb. |
|
| 13 |
+
| :--: | :-----: | :--: | :--: | :--: | :--: | :-----: | :---: | :------: |
|
| 14 |
+
| XL | 50 M | 8000 | 320 | 1792 | 24 | 16 | 4 | True |
|
| 15 |
+
| L | 22 M | 8000 | 256 | 1408 | 16 | 16 | 4 | True |
|
| 16 |
+
| M | 10 M | 4000 | 176 | 960 | 16 | 16 | 4 | True |
|
| 17 |
+
| S | 2 M | 2000 | 96 | 512 | 12 | 12 | 4 | True |
|
| 18 |
+
|
| 19 |
+
- **V.** - vocab size
|
| 20 |
+
- **H.** - hidden size
|
| 21 |
+
- **I.** - intermediate size
|
| 22 |
+
- **L.** - num layers
|
| 23 |
+
- **Att. H.** - num attention heads
|
| 24 |
+
- **KV H.** - num kv heads
|
| 25 |
+
- **Tie Emb.** - tie word embeddings
|
| 26 |
+
|
| 27 |
|
| 28 |
|
| 29 |
## How to use
|