Update README.md
Browse files
README.md
CHANGED
|
@@ -14,7 +14,7 @@ imatrixの計算には[Wikitext-JA](https://www.lsta.media.kyoto-u.ac.jp/resourc
|
|
| 14 |
|
| 15 |
## 注意
|
| 16 |
このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があります。また、独自アーキテクチャの実装を反映するためにllama.cpp側の実装変更が必要となり、通常通り推論しようとすると性能低下が発生します。
|
| 17 |
-
具体的には、内部のテストでJMT-Bench
|
| 18 |
|
| 19 |
そのため、他の形式の量子化モデルの利用を推奨いたします。
|
| 20 |
- [AWQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ)
|
|
|
|
| 14 |
|
| 15 |
## 注意
|
| 16 |
このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があります。また、独自アーキテクチャの実装を反映するためにllama.cpp側の実装変更が必要となり、通常通り推論しようとすると性能低下が発生します。
|
| 17 |
+
具体的には、内部のテストでJMT-Benchにおいて全体スコア-0.5点程度、特に数学やコーディング、リーズニングの難易度が高いタスクで大きな性能低下が起こることを確認しています。また、人手評価では更に大きな性能低下が確認される可能性もあります。
|
| 18 |
|
| 19 |
そのため、他の形式の量子化モデルの利用を推奨いたします。
|
| 20 |
- [AWQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ)
|