llama.cppのGGUFの量子化について精度などを検証するために作成したコレクションです。
検証結果をまとめた記事は下記をご覧ください。https://zenn.dev/yuki127/articles/e3337c176d27f2
-
YukiTomita-CC/Llama-3-Swallow-8B-Instruct-v0.1-GGUF
8B • Updated • 221 -
YukiTomita-CC/Llama-3-Swallow-8B-Instruct-v0.1-IMat-GGUF_c4_en_ja
8B • Updated • 496 -
YukiTomita-CC/Llama-3-Swallow-8B-Instruct-v0.1-IMat-GGUF_dolly-15k-ja
8B • Updated • 10 -
YukiTomita-CC/Llama-3-Swallow-8B-Instruct-v0.1-IMat-GGUF_dolly-15k-ja-prompt
8B • Updated • 216 • 1