README.md

metadata

language:
  - zh
  - en
tags:
  - glm
  - chatglm
  - ggml

ChatGLM3-6B-int4

介绍 (Introduction) ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，THUDM/chatglm3-6b

用 ChatGLM.CPP 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。

Use in Python

1. Install dependency

pip install chatglm-cpp transformers

2. Download weight

wget https://huggingface.co/npc0/chatglm3-6b-int4/resolve/main/chatglm3-ggml-q4_0.bin

3. Code

import chatglm_cpp

pipeline = chatglm_cpp.Pipeline("./chatglm3-ggml-q4_0.bin")
pipeline.chat(["你好"])
# Output: 你好👋！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。