---
language:
- zh
- en
tags:
- glm
- chatglm
- ggml
---
# ChatGLM3-6B-int4

介绍 (Introduction)
ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，[THUDM/chatglm3-6b](https://huggingface.co/THUDM/chatglm3-6b)

用 [ChatGLM.CPP]() 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。

## Use in Python
1. Install dependency
  ```sh
  pip install chatglm-cpp transformers
  ```

2. Download weight
  ```sh
  wget https://huggingface.co/npc0/chatglm3-6b-int4/resolve/main/chatglm3-ggml-q4_0.bin
  ```

3. Code
  ```py
  import chatglm_cpp

  pipeline = chatglm_cpp.Pipeline("./chatglm3-ggml-q4_0.bin")
  pipeline.chat(["你好"])
  # Output: 你好👋！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。
  ```