---
license: apache-2.0
---
# ALLaM-Thinking-GGUF

## Description

ALLaM-Thinking-GGUF is an Arabic language model optimized for step-by-step reasoning and mathematical problem-solving. The model has been quantized to the GGUF format for efficient inference on consumer hardware.

## Model Details

- **Model Name**: ALLaM-Thinking-GGUF
- **Author**: [almaghrabima](https://huggingface.co/almaghrabima)
- **Languages**: Arabic (primary)
- **Format**: GGUF (GPU/CPU inference optimized)
- **Quantization**: q4_k_m

## Features

- Specialized in step-by-step reasoning for mathematical problems
- Optimized for Arabic language comprehension and generation
- Efficient inference through GGUF quantization
- Suitable for educational applications and mathematical assistance

## Installation

```bash
# Clone or download the repository
git clone https://huggingface.co/almaghrabima/ALLaM-Thinking-GGUF

# Navigate to the downloaded directory
cd ALLaM-Thinking-GGUF
```

## Usage

The model can be used with [llama.cpp](https://github.com/ggerganov/llama.cpp) for local inference:

```bash
./build/bin/llama-cli -m ./ALLaM-Thinking-q4_k_m.gguf -cnv -p "Your prompt in Arabic"
```

### Example

```bash
./build/bin/llama-cli -m ./ALLaM-Thinking-q4_k_m.gguf -cnv -p "في فريق مكون من 15 لاعباً، 40% منهم يسجلون الأهداف. إذا سجل كل لاعب من اللاعبين الذين يسجلون الأهداف في المتوسط 5 أهداف خلال الموسم، فكم عدد الأهداف الكلي التي سجلها اللاعبون الذين يسجلون الأهداف؟"
```

### Sample Output

```
[INST] في فريق مكون من 15 لاعباً، 40 % منهم يسجلون الأهداف. إذا سجل كل لاعب من اللاعبين الذين يسجلون الأهداف في المتوسط 5 أهداف خلال الموسم، فكم عدد الأهداف الكلي التي سجلها اللاعبون الذين يسجلون الأهداف؟ [/INST] 

لحساب عدد الأهداف الكلي التي سجلها اللاعبون الذين يسجلون الأهداف في الفريق المكون من 15 لاعباً، نبدأ بحساب عدد اللاعبين الذين يسجلون الأهداف.

عدد اللاعبين الذين يسجلون الأهداف = إجمالي عدد اللاعبين * نسبة اللاعبين الذين يسجلون الأهداف = 15 * 0.40 = 6 لاعبين

ثم نضرب عدد اللاعبين الذين يسجلون الأهداف في متوسط عدد الأهداف التي يسجلها كل لاعب منهم خلال الموسم.

الأهداف الكلي المسجلة = عدد اللاعبين الذين يسجلون الأهداف * متوسط عدد الأهداف لكل لاعب = 6 * 5 = 30 هدفاً

لذا، سجل اللاعبون الذين يسجلون الأهداف إجمالي 30 هدفاً خلال الموسم.
```

## Advanced Options

You can customize inference parameters with additional options:

```bash
./build/bin/llama-cli -m ./ALLaM-Thinking-q4_k_m.gguf -cnv -p "Your prompt" \
  --ctx_size 2048 \
  --temp 0.7 \
  --top_p 0.9 \
  --repeat_penalty 1.1
```

## Hardware Requirements

- **Minimum**: 8GB RAM
- **Recommended**: 16GB RAM, High-end CPU or GPU with at least 8GB VRAM

## License

This model is released under the [Apache 2.0 License](https://opensource.org/licenses/Apache-2.0).

## Citations

If you use this model in your research or applications, please cite:

```bibtex
@misc{almaghrabima2025allam,
  author = {Mohammed Al-Maghrabi Research},
  title = {ALLaM-Thinking: Arabic Large Language Model with Enhanced Reasoning Capabilities},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/almaghrabima/ALLaM-Thinking}}
}
```

## Acknowledgements

- This model utilizes the GGUF format developed by the [llama.cpp](https://github.com/ggerganov/llama.cpp) team
- Special thanks to contributors and the Arabic NLP community