---
title: README
emoji: 🐨
colorFrom: gray
colorTo: pink
sdk: static
pinned: false
---

# 📦 ViSoLex Toolkit — Vietnamese Text Normalization & Processing

**ViSoLex** là một toolkit mạnh mẽ dành cho **chuẩn hóa và xử lý văn bản tiếng Việt**, được thiết kế tối ưu cho môi trường **NLP** và dễ dàng cài đặt qua **PyPI**.
Các tài nguyên (datasets, models) được lưu trữ và quản lý trực tiếp trên [Hugging Face Hub](https://huggingface.co/visolex).

---

## 🚀 Tính năng chính

### 1. 🔧 **Basic Normalizer** — Chuẩn hóa văn bản cơ bản

* **Case folding**: chuyển toàn bộ văn bản về lowercase/uppercase/capitalize.
* **Tone normalization**: chuẩn hóa dấu thanh tiếng Việt.
* **Basic preprocessing**: loại bỏ khoảng trắng thừa, ký tự đặc biệt, định dạng câu.

### 2. 😀 **Emoji Handler** — Xử lý emoji

* **Detect emojis**: phát hiện emoji trong văn bản.
* **Split emoji text**: tách emoji ra khỏi câu.
* **Remove emojis**: loại bỏ toàn bộ emoji.

### 3. 📊 **Resource Management** — Quản lý dữ liệu

* `list_datasets()` — Liệt kê datasets có sẵn.
* `load_dataset()` — Tải dataset từ Hugging Face.
* `get_dataset_info()` — Xem thông tin chi tiết dataset.

### 4. 🧠 **Task Models** — Mô hình xử lý tác vụ

* **SpamReviewDetection** — Phát hiện spam.
* **HateSpeechDetection** — Phát hiện hate speech.
* **EmotionRecognition** — Nhận diện cảm xúc.
* **AspectSentimentAnalysis** — Phân tích sentiment theo từng khía cạnh.

### 5. 🧪 **Advanced Usage** — Kết hợp & Tùy chỉnh

* Tạo **multi-step pipelines** cho chuẩn hóa và phân tích.
* Tùy chỉnh từng bước xử lý theo nhu cầu.

### 6. ✏ **Lexical Normalization** — Chuẩn hóa văn bản mạng xã hội

* `detect_nsw()` — Phát hiện từ phi chuẩn (non-standard words).
* `normalize_sentence()` — Chuẩn hóa câu chứa từ phi chuẩn.

---

## 📥 Cài đặt

```bash
pip install visolex
```