pnpm12/informatic_4bit_2

Intro

Small model for generate a MCQ for informatic course

Uploaded model

• Developed by: pnpm12
• License: apache-2.0
• Finetuned from model : unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit

This llama model was trained with Unsloth and Huggingface's TRL library.

Usage

Installation:

pip install -U transformers
pip install -q bitsandbytes

# low device
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(
                            "pnpm12/informatic_4bit_2"
                          )
model = AutoModelForCausalLM.from_pretrained(
                            "pnpm12/informatic_4bit_2",
                            load_in_4bit=True
)

prompt = """Sau đây là hướng dẫn mô tả một nhiệm vụ, kết hợp với với hướng dẫn và ngữ cảnh. Hãy viêt một phản hồi là một câu hỏi trắc nghiệm và cung cấp 4 lựa chọn đáp án khác nhau. Hãy chắc chắn rằng mỗi đáp án đều khác biệt, và xác định rõ đáp án đúng.

### Ngữ cảnh
{}

### Phản hổi
{}"""

content = """
AI mạnh (hay AI rộng) là hướng nghiên cứu nhằm mục đích tạo ra hệ thống AI có các khả năng như con người trong suy luận, lập kế hoạch và có trí thông minh dễ giải quyết bất kỳ loại vấn đề phức tạp nào. Hệ thống AI mạnh sẽ có tri thức toàn diện về mọi vấn đề, có ý thức khi hành động. Không thể phân biệt dược hệ thống AI mạnh với trí tuệ con người nói chung. Nhiều người cho rằng đây chỉ là khái niệm lý thuyết và khó để có thể trở thành hiện thực. Newell, Simon và Shaw đã viết một chương trình gọi là GPS (General Problem Solver) để giải quyết mọi vấn để theo cách tổng quát và phiên bản đầu tiên của GDS đã được công bố vào năm 1957. Chương trình này cho phép máy tính giải quyết các bài toán bằng cách mô phỏng chuỗi suy nghĩ của con người. Tuy nhiên, GPS này không có khả năng học, trí thông minh mà chương trình có được là do người lập trình cung cấp nên bị hạn chế. AI mạnh đang được nghiên cứu, phát triển.
"""

prompt = prompt.format(content, "")
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(**inputs)
answer = tokenizer.decode(output[0], skip_special_tokens=True)
answer = answer.replace(prompt, "")
print(answer)

Update:

Evaluation:

update later...