Update README.md

README.md

@@ -40,20 +40,25 @@ from peft import PeftModel
 import torch
 
  ベースモデル ID とアダプタファイルパス
+ 
 base_model_id = "llm-jp/llm-jp-3-13b"
 adapter_model_path = ""/path/to/adapter_model.safetensors""
 
  デバイス設定
+ 
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
  トークナイザーとベースモデルのロード
+ 
 tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
 base_model = AutoModelForCausalLM.from_pretrained(base_model_id, torch_dtype=torch.float16).to(device)
 
  アダプタの読み込み
+ 
 model = PeftModel.from_pretrained(base_model, adapter_model_path).to(device)
 
  推論関数
+ 
 def generate_text(prompt, max_length=256, temperature=0.7):
     inputs = tokenizer(prompt, return_tensors="pt").to(device)
     outputs = model.generate(
@@ -67,6 +72,7 @@ def generate_text(prompt, max_length=256, temperature=0.7):
     return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
  テストプロンプト
+ 
 prompt = "日本の経済について説明してください。"
 print("Generating text...")
 generated_text = generate_text(prompt)