Update README.md

README.md

@@ -33,6 +33,46 @@ ichikara-instructionデータは、CC BY-NC-SAライセンス（表示-非営利
 詳しくはこちらのホームページで確認してください。https://llm-jp.nii.ac.jp/blog/2024/04/30/v2.0-release.html
 
 # 推論方法
+事前にadapter_model.safetensorsをダウンロードしてください。
+
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
+import torch
+
+ ベースモデル ID とアダプタファイルパス
+base_model_id = "llm-jp/llm-jp-3-13b"
+adapter_model_path = ""/path/to/adapter_model.safetensors""
+
+ デバイス設定
+device = "cuda" if torch.cuda.is_available() else "cpu"
+
+ トークナイザーとベースモデルのロード
+tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
+base_model = AutoModelForCausalLM.from_pretrained(base_model_id, torch_dtype=torch.float16).to(device)
+
+ アダプタの読み込み
+model = PeftModel.from_pretrained(base_model, adapter_model_path).to(device)
+
+ 推論関数
+def generate_text(prompt, max_length=256, temperature=0.7):
+    inputs = tokenizer(prompt, return_tensors="pt").to(device)
+    outputs = model.generate(
+        inputs["input_ids"],
+        max_length=max_length,
+        temperature=temperature,
+        do_sample=True,
+        top_k=50,
+        top_p=0.9
+    )
+    return tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+ テストプロンプト
+prompt = "日本の経済について説明してください。"
+print("Generating text...")
+generated_text = generate_text(prompt)
+print("\nGenerated Text:")
+print(generated_text)
+
 
 # jsonlファイルの出力方法は以下の通りです。
 import json