---
language:
- ja
- en
library_name: transformers
pipeline_tag: text-generation
tags:
- fine-tuned
- gemma-2-2b
- conversational
- japanese
- merged
license: mit
base_model: google/gemma-2-2b

datasets:
- custom
metrics:
- perplexity
---

# rc3gemma-2-2b-finetuned

## モデル概要

このモデルは[google/gemma-2-2b](google/gemma-2-2b)をベースとしたファインチューニング済みモデルです。

- **ベースモデル**: google/gemma-2-2b
- **モデルタイプ**: Fine-tuned Model
- **言語**: 日本語、英語
- **ライセンス**: MIT
- **訓練日時**: 2025-06-10 06:06:49

## 訓練詳細

### データセット
- **データセットファイル**: constitution_qa.jsonl
- **サンプル数**: 60 件
- **最大トークン長**: 8192
- **データ形式**: JSONL (対話形式)

### 訓練パラメータ
- **訓練可能パラメータ**: 83,066,880 個
- **総パラメータ**: 2,697,408,768 個
- **訓練可能割合**: 3.0795%
- **エポック数**: 3
- **バッチサイズ**: 4
- **学習率**: 2e-05
- **データセットサイズ**: 60 サンプル
- **訓練時間**: 0:00:22.320532

### LoRA設定（該当する場合）
- **LoRA Rank (r)**: 64
- **LoRA Alpha**: 128
- **LoRA Dropout**: 0.1
- **対象モジュール**: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj

## 使用方法

### 直接使用（マージ済みモデル）

```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルとトークナイザーを読み込み
model = AutoModelForCausalLM.from_pretrained(
    "eyepyon/rc3gemma-2-2b-finetuned",
    torch_dtype=torch.float16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("eyepyon/rc3gemma-2-2b-finetuned")

# 推論の実行
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.7,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response[len(prompt):]

# 使用例
prompt = "Human: こんにちは！\n\nAssistant: "
response = generate_response(prompt)
print(response)
```

### Ollamaでの使用

```bash
# モデルをダウンロード
ollama pull eyepyon/rc3gemma-2-2b-finetuned

# チャット開始
ollama run eyepyon/rc3gemma-2-2b-finetuned
```

## パフォーマンス

このモデルは以下のタスクに特化して訓練されています：
- 質問応答
- 対話生成
- テキスト生成

## 制限事項

- このモデルは特定のドメインでファインチューニングされているため、汎用的な用途には適さない場合があります
- 生成されるテキストの正確性については、使用前に検証することを推奨します
- バイアスが含まれる可能性があります

## 倫理的考慮事項

- このモデルの出力は教育・研究目的での使用を想定しています
- 有害なコンテンツの生成を避けるため、適切なフィルタリングを実装することを推奨します
- 商用利用の際は、出力内容について十分な検証を行ってください

## 引用

```bibtex
@misc{rc3gemma_2_2b_finetuned,
  title={rc3gemma-2-2b-finetuned},
  author={Your Name},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/eyepyon/rc3gemma-2-2b-finetuned}
}
```

## 謝辞

- ベースモデル: [google/gemma-2-2b](https://huggingface.co/google/gemma-2-2b)
- LoRA実装: [PEFT](https://github.com/huggingface/peft)
- 訓練フレームワーク: [Transformers](https://github.com/huggingface/transformers)

## 更新履歴

- **v1.0** (2025-06-10): 初回リリース

## お問い合わせ

モデルに関する質問や改善提案がございましたら、リポジトリのIssueまでお気軽にご連絡ください。