File size: 1,786 Bytes
b3e1c86 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 |
# VLD Enhanced Qwen2.5-14B-Instruct
## 概要
Variable Layer Depth (VLD) 技術により強化された大規模言語モデルです。
通常の推論を2回反復実行することで、より深い論理的推論能力を実現します。
## モデル情報
- **ベースモデル**: Qwen/Qwen2.5-14B-Instruct
- **VLD設定**: 2回反復推論
- **強化対象**: 論理推論、複雑な問題解決
## 使用方法
### 基本的な使用
```python
from vld_inference import VLDInferenceModel
# モデルロード
model = VLDInferenceModel("./")
# VLD推論実行
result = model.generate_vld("論理的に考えてください: すべての猫は動物である。ミケは猫である。では、ミケは?")
print(result)
```
### Transformersライブラリとの統合
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
# 通常のTransformersとして使用(ベースモデル)
tokenizer = AutoTokenizer.from_pretrained("./")
model = AutoModelForCausalLM.from_pretrained("./")
# または、VLD機能付きで使用
from vld_inference import VLDInferenceModel
vld_model = VLDInferenceModel("./")
```
## HLEベンチマーク対応
このモデルはHLEベンチマークでの評価に対応しています。
## ライセンス
ベースモデルのライセンスに従います。
## 引用
VLD技術を使用する場合は、関連研究を引用してください。
## 技術詳細
- **反復推論**: 各推論ステップで前回の出力を参考に次の推論を深化
- **温度制御**: 初期ステップは探索的、最終ステップは決定的
- **段階的生成**: トークン数を分散して段階的に生成
## 評価結果
詳細な評価結果は `evaluation_results.json` を参照してください。
|