hiroshij/vld-enhanced-qwen2.5-14Bmodel

VLD Enhanced Qwen2.5-14B-Instruct

概要

Variable Layer Depth (VLD) 技術により強化された大規模言語モデルです。 通常の推論を2回反復実行することで、より深い論理的推論能力を実現します。

モデル情報

• ベースモデル: Qwen/Qwen2.5-14B-Instruct
• VLD設定: 2回反復推論
• 強化対象: 論理推論、複雑な問題解決

使用方法

基本的な使用

from vld_inference import VLDInferenceModel

# モデルロード
model = VLDInferenceModel("./")

# VLD推論実行
result = model.generate_vld("論理的に考えてください: すべての猫は動物である。ミケは猫である。では、ミケは？")
print(result)

Transformersライブラリとの統合

from transformers import AutoTokenizer, AutoModelForCausalLM

# 通常のTransformersとして使用（ベースモデル）
tokenizer = AutoTokenizer.from_pretrained("./")
model = AutoModelForCausalLM.from_pretrained("./")

# または、VLD機能付きで使用
from vld_inference import VLDInferenceModel
vld_model = VLDInferenceModel("./")

HLEベンチマーク対応

このモデルはHLEベンチマークでの評価に対応しています。

ライセンス

ベースモデルのライセンスに従います。

引用

VLD技術を使用する場合は、関連研究を引用してください。

技術詳細

• 反復推論: 各推論ステップで前回の出力を参考に次の推論を深化
• 温度制御: 初期ステップは探索的、最終ステップは決定的
• 段階的生成: トークン数を分散して段階的に生成

評価結果

詳細な評価結果は evaluation_results.json を参照してください。