Upload 5 files

README.md

@@ -0,0 +1,245 @@
+# Uploaded  model
+
+- **Developed by:** u9999Yoko
+- **License:** CC BY-NC-SA
+- **Finetuned from model :** llm-jp/llm-jp-3-13b
+
+## Abstract
+
+「llm-jp/llm-jp-3-13bモデルにichikara-instructionデータを用いてファインチューニングを行ったモデルです。
+松尾研究室の講義のコンペ用としてモデルを作成しました。
+https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/
+https://llm-jp.nii.ac.jp/blog/2024/04/30/v2.0-release.html
+
+## Dataset
+データセットは以下を使用しました。
+- ichikara-instruction-003-001-1.json
+
+## Attention
+ichikara-instructionデータは、CC BY-NC-SAライセンス（表示-非営利-継承）で公開されています。
+このライセンスの下では、非営利目的での利用が許可されていますが、商用利用は認められていません。 
+詳しくは次のホームページをご覧ください。
+https://llm-jp.nii.ac.jp/blog/2024/04/30/v2.0-release.html
+
+## Usage
+Execute following code in Notebook
+
+```python
+# 必要なライブラリをインストール
+conda install --yes --file requirements.txt
+
+from requests.exceptions import HTTPError
+from transformers import (
+    AutoModelForCausalLM,
+    AutoTokenizer,
+    TrainingArguments,
+)
+from peft import (
+    LoraConfig,
+    get_peft_model,
+)
+import torch
+from datasets import load_dataset
+from trl import SFTTrainer
+from tqdm import tqdm
+
+# HuggingFaceにログイン
+from huggingface_hub import notebook_login
+
+# 取得したTokenを入力
+notebook_login()
+
+# base model id
+base_model_id = "llm-jp/llm-jp-3-13b"
+new_model_id = "u9999Yoko//llm-jp-3-13b-finetune"
+
+
+model = AutoModelForCausalLM.from_pretrained(
+    base_model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,  # 半精度計算で効率化
+)
+
+tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
+
+"""
+peft_config: PEFTの構成設定
+- r
+- LoRA のランク (4, 8, 16 ,32...)
+- 増やすほど学習が捗るが, 過学習のリスクも高まるので注意
+- lora_alpha
+- LoRAのスケーリング係数
+- lora_dropout
+- ドロップアウト率（過学習を防ぐための割合）
+- bias
+- バイアス項の扱い ("none"の場合、LoRAはバイアスを学習しない)
+- task_type
+- タスクタイプ
+- target_modules
+- LoRAを適用するターゲットモジュール (前のコードで特定した層)
+"""
+
+# LoRA設定
+lora_config = LoraConfig(
+    r=8,
+    lora_alpha=16,
+    target_modules=["q_proj", "v_proj"],  # トレーニング対象の層
+    lora_dropout=0.1,
+    task_type="CAUSAL_LM",
+)
+
+model = get_peft_model(model, lora_config)
+
+dataset = load_dataset("json", data_files="./ichikara-instruction-003-001-1.json")
+
+# 学習時のプロンプトフォーマットの定義
+prompt = """### 指示
+{}
+### 回答
+{}"""
+
+
+"""
+formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる
+"""
+EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン）
+def formatting_prompts_func(examples):
+    input = examples["text"] # 入力データ
+    output = examples["output"] # 出力データ
+    text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成
+    return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す
+pass
+
+# # 各データにフォーマットを適用
+dataset = dataset.map(
+    formatting_prompts_func,
+    num_proc= 4, # 並列処理数を指定
+)
+
+# データを確認
+print(dataset["train"]["formatted_text"][3])
+
+# データをtrainデータとtestデータに分割 (test_sizeの比率に)
+dataset = dataset["train"].train_test_split(test_size=0.1)
+print(dataset)
+
+"""
+training_arguments: 学習の設定
+  output_dir:トレーニング後のモデルを保存するディレクトリ
+  per_device_train_batch_size: デバイスごとのトレーニングバッチサイズ
+  per_device__batch_size:デバイスごとの評価バッチサイズ
+  gradient_accumulation_steps:勾配を更新する前にステップを積み重ねる回数
+  optim: オプティマイザの設定
+  num_train_epochs:エポック数
+  eval_strategy:評価の戦略 ("no"/"steps"/"epoch")
+  eval_steps: eval_strategyが"steps"のとき、評価を行うstep間隔
+  logging_strategy: ログ記録の戦略
+  logging_steps: ログを出力するステップ間隔
+  warmup_steps: 学習率のウォームアップステップ数
+  save_steps: モデルを保存するステップ間隔
+  save_total_limit: 保存しておくcheckpointの数
+  max_steps:トレーニングの最大ステップ数
+  learning_rate: 学習率
+  fp16:16bit浮動小数点の使用設定（第8回演習を参考にすると良いです）
+  bf16:BFloat16の使用設定
+  group_by_length:入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化)
+  report_to:ログの送信先 ("wandb"/"tensorboard"���ど)
+"""
+
+training_arguments = TrainingArguments(
+    output_dir=new_model_id,
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=8,
+    # optim="paged_adamw_32bit",
+    num_train_epochs=3,
+    logging_strategy="steps",
+    logging_steps=10,
+    warmup_steps=10,
+    save_steps=1000,
+    save_total_limit = 2,
+    max_steps = -1,
+    learning_rate=5e-5,
+    fp16=False,
+    bf16=True,
+    seed = 3407,
+    group_by_length=True,
+    report_to="none"
+)
+
+"""
+SFTTrainer: Supervised Fine-Tuningに関する設定
+  model:読み込んだベースのモデル
+  train_dataset:トレーニングに使用するデータセット
+  eval_dataset:評価に使用するデータセット
+  peft_config: PEFT（Parameter-Efficient Fine-Tuning）の設定（LoRAを利用する場合に指定）
+  max_seq_length:モデルに入力されるシーケンスの最大トークン長
+  dataset_text_field:データセット内の学習に使うテキストを含むフィールド名
+  tokenizer:モデルに対応するトークナイザー
+  args:トレーニングに使用するハイパーパラメータ（TrainingArgumentsの設定を指定）
+  packing:入力シーケンスのパッキングを行うかどうかの設定 (False に設定することで、各入力を独立して扱う)
+"""
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=dataset["train"],
+    peft_config=lora_config,
+    max_seq_length= 512,
+    dataset_text_field="formatted_text",
+    tokenizer=tokenizer,
+    args=training_arguments,
+    packing= False,
+)
+
+model.config.use_cache = False # キャッシュ機能を無効化
+trainer.train() # トレーニングを実行
+
+# タスクとなるデータの読み込み。
+
+import json
+datasets = []
+with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
+    item = ""
+    for line in f:
+      line = line.strip()
+      item += line
+      if item.endswith("}"):
+        datasets.append(json.loads(item))
+        item = ""
+print(datasets)
+
+
+# モデルによるタスクの推論。
+
+results = []
+for data in tqdm(datasets):
+
+  input = data["input"]
+
+  prompt = f"""### 指示
+  {input}
+  ### 回答
+  """
+
+  tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
+  attention_mask = torch.ones_like(tokenized_input)
+
+  with torch.no_grad():
+      outputs = model.generate(
+          tokenized_input,
+          attention_mask=attention_mask,
+          max_new_tokens=400,
+          do_sample=False,
+          repetition_penalty=1.2,
+          pad_token_id=tokenizer.eos_token_id
+      )[0]
+  output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)
+
+  results.append({"task_id": data["task_id"], "input": input, "output": output})
+
+# 結果をjsonlで保存。
+import re
+jsonl_id = re.sub(".*/", "", new_model_id)
+with open(f"./{jsonl_id}-outputs.jsonl", 'w', encoding='utf-8') as f:
+    for result in results:
+        json.dump(result, f, ensure_ascii=False)  # ensure_ascii=False for handling non-ASCII characters
+        f.write('\n')
+```

adapter_config.json

@@ -0,0 +1,32 @@
+{
+  "alpha_pattern": {},
+  "auto_mapping": null,
+  "base_model_name_or_path": "llm-jp/llm-jp-3-13b",
+  "bias": "none",
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 16,
+  "lora_bias": false,
+  "lora_dropout": 0.1,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "r": 8,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "q_proj",
+    "v_proj"
+  ],
+  "task_type": "CAUSAL_LM",
+  "use_dora": false,
+  "use_rslora": false
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6aea77bc32c2c8c6bf62644c7dd7871409417e76c1a24b4ca9b891cffa7067b6
+size 26235704

conda_requirements.txt

@@ -0,0 +1,182 @@
+# This file may be used to create an environment using:
+# $ conda create --name <env> --file <this file>
+# platform: osx-arm64
+# created-by: conda 24.11.0
+accelerate=1.2.0=pypi_0
+aiohappyeyeballs=2.4.4=pypi_0
+aiohttp=3.11.10=pypi_0
+aiosignal=1.3.1=pypi_0
+airllm=2.11.0=pypi_0
+annotated-types=0.7.0=pypi_0
+anyio=4.7.0=pypi_0
+asttokens=3.0.0=pypi_0
+async-timeout=5.0.1=pypi_0
+attrs=24.2.0=pypi_0
+beautifulsoup4=4.12.3=pypi_0
+bitsandbytes=0.42.0=pypi_0
+bleach=6.2.0=pypi_0
+brotli-python=1.1.0=py310hb4ad77e_2
+bzip2=1.0.8=h3422bc3_4
+ca-certificates=2022.9.24=h4653dfc_0
+certifi=2024.8.30=pypi_0
+charset-normalizer=3.4.0=pypi_0
+click=8.1.7=pypi_0
+coloredlogs=15.0.1=pypi_0
+comm=0.2.2=pypi_0
+cpython=3.10.16=py310hd8ed1ab_1
+datasets=3.1.0=pypi_0
+decorator=5.1.1=pypi_0
+defusedxml=0.7.1=pypi_0
+dill=0.3.8=pypi_0
+distro=1.9.0=pypi_0
+docker-pycreds=0.4.0=pypi_0
+einops=0.8.0=pypi_0
+exceptiongroup=1.2.2=pypi_0
+executing=2.1.0=pypi_0
+fastjsonschema=2.21.1=pypi_0
+filelock=3.16.1=pypi_0
+freetype=2.12.1=hadb7bae_2
+frozenlist=1.5.0=pypi_0
+fsspec=2024.9.0=pypi_0
+giflib=5.2.2=h93a5062_0
+gitdb=4.0.11=pypi_0
+gitpython=3.1.43=pypi_0
+gmp=6.3.0=h7bae524_2
+gmpy2=2.1.5=py310h805dbd7_3
+h11=0.14.0=pypi_0
+h2=4.1.0=pyhd8ed1ab_1
+hpack=4.0.0=pyhd8ed1ab_1
+httpcore=1.0.7=pypi_0
+httpx=0.28.1=pypi_0
+huggingface-hub=0.26.5=pypi_0
+humanfriendly=10.0=pypi_0
+hyperframe=6.0.1=pyhd8ed1ab_1
+idna=3.10=pypi_0
+inquirerpy=0.3.4=pypi_0
+ipython=8.30.0=pypi_0
+ipywidgets=8.1.5=pypi_0
+jedi=0.19.2=pypi_0
+jinja2=3.1.4=pyhd8ed1ab_1
+jiter=0.8.2=pypi_0
+jsonlines=4.0.0=pypi_0
+jsonschema=4.23.0=pypi_0
+jsonschema-specifications=2024.10.1=pypi_0
+jupyter-client=8.6.3=pypi_0
+jupyter-core=5.7.2=pypi_0
+jupyterlab-pygments=0.3.0=pypi_0
+jupyterlab-widgets=3.0.13=pypi_0
+lcms2=2.16=ha0e7c42_0
+lerc=4.0.0=h9a09cb3_0
+libblas=3.9.0=16_osxarm64_openblas
+libcblas=3.9.0=16_osxarm64_openblas
+libcxx=14.0.6=h2692d47_0
+libdeflate=1.22=hd74edd7_0
+libffi=3.4.2=h3422bc3_5
+libgfortran=5.0.0=11_3_0_hd922786_26
+libgfortran5=11.3.0=hdaf2cc0_26
+libjpeg-turbo=3.0.0=hb547adb_1
+liblapack=3.9.0=16_osxarm64_openblas
+liblzma=5.6.3=h39f12f2_1
+libopenblas=0.3.21=openmp_hc731615_3
+libpng=1.6.44=hc14010f_0
+libprotobuf=3.21.9=hb5ab8b9_0
+libsqlite=3.40.0=h76d750c_0
+libtiff=4.7.0=ha962b0a_2
+libwebp=1.4.0=h54798ee_0
+libwebp-base=1.4.0=h93a5062_0
+libxcb=1.17.0=hdb1d25a_0
+libzlib=1.2.13=h03a7124_4
+llvm-openmp=15.0.5=h7cfbb63_0
+markdown-it-py=3.0.0=pypi_0
+markupsafe=3.0.2=py310hc74094e_1
+matplotlib-inline=0.1.7=pypi_0
+mdurl=0.1.2=pypi_0
+mistune=3.0.2=pypi_0
+mlx=0.21.1=pypi_0
+mpc=1.3.1=h8f1351a_1
+mpfr=4.2.1=hb693164_3
+mpmath=1.3.0=pyhd8ed1ab_1
+multidict=6.1.0=pypi_0
+multiprocess=0.70.16=pypi_0
+nbclient=0.10.1=pypi_0
+nbformat=5.10.4=pypi_0
+ncurses=6.3=h07bb92c_1
+networkx=3.4.2=pyh267e887_2
+numpy=2.2.0=pypi_0
+openai=1.57.2=pypi_0
+openjpeg=2.5.2=h9f1df11_0
+openssl=1.1.1s=h03a7124_0
+optimum=1.23.3=pypi_0
+packaging=24.2=pypi_0
+pandas=2.2.3=pypi_0
+pandocfilters=1.5.1=pypi_0
+parso=0.8.4=pypi_0
+peft=0.14.0=pypi_0
+pexpect=4.9.0=pypi_0
+pfzy=0.3.4=pypi_0
+pillow=11.0.0=py310h530beaf_0
+pip=24.3.1=pypi_0
+platformdirs=4.3.6=pypi_0
+prompt-toolkit=3.0.48=pypi_0
+propcache=0.2.1=pypi_0
+protobuf=4.21.9=py310h0f1eb42_0
+psutil=6.1.0=pypi_0
+pthread-stubs=0.4=hd74edd7_1002
+ptyprocess=0.7.0=pypi_0
+pure-eval=0.2.3=pypi_0
+pyarrow=18.1.0=pypi_0
+pydantic=2.10.3=pypi_0
+pydantic-core=2.27.1=pypi_0
+pygments=2.18.0=pypi_0
+python=3.10.6=hbce4517_0_cpython
+python-dateutil=2.9.0.post0=pypi_0
+python_abi=3.10=2_cp310
+pytorch=2.6.0.dev20241112=py3.10_0
+pytz=2024.2=pypi_0
+pyyaml=6.0.2=pypi_0
+pyzmq=26.2.0=pypi_0
+readline=8.1.2=h46ed386_0
+referencing=0.35.1=pypi_0
+regex=2024.11.6=pypi_0
+requests=2.32.3=pypi_0
+rich=13.9.4=pypi_0
+rpds-py=0.22.3=pypi_0
+safetensors=0.4.5=pypi_0
+scipy=1.14.1=pypi_0
+sentencepiece=0.2.0=pypi_0
+sentry-sdk=2.19.2=pypi_0
+setproctitle=1.3.4=pypi_0
+setuptools=75.6.0=pypi_0
+six=1.17.0=pypi_0
+smmap=5.0.1=pypi_0
+sniffio=1.3.1=pypi_0
+soupsieve=2.6=pypi_0
+stack-data=0.6.3=pypi_0
+sympy=1.13.1=pypi_0
+tiktoken=0.8.0=pypi_0
+tinycss2=1.4.0=pypi_0
+tk=8.6.12=he1e0b03_0
+tokenizers=0.20.3=pypi_0
+torchaudio=2.5.0.dev20241118=py310_cpu
+tornado=6.4.2=pypi_0
+tqdm=4.67.1=pypi_0
+traitlets=5.14.3=pypi_0
+transformers=4.46.3=pypi_0
+transformers-stream-generator=0.0.5=pypi_0
+trl=0.12.2=pypi_0
+typing-extensions=4.12.2=pypi_0
+tzdata=2024.2=pypi_0
+urllib3=2.2.3=pypi_0
+wandb=0.19.0=pypi_0
+wcwidth=0.2.13=pypi_0
+webencodings=0.5.1=pypi_0
+wheel=0.38.4=pyhd8ed1ab_0
+widgetsnbextension=4.0.13=pypi_0
+xorg-libxau=1.0.11=hd74edd7_1
+xorg-libxdmcp=1.1.5=hd74edd7_0
+xxhash=3.5.0=pypi_0
+xz=5.2.6=h57fd34a_0
+yaml=0.2.5=h3422bc3_2
+yarl=1.18.3=pypi_0
+zstandard=0.23.0=pypi_0
+zstd=1.5.5.1=pypi_0

config.json

@@ -0,0 +1,30 @@
+{
+    "_name_or_path": "None",
+    "architectures": [
+      "LlamaForCausalLM"
+    ],
+    "attention_bias": false,
+    "attention_dropout": 0.0,
+    "bos_token_id": 1,
+    "eos_token_id": 2,
+    "hidden_act": "silu",
+    "hidden_size": 5120,
+    "initializer_range": 0.02,
+    "intermediate_size": 13824,
+    "max_position_embeddings": 4096,
+    "mlp_bias": false,
+    "model_type": "llama",
+    "num_attention_heads": 40,
+    "num_hidden_layers": 40,
+    "num_key_value_heads": 40,
+    "pretraining_tp": 1,
+    "rms_norm_eps": 1e-05,
+    "rope_scaling": null,
+    "rope_theta": 10000,
+    "tie_word_embeddings": false,
+    "torch_dtype": "bfloat16",
+    "transformers_version": "4.43.3",
+    "use_cache": true,
+    "vocab_size": 99584
+  }
+