ShotaMatsumoto's picture
Update README.md
70688b6 verified
|
raw
history blame
1.67 kB
metadata
base_model: llm-jp/llm-jp-3-13b
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - llama
  - trl
language:
  - en

Uploaded model

  • Developed by: ShotaMatsumoto
  • License: CC BY-NC-SA
  • Finetuned from model : llm-jp/llm-jp-3-13b

データセットは以下を使いました。

  • ichikara-instruction-003-001-1.json
  • ichikara-instruction-003-001-2.1.json
  • ichikara-instruction-003-001-2.2.json
  • ichikara-instruction-003-001-5.1.json
  • ichikara-instruction-003-001-5.2.json
  • ichikara-instruction-003-003-1.json

注意

ichikara-instructionデータは、クリエイティブ・コモンズのCC BY-NC-SAライセンス(表示-非営利-継承)で公開されています。このライセンスの下では、非営利目的での利用が許可されていますが、商用利用は認められていません。

jsonlファイルの出力方法は以下の通りです。

import json from google.colab import files

file_name = "elyza-tasks-results.jsonl"

JSON形式で保存 (改行コードをエスケープした状態)

with open(file_name, "w", encoding="utf-8") as f: json.dump(results, f, ensure_ascii=False)

内容確認

with open(file_name, 'w', encoding='utf-8') as f: for result in results: json.dump(result, f, ensure_ascii=False) f.write('\n')

files.download(file_name)

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.