Update README.md
Browse files
README.md
CHANGED
|
@@ -63,7 +63,9 @@ num_train_epochs = 5です
|
|
| 63 |
https://huggingface.co/NibiruTwin/llm-jp-3-13b-c_it
|
| 64 |
|
| 65 |
それを、藤越さんの手法でDPOを用いて作成したのが今回のモデルです。
|
| 66 |
-
その際には
|
|
|
|
|
|
|
| 67 |
|
| 68 |
A100の環境を用いても、DPOを回すのはGPUのメモリが足りなかったり、epoch数に限界があったので
|
| 69 |
|
|
|
|
| 63 |
https://huggingface.co/NibiruTwin/llm-jp-3-13b-c_it
|
| 64 |
|
| 65 |
それを、藤越さんの手法でDPOを用いて作成したのが今回のモデルです。
|
| 66 |
+
その際には
|
| 67 |
+
|
| 68 |
+
'weblab-GENIAC/aya-ja-nemotron-dpo-maskedのデータセットを使用しました。
|
| 69 |
|
| 70 |
A100の環境を用いても、DPOを回すのはGPUのメモリが足りなかったり、epoch数に限界があったので
|
| 71 |
|