Upload folder using huggingface_hub

README.md

@@ -1,6 +1,6 @@
 ---
-library_name: transformers
-tags: []
+base_model: deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
+library_name: peft
 ---
 
 # Model Card for Model ID
@@ -15,7 +15,7 @@ tags: []
 
 <!-- Provide a longer summary of what this model is. -->
 
-This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.
+
 
 - **Developed by:** [More Information Needed]
 - **Funded by [optional]:** [More Information Needed]
@@ -196,4 +196,7 @@ Carbon emissions can be estimated using the [Machine Learning Impact calculator]
 
 ## Model Card Contact
 
-[More Information Needed]
+[More Information Needed]
+### Framework versions
+
+- PEFT 0.14.0

adapter_config.json

@@ -12,7 +12,7 @@
   "layers_pattern": null,
   "layers_to_transform": null,
   "loftq_config": {},
-  "lora_alpha": 16,
+  "lora_alpha": 32,
   "lora_bias": false,
   "lora_dropout": 0,
   "megatron_config": null,
@@ -26,13 +26,13 @@
   "rank_pattern": {},
   "revision": null,
   "target_modules": [
+    "down_proj",
+    "gate_proj",
     "k_proj",
     "o_proj",
     "q_proj",
-    "gate_proj",
     "v_proj",
-    "up_proj",
-    "down_proj"
+    "up_proj"
   ],
   "task_type": "SEQ_CLS",
   "use_dora": false,

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c889898b2e82c2ba5be767084caed8138e6240c9aafcff16f9590f261ed3d6bc
+oid sha256:efb07e686804e78f7c5243ee381b674ccf187fbcee1bca549761ebde137ec762
 size 74427312

label_encoder.json

@@ -1 +1 @@
-{"\u0401\u043c\u043a\u043e\u0441\u0442\u0438, \u0440\u0435\u0437\u0435\u0440\u0432\u0443\u0430\u0440\u044b": 0, "\u0410\u0440\u043c\u0430\u0442\u0443\u0440\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f": 1, "\u0410\u0441\u0444\u0430\u043b\u044c\u0442": 2, "\u0411\u0435\u0442\u043e\u043d": 3, "\u0411\u044b\u0442\u043e\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u043a\u0430, \u043e\u0440\u0433\u0442\u0435\u0445\u0438\u043a\u0430": 4, "\u0412\u0430\u0433\u043e\u043d\u0447\u0438\u043a\u0438, \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b, \u0431\u043b\u043e\u0447\u043d\u043e-\u043c\u043e\u0434\u0443\u043b\u044c\u043d\u044b\u0435 \u0437\u0434\u0430\u043d\u0438\u044f": 5, "\u0412\u043e\u0437\u0434\u0443\u0445\u043e\u0432\u043e\u0434\u044b": 6, "\u0412\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u041c\u0422\u0420": 7, "\u0413\u0430\u0437\u043e\u0445\u043e\u0434\u044b (\u0442)": 8, "\u0413\u0430\u0437\u043e\u0445\u043e\u0434\u044b (\u0448\u0442.)": 9, "\u0413\u0435\u043e\u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 10, "\u0413\u0435\u043e\u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b (\u0448\u0442.)": 11, "\u0414\u0435\u0440\u0435\u0432\u044c\u044f, \u043a\u0443\u0441\u0442\u0430\u0440\u043d\u0438\u043a\u0438, \u0442\u0440\u0430\u0432\u044b": 12, "\u0416\u0411\u0418": 13, "\u0417\u0418\u041f": 14, "\u0417\u0420\u0410": 15, "\u0418\u0437\u0434\u0435\u043b\u0438\u044f \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0441\u0438\u0441\u0442\u0435\u043c \u0432\u043e\u0434\u043e\u043e\u0442\u0432\u0435\u0434\u0435\u043d\u0438\u044f": 16, "\u0418\u043d\u0435\u0440\u0442\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 17, "\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b": 18, "\u041a\u0418\u041f\u0438\u0410 \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0443\u044e\u0449\u0438\u0435": 19, "\u041a\u0430\u0431\u0435\u043b\u0435\u043d\u0435\u0441\u0443\u0449\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b": 20, "\u041a\u0430\u0431\u0435\u043b\u0435\u043d\u0435\u0441\u0443\u0449\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b (\u043c)": 21, "\u041a\u0430\u0431\u0435\u043b\u044c\u043d\u0430\u044f \u0430\u0440\u043c\u0430\u0442\u0443\u0440\u0430 (\u041a\u0410)": 22, "\u041a\u0430\u0431\u0435\u043b\u044c\u043d\u043e-\u043f\u0440\u043e\u0432\u043e\u0434\u043d\u0438\u043a\u043e\u0432\u0430\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0446\u0438\u044f": 23, "\u041a\u0438\u0440\u043f\u0438\u0447, \u0433\u0430\u0437\u043e\u0431\u0435\u0442\u043e\u043d\u043d\u044b\u0435, \u043a\u0435\u0440\u0430\u043c\u0437\u0438\u0442\u043e\u0431\u0435\u0442\u043e\u043d\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438": 24, "\u041a\u043e\u043b\u043e\u0434\u0446\u044b \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u043d\u0438\u044f, \u043f\u0440\u0438\u044f\u043c\u043a\u0438 \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0443\u044e\u0449\u0438\u0435": 25, "\u041a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u043a\u0440\u043e\u0432\u0435\u043b\u044c\u043d\u043e-\u0444\u0430\u0441\u0430\u0434\u043d\u044b\u0435": 26, "\u041a\u0440\u0435\u043f\u0435\u0436 \u0438 \u043c\u0435\u0442\u0438\u0437\u044b (\u0432\u0435\u0441\u043e\u0432\u044b\u0435)": 27, "\u041a\u0440\u0435\u043f\u0435\u0436 \u0438 \u043c\u0435\u0442\u0438\u0437\u044b (\u0448\u0442.)": 28, "\u041b\u041a\u041c": 29, "\u041c\u0430\u043b\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u044b (\u041c\u0410\u0424)": 30, "\u041c\u0430\u0440\u043a\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0438\u0437\u0434\u0435\u043b\u0438\u044f \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 31, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0410\u041a\u0417, \u041e\u0413\u0417 (\u043a\u0433)": 32, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0410\u041a\u0417, \u041e\u0413\u0417 (\u043c2)": 33, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0433\u0438\u0434\u0440\u043e-\u043f\u0430\u0440\u043e\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0435 (\u043a\u0433)": 34, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0433\u0438\u0434\u0440\u043e-\u043f\u0430\u0440\u043e\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0435 (\u043c2)": 35, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0434\u043b\u044f \u0431\u043b\u0430\u0433\u043e\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430": 36, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0441\u0438\u0441\u0442\u0435\u043c \u041e\u0412\u0438\u041a": 37, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0442\u0435\u043f\u043b\u043e\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0435 (\u0432\u0435\u0441\u043e\u0432\u044b\u0435)": 38, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0442\u0435\u043f\u043b\u043e\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0435 (\u043c)": 39, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0442\u0435\u043f\u043b\u043e\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0435 (\u043c2)": 40, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0442\u0435\u043f\u043b\u043e\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0435 (\u043c3)": 41, "\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0442\u0435\u043f\u043b\u043e\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0435 (\u0448\u0442.)": 42, "\u041c\u0435\u0431\u0435\u043b\u044c \u0438 \u0434\u0435\u043a\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b": 43, "\u041c\u0435\u0431\u0435\u043b\u044c \u043f\u043e \u0434\u0438\u0437\u0430\u0439\u043d \u043f\u0440\u043e\u0435\u043a\u0442\u0443": 44, "\u041c\u0435\u0442\u0430\u043b\u043b\u043e\u0438\u0437\u0434\u0435\u043b\u0438\u044f": 45, "\u041c\u0435\u0442\u0430\u043b\u043b\u043e\u0438\u0437\u0434\u0435\u043b\u0438\u044f (\u043c)": 46, "\u041c\u0435\u0442\u0430\u043b\u043b\u043e\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438": 47, "\u041c\u0435\u0442\u0430\u043b\u043b\u043e\u043f\u0440\u043e\u043a\u0430\u0442 (\u043c)": 48, "\u041c\u0435\u0442\u0430\u043b\u043b\u043e\u043f\u0440\u043e\u043a\u0430\u0442 (\u043c2)": 49, "\u041c\u0435\u0442\u0430\u043b\u043b\u043e\u043f\u0440\u043e\u043a\u0430\u0442 \u0432\u0435\u0441\u043e\u0432\u043e\u0439": 50, "\u041e\u0414\u0426\u0418": 51, "\u041e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435": 52, "\u041e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0421\u041a\u0423\u0414 ": 53, "\u041e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u0436\u0430\u0440\u043d\u044b\u0435": 54, "\u041e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c \u041e\u0412\u0438\u041a": 55, "\u041e\u0431\u0449\u0435\u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 56, "\u041e\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0443\u044e\u0449\u0438\u0435": 57, "\u041e\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0443\u044e\u0449\u0438\u0435 (\u043c)": 58, "\u041e\u043a\u043d\u0430, \u0434\u0432\u0435\u0440\u0438, \u0432\u043e\u0440\u043e\u0442\u0430 \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442\u0443\u044e\u0449\u0438\u0435": 59, "\u041e\u043f\u043e\u0440\u044b": 60, "\u041e\u0442\u0434\u0435\u043b\u043e\u0447\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b (\u0432\u0435\u0441\u043e\u0432\u044b\u0435)": 61, "\u041e\u0442\u0434\u0435\u043b\u043e\u0447\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b (\u043c)": 62, "\u041e\u0442\u0434\u0435\u043b\u043e\u0447\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b (\u043c2)": 63, "\u041e\u0442\u0434\u0435\u043b\u043e\u0447\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b (\u0448\u0442.)": 64, "\u041f\u0438\u043b\u043e\u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 65, "\u041f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u043a\u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438": 66, "\u0420\u0430\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 67, "\u0420\u0435\u0437\u0438\u043d\u043e\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u0437\u0434\u0435\u043b\u0438\u044f (\u0420\u0422\u0418)": 68, "\u0421\u0418\u0417": 69, "\u0421\u0430\u043d\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u0437\u0434\u0435\u043b\u0438\u044f \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 70, "\u0421\u0432\u0430\u0440\u043e\u0447\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 71, "\u0421\u043c\u0435\u0441\u0438, \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044b \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435, \u043a\u043b\u0435\u0439 (\u0432\u0435\u0441\u043e\u0432\u044b\u0435)": 72, "\u0421\u043c\u0435\u0441\u0438, \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044b \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435, \u043a\u043b\u0435\u0439 (\u043c3)": 73, "\u0421\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0442\u0440\u0443\u0431\u043e\u043f\u0440\u043e\u0432\u043e\u0434\u043e\u0432 (\u0421\u0414\u0422)": 74, "\u0421\u044d\u043d\u0434\u0432\u0438\u0447-\u043f\u0430\u043d\u0435\u043b\u0438 (\u043c2)": 75, "\u0421\u044d\u043d\u0434\u0432\u0438\u0447-\u043f\u0430\u043d\u0435\u043b\u0438 (\u0448\u0442.)": 76, "\u0422\u0440\u0443\u0431\u0430 \u041f\u0412\u0425, \u041f\u042d, \u041f\u041f, \u041f\u041d\u0414, \u043c\u0435\u0442\u0430\u043b\u043b\u043e\u043f\u043e\u043bu\u043c\u0435\u0440\u043d\u0430\u044f \u0438 \u0442.\u043f.": 77, "\u0422\u0440\u0443\u0431\u0430 \u043f\u0440\u043e\u0447\u0430\u044f (\u043c\u0435\u0434\u043d\u0430\u044f, \u0447\u0443\u0433\u0443\u043d\u043d\u0430\u044f, \u0425\u0426)": 78, "\u0422\u0440\u0443\u0431\u0430 \u0441\u0442\u0430\u043b\u044c\u043d\u0430\u044f (\u043c)": 79, "\u0422\u0440\u0443\u0431\u0430 \u0441\u0442\u0430\u043b\u044c\u043d\u0430\u044f (\u0442)": 80, "\u042d\u043b\u0435\u043a\u0442\u0440\u043e\u043c\u043e\u043d\u0442\u0430\u0436\u043d\u044b\u0435 \u0438\u0437\u0434\u0435\u043b\u0438\u044f \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b (\u043c)": 81, "\u042d\u043b\u0435\u043a\u0442\u0440\u043e\u043c\u043e\u043d\u0442\u0430\u0436\u043d\u044b\u0435 \u0438\u0437\u0434\u0435\u043b\u0438\u044f \u0438\u0437\u0434\u0435\u043b\u0438\u044f \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 82, "\u042d\u043b\u0435\u043a\u0442\u0440\u043e\u0442\u0435\u0445\u043d\u0438\u043a\u0430, \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0438\u0437\u0434\u0435\u043b\u0438\u044f \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b": 83}
+null

tokenizer.json

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3ccc8246017aca5e35926200ceee71328ca02d3c88e91b3d2062f4dd2d646bc5
-size 11423058
+oid sha256:e20ddafc659ba90242154b55275402edeca0715e5dbb30f56815a4ce081f4893
+size 11422778

training_metrics/training_metrics.json

@@ -0,0 +1,75 @@
+{
+  "training_sessions": [
+    {
+      "session_id": 1,
+      "epochs": [],
+      "parameters": {
+        "learning_rate": 0.0002,
+        "batch_size": 4,
+        "num_epochs": 3,
+        "warmup_steps": 0,
+        "gradient_accumulation_steps": 2,
+        "weight_decay": 0.01,
+        "lr_scheduler_type": "cosine",
+        "clip_grad_norm": 1.0,
+        "save_path": "/content/drive/MyDrive/deepseek_txt_classifier"
+      },
+      "training_started": "2025-01-30T19:27:27.458361",
+      "training_ended": null
+    },
+    {
+      "session_id": 2,
+      "epochs": [
+        {
+          "epoch": 1,
+          "timestamp": "2025-01-30T19:33:18.075195",
+          "train_loss": 4.0756168969514865,
+          "val_loss": 3.061457032888708,
+          "val_accuracy": 0.26017699115044246,
+          "f1_weighted": 0.2289007857934706,
+          "precision_weighted": 0.3235188957013108,
+          "recall_weighted": 0.26017699115044246
+        },
+        {
+          "epoch": 2,
+          "timestamp": "2025-01-30T19:33:18.075195",
+          "train_loss": 2.3547961317182544,
+          "val_loss": 2.5218266886724554,
+          "val_accuracy": 0.4088495575221239,
+          "f1_weighted": 0.3899156502168876,
+          "precision_weighted": 0.4584804625070112,
+          "recall_weighted": 0.4088495575221239
+        },
+        {
+          "epoch": 3,
+          "timestamp": "2025-01-30T19:33:18.075195",
+          "train_loss": 1.879219204586888,
+          "val_loss": 2.4548432421936117,
+          "val_accuracy": 0.42123893805309737,
+          "f1_weighted": 0.40484596795481426,
+          "precision_weighted": 0.4437322769455818,
+          "recall_weighted": 0.42123893805309737
+        }
+      ],
+      "parameters": {
+        "learning_rate": 0.0002,
+        "batch_size": 4,
+        "num_epochs": 3,
+        "warmup_steps": 0,
+        "gradient_accumulation_steps": 2,
+        "weight_decay": 0.01,
+        "lr_scheduler_type": "cosine",
+        "clip_grad_norm": 1.0,
+        "save_path": "/content/drive/MyDrive/deepseek_txt_classifier"
+      },
+      "training_started": "2025-01-30T19:33:18.075195",
+      "training_ended": "2025-01-30T19:33:18.075195",
+      "final_metrics": {
+        "best_val_loss": 2.4548432421936117,
+        "total_epochs": 3,
+        "early_stopped": false
+      }
+    }
+  ],
+  "current_session": null
+}