Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,3 +1,89 @@
----
-license: mit
----
+---
+base_model: casperhansen/deepseek-r1-distill-qwen-7b-awq
+library_name: peft
+---
+# DeepSink V1.5 Adapter
+
+DeepSink V1.5 是基于 DeepSeek R1 Distill Qwen 7B 的爆仓文学生成器。本仓库存放了该 LoRA Adapter。
+
+## 使用方法
+
+使用 vllm 启动服务:
+
+```bash
+vllm serve casperhansen/deepseek-r1-distill-qwen-7b-awq \
+    --port 8001 \
+    --enforce-eager \
+    --max_model_len 4096 \
+    --enable-lora \
+    --max-lora-rank 128 \
+    --lora-modules deepsink-v1.5=beautyyuyanli/deepsink-v1.5-adapter
+```
+
+Base model 也可以使用 `deepseek-ai/DeepSeek-R1-Distill-Qwen-7B`。
+
+使用 OpenAI API 调用:
+
+```python
+from openai import OpenAI
+
+oai = OpenAI(api_key="DUMMY", base_url="http://localhost:8001/v1")
+
+response = oai.chat.completions.create(
+    model="deepsink-v1.5",
+    messages=[
+        {
+            "role": "user",
+            "content": "依据给定的主题，写一篇爆仓文学：2077年川普胜选连任导致“XI币”暴跌爆仓",
+        },
+    ],
+    temperature=0.85,
+    top_p=0.7,
+    presence_penalty=1.25,
+    stream=True,
+)
+
+for chunk in response:
+    print(chunk.choices[0].delta.content, end="", flush=True)
+```
+
+prompt 格式为 `依据给定的主题，写一篇爆仓文学：{主题}`。
+
+## 样例
+
+<details>
+<summary>依据给定的主题，写一篇爆仓文学：2077年川普胜选连任导致“XI币”暴跌爆仓</summary>
+<"think">
+我应该这样设计写作思路:首先,故事背景设定在未来科幻元素浓厚的2077年,利用川普胜选这一事件作为推动情节发展的关键事件,以此增强故事的真实性和悬念感。情节上,我需要构建一个典型的悲剧结构:主人公最初的成功(投资成功,获得高薪)奠定基调,然后逐步走向失败(加密货币暴跌,经济崩溃),最终导致悲剧性结局(巨额债务,绝望无助)。我会运用一些象征手法,例如将“川普胜选”作为推动情节的关键事件,象征外部环境的动荡对个人命运的巨大影响。
+
+在写作手法上,我将采用细腻的描写手法,力求展现主人公心理的变化和情感的层层递进。我会使用一些细节描写,例如主人公手指颤抖的冷汗、电脑蓝光等意象,来增强文章的真实感和代入感。此外,我会运用对比的手法,将主人公过去的辉煌与现在的落魄形成鲜明对比,进一步强化悲剧效果。
+
+情感表达方面,我需要展现主人公强烈的绝望感、悔恨感和无助感。我会描写主人公身体上的感受(颤抖、喉咙异物感),以及内心深处的挣扎和自我责备。我会避免使用过于直白的情感表达,而是通过细节描写和环境描写来间接传达情感。例如,我会描写主人公面对巨额债务时的绝望和绝望感。
+
+总而言之,我希望通过精心设计的情节、细腻的描写手法和深刻的情感表达,创作出一篇具有强烈冲击力的爆仓文学作品。
+<"/think">
+
+2077年11月16日,川普胜选连任当天,美国市场再次遭遇黑色星期四。加密货币市场像断了线的风筝,“XI币”从20美元暴跌至5.7美元。我瘫坐在电脑前,浑身发抖,喉咙里泛着一股浓重的异物感。
+
+三个月前,我还是某顶尖投行量化分析师,年薪300万。我坚信自己掌握了金融市场规律,用三个月时间研究量化模型,用算法精准捕捉市场波动。我甚至劝表哥投资了他全部积蓄,告诉他这是稳赚不赔的投资。
+
+一切都发生在上周。我在推特看到朋友发了一条动态:“币价跌破支撑位,短期反弹可期。”我毫不犹豫地加了仓,甚至借了朋友的信用卡补了保证金。我以为只要坚持几个月,就能实现财务自由。
+
+然而,市场永远不会让你轻松。川普胜选的消息 first broke 时,“XI币”还停留在8.9美元。第二天开始暴跌,从8.9美元一路跌破5美元。我的账户从200万跌到30万,再到8万,再到今天仅剩的384.27美元。
+
+我开始后悔了。为什么我会相信那个“量化分析师”的预言?为什么我会相信那些所谓的专家分析?我甚至给表哥打了电话,劝他把剩下的钱都给我,说“这是稳赚不赔的投资”。
+
+现在,我不仅赔光了自己的积蓄,还欠下了父母的养老金。父母原本准备让我去美国读硕士,现在他们的存款全没了。表哥也来找我借钱,我拒绝了他的请求,只说“对不起,我已经输光了一切”。
+
+桌上还放着一杯已经发凉的可乐,我伸手去抓的时候,突然感觉喉咙里有一股酸涩。我打开手机,看到朋友圈里曾经的同事都在晒年终奖和新房。
+
+我闭上了眼睛,脑海中浮现出川普胜选的场景:美国经济复苏预期强烈,加密货币牛市正当时。我不敢相信,怎么会走到这一步?
+
+我颤抖的手开始发抖,冷汗顺着脸颊流下来。电脑屏幕的蓝光映在地板上,像一片冰冷的夜空。我感觉太阳穴突突直跳,喉咙里泛着一股浓重的血腥味。
+
+“��行了,我不能再翻盘了。”我咬着嘴唇,用力地抽了口烟,烟雾缭绕在房间中央。
+
+2077年11月16日,我的人生彻底崩塌。那些曾经让我引以为傲的知识和技能,此刻成了我人生的阻碍。我感到绝望,失去了希望。
+
+窗外,秋雨淅淅沥沥地下着,像是一场无声的嘲讽。我的心里,只剩下一片混沌的空白。
+</details>

adapter_config.json

@@ -0,0 +1,34 @@
+{
+  "alpha_pattern": {},
+  "auto_mapping": null,
+  "base_model_name_or_path": "casperhansen/deepseek-r1-distill-qwen-7b-awq",
+  "bias": "none",
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 256,
+  "lora_dropout": 0.0,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "r": 128,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "v_proj",
+    "down_proj",
+    "q_proj",
+    "o_proj",
+    "up_proj",
+    "gate_proj",
+    "k_proj"
+  ],
+  "task_type": "CAUSAL_LM",
+  "use_dora": false,
+  "use_rslora": false
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b8a97f4a0db12d7c39acf6ccd9479693e8238ec9ab2e751d9366daded24d0f69
+size 1291899160

special_tokens_map.json

@@ -0,0 +1,23 @@
+{
+  "bos_token": {
+    "content": "<｜begin▁of▁sentence｜>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<｜end▁of▁sentence｜>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<｜end▁of▁sentence｜>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e20ddafc659ba90242154b55275402edeca0715e5dbb30f56815a4ce081f4893
+size 11422778

tokenizer_config.json

@@ -0,0 +1,197 @@
+{
+  "add_bos_token": true,
+  "add_eos_token": false,
+  "add_prefix_space": null,
+  "added_tokens_decoder": {
+    "151643": {
+      "content": "<｜end▁of▁sentence｜>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151644": {
+      "content": "<｜User｜>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151645": {
+      "content": "<｜Assistant｜>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151646": {
+      "content": "<｜begin▁of▁sentence｜>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151647": {
+      "content": "<|EOT|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151648": {
+      "content": "<think>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151649": {
+      "content": "</think>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151650": {
+      "content": "<|quad_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151651": {
+      "content": "<|quad_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151652": {
+      "content": "<|vision_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151653": {
+      "content": "<|vision_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151654": {
+      "content": "<|vision_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151655": {
+      "content": "<|image_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151656": {
+      "content": "<|video_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151657": {
+      "content": "<tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151658": {
+      "content": "</tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151659": {
+      "content": "<|fim_prefix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151660": {
+      "content": "<|fim_middle|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151661": {
+      "content": "<|fim_suffix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151662": {
+      "content": "<|fim_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151663": {
+      "content": "<|repo_name|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151664": {
+      "content": "<|file_sep|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "bos_token": "<｜begin▁of▁sentence｜>",
+  "chat_template": "{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% set ns = namespace(is_first=false, is_tool=false, is_output_first=true, system_prompt='') %}{%- for message in messages %}{%- if message['role'] == 'system' %}{% set ns.system_prompt = message['content'] %}{%- endif %}{%- endfor %}{{bos_token}}{{ns.system_prompt}}{%- for message in messages %}{%- if message['role'] == 'user' %}{%- set ns.is_tool = false -%}{{'<｜User｜>' + message['content']}}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is none %}{%- set ns.is_tool = false -%}{%- for tool in message['tool_calls']%}{%- if not ns.is_first %}{{'<｜Assistant｜><｜tool▁calls▁begin｜><｜tool▁call▁begin��>' + tool['type'] + '<｜tool▁sep｜>' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + '<｜tool▁call▁end｜>'}}{%- set ns.is_first = true -%}{%- else %}{{'\\n' + '<｜tool▁call▁begin｜>' + tool['type'] + '<｜tool▁sep｜>' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + '<｜tool▁call▁end｜>'}}{{'<｜tool▁calls▁end｜><｜end▁of▁sentence｜>'}}{%- endif %}{%- endfor %}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is not none %}{%- if ns.is_tool %}{{'<｜tool▁outputs▁end｜>' + message['content'] + '<｜end▁of▁sentence｜>'}}{%- set ns.is_tool = false -%}{%- else %}{% set content = message['content'] %}{% if '</think>' in content %}{% set content = content.split('</think>')[-1] %}{% endif %}{{'<｜Assistant｜>' + content + '<｜end▁of▁sentence｜>'}}{%- endif %}{%- endif %}{%- if message['role'] == 'tool' %}{%- set ns.is_tool = true -%}{%- if ns.is_output_first %}{{'<｜tool▁outputs▁begin｜><｜tool▁output▁begin｜>' + message['content'] + '<｜tool▁output▁end｜>'}}{%- set ns.is_output_first = false %}{%- else %}{{'\\n<｜tool▁output▁begin｜>' + message['content'] + '<｜tool▁output▁end｜>'}}{%- endif %}{%- endif %}{%- endfor -%}{% if ns.is_tool %}{{'<｜tool▁outputs▁end｜>'}}{% endif %}{% if add_generation_prompt and not ns.is_tool %}{{'<｜Assistant｜>'}}{% endif %}",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<｜end▁of▁sentence｜>",
+  "extra_special_tokens": {},
+  "legacy": true,
+  "model_max_length": 2048,
+  "pad_token": "<｜end▁of▁sentence｜>",
+  "padding_side": "right",
+  "sp_model_kwargs": {},
+  "split_special_tokens": false,
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": null,
+  "use_default_system_prompt": false
+}