p1atdev commited on
Commit
1c21217
·
verified ·
1 Parent(s): 58afeb1

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +37 -0
README.md CHANGED
@@ -15,4 +15,41 @@ tags:
15
 
16
  # Qwen2.5 1.5B R15
17
 
 
18
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
15
 
16
  # Qwen2.5 1.5B R15
17
 
18
+ The `<|im_end|>` token does not work.
19
 
20
+ ## Example
21
+
22
+ ```py
23
+ from transformers import pipeline
24
+
25
+ messages = [
26
+ {
27
+ "role": "system",
28
+ "content": """\
29
+ あなたは思慮深いassistantとして回答します。
30
+ userの質問に対して、<think></think>ブロック内で思考してから、<answer></answer>内にファイナルアンサーし、最後に<|im_end|>で回答終了してください。
31
+ 具体的には「<think>ここで思考</think><answer>ここに最終解答</answer><|im_end|>」というような形です。
32
+ userの指示に対応しなさい。""".strip(),
33
+ {
34
+ "role": "user",
35
+ "content": """次の問題を解き、計算結果を数値のみで解答してください。
36
+ ブレナンは学校の課題のために研究をしており、参考にするためにインターネットからファイルをコンピュータにダウンロードする必要がありました。800個のファイルをダウンロードした後、役に立たないものを70%削除しました。さらに400個のファイルをダウンロードしましたが、再び3/5が関係ないことに気づきました。2回目にダウンロードした関係のないファイルを削除した後、彼は何個の価値のあるファイルを持っていましたか?""",
37
+ },
38
+ ]
39
+ prompt = tokenizer.apply_chat_template(
40
+ messages,
41
+ tokenize=False,
42
+ add_generation_prompt=True,
43
+ )
44
+ prompt += "<think>" # optional
45
+ print(prompt)
46
+
47
+ print(
48
+ pipe(
49
+ prompt,
50
+ do_sample=True,
51
+ max_new_tokens=512,
52
+ temperature=0.9,
53
+ )[0]["generated_text"][len(prompt) :].strip()
54
+ )
55
+ ```