Add chat_template to tokenizer_config.json
Browse files- tokenizer_config.json +2 -1
tokenizer_config.json
CHANGED
@@ -52,5 +52,6 @@
|
|
52 |
"pad_token": "<|plamo:pad|>",
|
53 |
"sep_token": null,
|
54 |
"tokenizer_class": "Plamo2Tokenizer",
|
55 |
-
"unk_token": "<|plamo:unk|>"
|
|
|
56 |
}
|
|
|
52 |
"pad_token": "<|plamo:pad|>",
|
53 |
"sep_token": null,
|
54 |
"tokenizer_class": "Plamo2Tokenizer",
|
55 |
+
"unk_token": "<|plamo:unk|>",
|
56 |
+
"chat_template": "{{- \"<|plamo:op|>dataset\\ntranslation\\n\" -}}\n{% for message in messages %}\n {%- if message['role'] == 'user' %}\n {{- '<|plamo:op|>input lang=Japanese|English\\n' + message['content'] + '\\n' }}\n {%- elif message['role'] == 'assistant' %}\n {{- '<|plamo:op|>output\\n' + message['content']}}\n {%- if not loop.last %}\n {{- '\\n'}}\n {%- endif %}\n {%- endif %}\n {% if loop.last and message['role'] != 'assistant' and add_generation_prompt %}\n {{- '<|plamo:op|>output\\n' -}}\n {% endif %}\n{% endfor %}\n"
|
57 |
}
|