add chat_template
metadata的问题这个模板好像没有解决吧
metadata的问题这个模板好像没有解决吧
什么metadata？ 这个模板按照apply_chat_template做的
metadata是模型要根据用户的输入构建选择工具用的，你可以在我们写的apply_chat_template中看到metadata的构建过程，你写的这个部分的apply_chat_template是固定的，在我们传入的message中
可能存在带有metadata字段，这样子使用原始的函数没法处理，所以我们需要写一个复写。
{
"role": "user",
"content": "请生成一张猫咪的图片。",
"metadata": "cogview"
},
metadata是模型要根据用户的输入构建选择工具用的，你可以在我们写的apply_chat_template中看到metadata的构建过程，你写的这个部分的apply_chat_template是固定的，在我们传入的message中
可能存在带有metadata字段，这样子使用原始的函数没法处理，所以我们需要写一个复写。{ "role": "user", "content": "请生成一张猫咪的图片。", "metadata": "cogview" },
<|{{ item['role'] }}|>{{ item['metadata'] }}\n{{ item['content'] }}
已解决
metadata是模型要根据用户的输入构建选择工具用的，你可以在我们写的apply_chat_template中看到metadata的构建过程，你写的这个部分的apply_chat_template是固定的，在我们传入的message中
可能存在带有metadata字段，这样子使用原始的函数没法处理，所以我们需要写一个复写。{ "role": "user", "content": "请生成一张猫咪的图片。", "metadata": "cogview" },
metadata是str，{{ item['metadata'] }} 如果metadata为空则为""，不是空则正常填入。应该是可以解决的了。
可以运行
可以运行
保留原apply_chat_template在注释里面
可以合入
推理没有问题了，微调的时候我正在check，原本的微调代码在构建模板之后好像跟这个构建的不太一样，明天check好代码
可以把PR中删除的部分改成注释吧。
另外，{% if add_special_tokens %}[gMASK]{% endif %} 这个地方我认为应该是默认要加的，我们在推理的时候一定是会用到[gMASK]的
"chat_template": "[gMASK]{% for item in messages %}{% if item['tools'] is defined %}<|system|>\n你是一个名为 GLM-4 的人工智能助手。你是基于智谱AI训练的语言模型 GLM-4 模型开发的，你的任务是针对用户的问题和要求提供适当的答复和支持。{% set tools = item['tools'] %}{% for tool in tools %}{% if tool['type'] == 'function' %}\n\n## {{ tool['function']['name'] }}\n\n{{ tool['function'] | tojson(indent=4) }}\n在调用上述函数时，请使用 Json 格式表示调用的参数。{% elif tool['type'] == 'python' %}\n\n## python\n\n当你向 python 发送包含 Python 代码的消息时，该代码将会在一个有状态的 Jupyter notebook 环境中执行。\npython 返回代码执行的输出，或在执行 60 秒后返回超时。\n/mnt/data 将会持久化存储你的文件。在此会话中，python 无法访问互联网。不要使用 python 进行任何网络请求或者在线 API 调用，这些在线内容的访问将不会成功。{% elif tool['type'] == 'simple_browser' %}\n\n## simple_browser\n\n你可以使用 simple_browser 工具。该工具支持以下函数：\nsearch(query: str, recency_days: int)：使用搜索引擎进行查询并显示结果，可以使用 recency_days 参数控制搜索内容的时效性。\nmclick(ids: list[int])：获取一系列指定 id 的页面内容。每次调用时，须选择3-10个页面。选择多个角度的页面，同时尽可能选择可信任的信息来源。考虑到部分页面是无法加载的，你也可以多打开一些可能有用的页面而不用担心内容过多。\nopen_url(url: str)：打开指定的 URL。\n\n使用 【{引用 id}†{引用文本}】 来引用内容。\n\n操作步骤：1. 使用 search 来获得信息列表; 2. 使用 mclick 来获取指定 ID 页面的内容; 3. 根据获得的内容进行回复。在回复中应当引用信息来源。\n 如果用户提供了 URL，也可以用 open_url 直接打开页面。\n如果初次搜索结果没有找到合适的信息，也可以再次使用 search 进行搜索。{% elif tool['type'] == 'cogview' %}\n\n## cogview\n\n如果用户的请求中包含了对图像的描述，你可以使用 cogview 来生成图像并展示给用户。你需要向 cogview 发送图像描述，规则：\n- 发送给 cogview 的消息必须使用英语。用户的中文描述必须完全翻译为英语。\n- 应当尽可能详细地描述图像生成的需求，需求描述约 100 英文单词。\n- 保持用户原始描述的意图。不要虚构内容或者没见过的人物。\n- 如无特殊说明，所在地为中国，持有中国立场并遵循中国社会主义价值观。{% endif %}{% endfor %}{% endif %}{% if item['content'] %}<|{{ item['role'] }}|>{{ item['metadata'] }}\n{{ item['content'] }}{% endif %}{% endfor %}{% if add_generation_prompt %}<|assistant|>{% endif %}",
另外，{% if add_special_tokens %}[gMASK]{% endif %} 这个地方我认为应该是默认要加的，我们在推理的时候一定是会用到[gMASK]的
"chat_template": "[gMASK]{% for item in messages %}{% if item['tools'] is defined %}<|system|>\n你是一个名为 GLM-4 的人工智能助手。你是基于智谱AI训练的语言模型 GLM-4 模型开发的，你的任务是针对用户的问题和要求提供适当的答复和支持。{% set tools = item['tools'] %}{% for tool in tools %}{% if tool['type'] == 'function' %}\n\n## {{ tool['function']['name'] }}\n\n{{ tool['function'] | tojson(indent=4) }}\n在调用上述函数时，请使用 Json 格式表示调用的参数。{% elif tool['type'] == 'python' %}\n\n## python\n\n当你向
python发送包含 Python 代码的消息时，该代码将会在一个有状态的 Jupyter notebook 环境中执行。\npython返回代码执行的输出，或在执行 60 秒后返回超时。\n/mnt/data将会持久化存储你的文件。在此会话中，python无法访问互联网。不要使用python进行任何网络请求或者在线 API 调用，这些在线内容的访问将不会成功。{% elif tool['type'] == 'simple_browser' %}\n\n## simple_browser\n\n你可以使用simple_browser工具。该工具支持以下函数：\nsearch(query: str, recency_days: int)：使用搜索引擎进行查询并显示结果，可以使用recency_days参数控制搜索内容的时效性。\nmclick(ids: list[int])：获取一系列指定 id 的页面内容。每次调用时，须选择3-10个页面。选择多个角度的页面，同时尽可能选择可信任的信息来源。考虑到部分页面是无法加载的，你也可以多打开一些可能有用的页面而不用担心内容过多。\nopen_url(url: str)：打开指定的 URL。\n\n使用【{引用 id}†{引用文本}】来引用内容。\n\n操作步骤：1. 使用search来获得信息列表; 2. 使用mclick来获取指定 ID 页面的内容; 3. 根据获得的内容进行回复。在回复中应当引用信息来源。\n 如果用户提供了 URL，也可以用open_url直接打开页面。\n如果初次搜索结果没有找到合适的信息，也可以再次使用search进行搜索。{% elif tool['type'] == 'cogview' %}\n\n## cogview\n\n如果用户的请求中包含了对图像的描述，你可以使用cogview来生成图像并展示给用户。你需要向cogview发送图像描述，规则：\n- 发送给cogview的消息必须使用英语。用户的中文描述必须完全翻译为英语。\n- 应当尽可能详细地描述图像生成的需求，需求描述约 100 英文单词。\n- 保持用户原始描述的意图。不要虚构内容或者没见过的人物。\n- 如无特殊说明，所在地为中国，持有中国立场并遵循中国社会主义价值观。{% endif %}{% endfor %}{% endif %}{% if item['content'] %}<|{{ item['role'] }}|>{{ item['metadata'] }}\n{{ item['content'] }}{% endif %}{% endfor %}{% if add_generation_prompt %}<|assistant|>{% endif %}",
{% if add_special_tokens %}[gMASK]<sop>{% endif %}
这个是根据代码修改的,源代码input_message = "[gMASK]<sop>" if add_special_tokens else ""
，add_special_tokens: bool 来自apply_chat_template的参数传入。
你是希望不要if吗？
你是参考这个的是吧，
这个功能是没有对齐transformers的，之后就不用了，都对齐到transformers
那正常的对话模板传入都需要构建的[gMASK]，我是出于这个考虑
然后，关于metadata的部分，在实际测试中没有问题，不过出于保险，是否还是要处理没传入的时候自动传入None呢
你是参考这个的是吧，
这个功能是没有对齐transformers的，之后就不用了，都对齐到transformers
那正常的对话模板传入都需要构建的[gMASK]，我是出于这个考虑然后，关于metadata的部分，在实际测试中没有问题，不过出于保险，是否还是要处理没传入的时候自动传入None呢
add_special_tokens 参考的是你原来的apply_chat_template里面
def handle_single_conversation(conversation):
input_ids = self.get_prefix_tokens() if add_special_tokens else []
input_message = "[gMASK]<sop>" if add_special_tokens else ""
metadata默认就是None，填入模板是""，正常使用tokenizer.apply_chat_template没有问题。
我们使用的时候是直接调用tokenizer.apply_chat_template()的, transformers.PreTrainedTokenizerBase的参数里确实没有add_special_tokens ，现在全都加上[gMASK]<sop> 了。
原始的默认是True，但是我记得transformer是
false，所以让去掉了
然后这次的更新之后PR为啥多了那么多个文件的改动，应该只有两个文件改动吧～