当上下文过长的时候，例如1w字，大模型一直输出一句话，另外思维链也无法通过提示词来关闭
#10
by
addasdasdsa
- opened
我是通过vllm启动的该模型，上下文长度设置到32k
@addasdasdsa Thanks for your interests! The context length of this model has not been extended, thus we recommend keeping the input within 1k token.
那如何解决思维链生成的问题呢，有些场景下，我不想让其输出思维链，因为会导致输出结果较长，我使用官方提供的提示词，发现有些时候没有效果
那如何解决思维链生成的问题呢，有些场景下，我不想让其输出思维链，因为会导致输出结果较长，我使用官方提供的提示词，发现有些时候没有效果
你可以直接将[COT]作为stop str，不管是transformer还是vllm都支持，生成过程会自动停止
例如：stop: ~typing.List[str] | str | None = None, stop_token_ids: ~typing.List[int] | None = None （https://docs.vllm.ai/en/v0.6.4/dev/sampling_params.html ）
好的，感谢
This comment has been hidden (marked as Resolved)