Transformers
Chinese
Not-For-All-Audiences

模型说明

此模型是一个全新的系列“UnlimitedRP”(Unlimited Role Playing)的v7预览版,UnlimitedRP是一个角色扮演系列模型,此系列专注于无限制roleplay(包括erp),模型规模在3B到7B

此模型大幅度超越v6时期微调的其它模型(包括7B-porn-chat),使用上下文最大10k的27k条数据进行微调,其中nsfw小说占35%,正常向小说占20%,多轮qa数据占10%,多轮角色扮演数据占30%,概念理解数据(色情词汇概念,仙侠玄幻概念)占5%。

此模型为novel-chat模型,回应类似小说的格式(具体请看展示例子),主打沉浸式,因为训练中加入了大量nsfw小说进行泛化,所以在erp场景下对sex的描述会非常多(并且很生动,我很喜欢这种灵动性)。

此模型非常喜欢写小说不知道为什么,可能是小说多了,所以非常建议在模型回复的第一轮由自己主动添加作为模型回复,不然模型就有可能开始写小说,但是一旦不写小说,表现会相当不错

此模型本应该需要设定角色名称,或者固定设置为另一种类型的QA对,让数据摆脱原始分布,不过如果这样的话做loss mask就麻烦了,所以我用动态lr(从高到低)改变了User-Assistant模式的分布,虽然应该不会有脱离分布的方式效果好,但是(有点懒)......凑合用吧~ 反正这只是个preview,不是吗?

效果展示

image/png


image/png

image/png


image/png

推荐参数范围:

Temperature=0.6

Top_P=0.7

Presence Penalty=0.1

Frequency Penalty=0.8

运行方式

使用时应不需要也不应该设定角色的名字,如只需设置System就可以使用,但是prompt设计推荐使用以下格式

从现在开始你是.....而我是......当前情景:......

最起码也要指明你(LLM)是谁,我(用户)是谁,这样的prompt符合微调时的prompt格式,可以极大程度减少模型从角色扮演变成小说创造的可能

本地运行:RWKV-Runner

服务器部署:ai00

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Seikaijyu/RWKV7-2.9B-v3-UnlimitedRP-mini-novel-chat-preview

Finetuned
(15)
this model
Finetunes
1 model
Quantizations
1 model

Dataset used to train Seikaijyu/RWKV7-2.9B-v3-UnlimitedRP-mini-novel-chat-preview

Collections including Seikaijyu/RWKV7-2.9B-v3-UnlimitedRP-mini-novel-chat-preview