hululuzhu/chinese-poem-t5-mengzi-finetune

2023 update: Check new version at https://huggingface.co/hululuzhu/chinese-poem-t5-v2

一个好玩的中文AI写诗模型

• 两种模式仿写唐宋古诗
  • 无特定风格输入格式 作诗：您的标题，比如 作诗：秋思
  • 无特定风格输入格式 作诗：您的标题 模仿：唐宋诗人名字，比如 作诗：秋思 模仿：李清照
• 如果你想尝试
  • 如果自己有GPU环境，可以参考我放在huggingface的示例代码
  • 或者使用Google Colab，用这个简化版colab来玩我的T5写诗模型
• 训练代码请参考我的github链接
• 如果想了解一些背景和讨论，可以看我的slides

架构

• 预训练使用 澜舟科技的孟子 T5
• 我只训练了3-4个epoch，看loss的下降速度应该还有提升空间

数据来源

• 唐诗宋词 https://github.com/chinese-poetry/chinese-poetry
  • 2022 T5 方案考虑了 标题 -> 诗歌，或者 标题+诗人 -> 诗歌
  • 标题长度限制12token，诗人4token，诗歌64token，结尾用句号，具体参考training下面的notebook

语言支持

• 默认简体中文
• 2022 T5 inference 支持繁体中文，需要标记 is_input_traditional_chinese=True
• 如需要训练繁体中文模型，查找chinese_converter.to_simplified改为chinese_converter.to_traditional

训练

• 我是用 Google Colab Pro（推荐，16G的GPU一个月随便用才9.99！）
• transformer方案使用TF2 keras，用TPU训练，模型训练时间~10小时
• T5因为使用simplet5 (pytorch + huggingface 的一个封装)，所以使用GPU训练，模型训练时间~6-8小时

运行代码示例

# 安装以下2个包方便文字处理和模型生成
# !pip install -q simplet5
# !pip install -q chinese-converter

# 具体代码
import torch
from simplet5 import SimpleT5
from transformers import T5Tokenizer, T5ForConditionalGeneration
import chinese_converter

MODEL_PATH = "hululuzhu/chinese-poem-t5-mengzi-finetune"
class PoemModel(SimpleT5):
  def __init__(self) -> None:
    super().__init__()
    self.device = torch.device("cuda")

  def load_my_model(self):
    self.tokenizer = T5Tokenizer.from_pretrained(MODEL_PATH)
    self.model = T5ForConditionalGeneration.from_pretrained(MODEL_PATH)

# 有一些预先设定参数
AUTHOR_PROMPT = "模仿："
TITLE_PROMPT = "作诗："
EOS_TOKEN = '</s>'

poem_model = PoemModel()
poem_model.load_my_model()
poem_model.model = poem_model.model.to('cuda')

MAX_AUTHOR_CHAR = 4
MAX_TITLE_CHAR = 12
MIN_CONTENT_CHAR = 10
MAX_CONTENT_CHAR = 64

def poem(title_str, opt_author=None, model=poem_model,
         is_input_traditional_chinese=False):
  model.model = model.model.to('cuda')
  if opt_author:
    in_request = TITLE_PROMPT + title_str[:MAX_TITLE_CHAR] + EOS_TOKEN + AUTHOR_PROMPT + opt_author[:MAX_AUTHOR_CHAR]
  else:
    in_request = TITLE_PROMPT + title_str[:MAX_TITLE_CHAR]
  if is_input_traditional_chinese:
    in_request = chinese_converter.to_simplified(in_request)
  out = model.predict(in_request,
                      max_length=MAX_CONTENT_CHAR)[0].replace(",", "，")
  if is_input_traditional_chinese:
    out = chinese_converter.to_traditional(out)
    print(f"標題： {in_request.replace('</s>', ' ')}\n詩歌： {out}")
  else:
    print(f"标题： {in_request.replace('</s>', ' ')}\n诗歌： {out}")

简体中文示例

for title in ['秋思', "百花", '佳人有约']:
  # Empty author means general style
  for author in ['', "杜甫", "李白", "李清照", "苏轼"]:
    poem(title, author)
  print()
标题： 作诗：秋思
诗歌： 秋思不可奈，况复值新晴。露叶红犹湿，风枝翠欲倾。客愁随日薄，归夢逐云轻。独倚阑干久，西风吹雁声。
标题： 作诗：秋思 模仿：杜甫
诗歌： 西风动高树，落叶满空庭。白露侵肌冷，青灯照眼青。客愁随暮角，归夢逐残星。独坐还成感，秋声不可听。
标题： 作诗：秋思 模仿：李白
诗歌： 秋色满空山，秋风动客衣。浮云不到处，明月自来归。
标题： 作诗：秋思 模仿：李清照
诗歌： 秋思不可奈，况复在天涯。客路逢寒食，家书报早炊。风霜侵鬓发，天地入诗脾。欲寄南飞雁，归期未有期。
标题： 作诗：秋思 模仿：苏轼
诗歌： 西风吹雨过江城，独倚阑干思不胜。黄叶满庭秋意动，碧梧当户夜寒生。故园夢断人千里，新雁书来雁一行。莫怪衰翁无业，一樽聊复慰平生。

标题： 作诗：百花
诗歌： 百花开尽绿阴成，红紫妖红照眼明。谁道东风无意思，一枝春色爲谁荣。
标题： 作诗：百花 模仿：杜甫
诗歌： 百花开尽绿阴成，独有江梅照眼明。莫道春光无别意，只应留得一枝横。
标题： 作诗：百花 模仿：李白
诗歌： 百花如锦树，春色满芳洲。日暖花争发，风轻絮乱流。香飘金谷露，艳拂玉山楼。谁道无情物，年年爲客愁。
标题： 作诗：百花 模仿：李清照
诗歌： 百花如锦水如蓝，春到园林处处堪。谁道东风不相识，一枝开尽绿阴南。
标题： 作诗：百花 模仿：苏轼
诗歌： 百花开尽绿阴成，谁道春风不世情。若使此花无俗韵，世间那得有芳名。

标题： 作诗：佳人有约
诗歌： 佳人约我共登台，笑指花前酒半杯。莫道春光无分到，且看红日上楼来。
标题： 作诗：佳人有约 模仿：杜甫
诗歌： 佳人有约到江干，共约寻春入肺肝。红杏绿桃相映发，白苹红蓼不胜寒。花前醉舞春风裏，月下狂歌夜漏残。莫怪相逢不相识，只应清夢在长安。
标题： 作诗：佳人有约 模仿：李白
诗歌： 佳人有约在瑶台，花落花开不待开。莫道春风无分到，且看明月照楼台。
标题： 作诗：佳人有约 模仿：李清照
诗歌： 佳人约我共登台，花下相携醉不回。莫道春归无觅处，桃花依旧笑人来。
标题： 作诗：佳人有约 模仿：苏轼
诗歌： 佳人约我共清欢，笑指花前醉玉盘。莫道春归无觅处，且看红日上栏干。

繁体中文

for title in ['春節', "中秋", "春秋战国"]:
  # Empty author means general style
  for author in ['', "杜甫", "李白", "李清照", "蘇軾"]:
    poem(title, author, is_input_traditional_chinese=True)
  print()

標題： 作诗：春节
詩歌： 去年今日到江干，家在青山綠水間。老去心情渾似舊，春來情緒只如閒。
標題： 作诗：春节 模仿：杜甫
詩歌： 江上春歸早，山中客到稀。亂花隨處發，細草向人飛。節物催年老，生涯逐日非。故園桃李樹，猶得及芳菲。
標題： 作诗：春节 模仿：李白
詩歌： 去年今日來，花發滿城開。今歲明朝去，明年依舊來。
標題： 作诗：春节 模仿：李清照
詩歌： 去年今日是今朝，不覺今年又一宵。但有梅花堪共醉，何須柳絮更相撩。
標題： 作诗：春节 模仿：苏轼
詩歌： 今年春色到江干，柳眼桃腮次第看。但得此身長健在，不須回首歎凋殘。

標題： 作诗：中秋
詩歌： 秋氣侵肌骨，寒光入鬢毛。雲收千里月，風送一帆高。
標題： 作诗：中秋 模仿：杜甫
詩歌： 秋色滿江天，清光萬里懸。雲開見海月，水落見沙田。白露侵肌冷，青苔滿鬢鮮。何當一樽酒，共醉玉壺前。
標題： 作诗：中秋 模仿：李白
詩歌： 中秋月色好，況復是中秋。玉兔擣藥杵，金烏搗藥。雲開天似水，風起海如漚。此夜何人見，長歌淚不流。
標題： 作诗：中秋 模仿：李清照
詩歌： 秋氣侵肌骨，寒光入鬢毛。客愁隨日減，詩思逐風高。露重衣襟溼，天高雁影豪。何當一樽酒，來此醉陶陶。
標題： 作诗：中秋 模仿：苏轼
詩歌： 月從海上生，照我庭下影。不知此何夕，但見天宇靜。

標題： 作诗：春秋战国
詩歌： 秦皇不識趙高祖，魯國何嘗有霸臣。若使當時無孔子，豈知今日是前身。
標題： 作诗：春秋战国 模仿：杜甫
詩歌： 秦王不戰楚人驕，魯國亡秦勢亦銷。若使當時無霸業，豈能終始是英豪。
標題： 作诗：春秋战国 模仿：李白
詩歌： 魯國亡家事可哀，秦王不戰亦須哀。當時若使齊公子，何用區區爲禍胎。
標題： 作诗：春秋战国 模仿：李清照
詩歌： 秦皇不識趙高祖，魯國何須問大鈞。若使當時無孔子，豈知今日有秦人。
標題： 作诗：春秋战国 模仿：苏轼
詩歌： 秦皇不識趙高祖，魯國何如鄭子真。若使當時無孔子，豈知今日有張巡。