---
task: token-classification  # 指定任务类型（分词属于“token分类”）
widget:
  - text: "Hello, this is a test of my BPE tokenizer!"  # 默认测试文本
    example_title: "基础分词示例"
  - text: "Natural language processing is fun and useful."  # 第二个示例
    example_title: "NLP相关文本"
inference:
  parameters:
    add_special_tokens: false  # 可选：是否添加特殊token（如[CLS]）
---