metadata

task: token-classification
widget:
  - text: Hello, this is a test of my BPE tokenizer.
    example_title: 英文分词示例
  - text: 我爱自然语言处理，这是我的分词器测试。
    example_title: 中文分词示例

My Tokenizer

这是一个基于BPE算法训练的分词器，支持中英文混合文本。

如何使用

from tokenizers import Tokenizer

# 加载分词器
tokenizer = Tokenizer.from_pretrained("你的用户名/my-tokenizer")

# 分词示例
text = "Hello, world!"
output = tokenizer.encode(text)
print("分词结果:", output.tokens)