Upload tokenizer
Browse files- tokenizer.json +0 -10
tokenizer.json
CHANGED
|
@@ -34,10 +34,6 @@
|
|
| 34 |
"normalizer": {
|
| 35 |
"type": "Sequence",
|
| 36 |
"normalizers": [
|
| 37 |
-
{
|
| 38 |
-
"type": "Prepend",
|
| 39 |
-
"prepend": "▁"
|
| 40 |
-
},
|
| 41 |
{
|
| 42 |
"type": "Replace",
|
| 43 |
"pattern": {
|
|
@@ -117,12 +113,6 @@
|
|
| 117 |
},
|
| 118 |
{
|
| 119 |
"type": "Fuse"
|
| 120 |
-
},
|
| 121 |
-
{
|
| 122 |
-
"type": "Strip",
|
| 123 |
-
"content": " ",
|
| 124 |
-
"start": 1,
|
| 125 |
-
"stop": 0
|
| 126 |
}
|
| 127 |
]
|
| 128 |
},
|
|
|
|
| 34 |
"normalizer": {
|
| 35 |
"type": "Sequence",
|
| 36 |
"normalizers": [
|
|
|
|
|
|
|
|
|
|
|
|
|
| 37 |
{
|
| 38 |
"type": "Replace",
|
| 39 |
"pattern": {
|
|
|
|
| 113 |
},
|
| 114 |
{
|
| 115 |
"type": "Fuse"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 116 |
}
|
| 117 |
]
|
| 118 |
},
|