Upload tokenizer

tokenizer.json

@@ -72,7 +72,7 @@
     "single": [
       {
         "SpecialToken": {
-          "id": "<unk>",
+          "id": "<s>",
           "type_id": 0
         }
       },
@@ -92,7 +92,7 @@
     "pair": [
       {
         "SpecialToken": {
-          "id": "<unk>",
+          "id": "<s>",
           "type_id": 0
         }
       },
@@ -125,13 +125,13 @@
           "</s>"
         ]
       },
-      "<unk>": {
-        "id": "<unk>",
+      "<s>": {
+        "id": "<s>",
         "ids": [
-          3
+          0
         ],
         "tokens": [
-          "<unk>"
+          "<s>"
         ]
       }
     }

tokenizer_config.json

@@ -46,8 +46,8 @@
   "pad_token": "<pad>",
   "sep_token": "</s>",
   "sp_model_kwargs": {},
-  "src_lang": "eng_Latn",
-  "tgt_lang": null,
+  "src_lang": "<s>",
+  "tgt_lang": "<s>",
   "tokenizer_class": "NllbTokenizer",
   "unk_token": "<unk>"
 }