anzorq commited on
Commit
2ac0d15
·
1 Parent(s): 7dab754

Model save

Browse files
README.md ADDED
@@ -0,0 +1,52 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ base_model: facebook/m2m100_418M
4
+ tags:
5
+ - generated_from_trainer
6
+ model-index:
7
+ - name: m2m100_418M_ft_ru-kbd_63K
8
+ results: []
9
+ ---
10
+
11
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
12
+ should probably proofread and complete it, then remove this comment. -->
13
+
14
+ # m2m100_418M_ft_ru-kbd_63K
15
+
16
+ This model is a fine-tuned version of [facebook/m2m100_418M](https://huggingface.co/facebook/m2m100_418M) on an unknown dataset.
17
+
18
+ ## Model description
19
+
20
+ More information needed
21
+
22
+ ## Intended uses & limitations
23
+
24
+ More information needed
25
+
26
+ ## Training and evaluation data
27
+
28
+ More information needed
29
+
30
+ ## Training procedure
31
+
32
+ ### Training hyperparameters
33
+
34
+ The following hyperparameters were used during training:
35
+ - learning_rate: 5e-05
36
+ - train_batch_size: 56
37
+ - eval_batch_size: 56
38
+ - seed: 42
39
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
40
+ - lr_scheduler_type: linear
41
+ - num_epochs: 3.0
42
+
43
+ ### Training results
44
+
45
+
46
+
47
+ ### Framework versions
48
+
49
+ - Transformers 4.34.0.dev0
50
+ - Pytorch 2.0.1+cu118
51
+ - Datasets 2.14.5
52
+ - Tokenizers 0.14.0
added_tokens.json ADDED
@@ -0,0 +1,106 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "</s>": 2,
3
+ "<pad>": 1,
4
+ "<s>": 0,
5
+ "<unk>": 3,
6
+ "__af__": 128004,
7
+ "__am__": 128005,
8
+ "__ar__": 128006,
9
+ "__ast__": 128007,
10
+ "__az__": 128008,
11
+ "__ba__": 128009,
12
+ "__be__": 128010,
13
+ "__bg__": 128011,
14
+ "__bn__": 128012,
15
+ "__br__": 128013,
16
+ "__bs__": 128014,
17
+ "__ca__": 128015,
18
+ "__ceb__": 128016,
19
+ "__cs__": 128017,
20
+ "__cy__": 128018,
21
+ "__da__": 128019,
22
+ "__de__": 128020,
23
+ "__el__": 128021,
24
+ "__en__": 128022,
25
+ "__es__": 128023,
26
+ "__et__": 128024,
27
+ "__fa__": 128025,
28
+ "__ff__": 128026,
29
+ "__fi__": 128027,
30
+ "__fr__": 128028,
31
+ "__fy__": 128029,
32
+ "__ga__": 128030,
33
+ "__gd__": 128031,
34
+ "__gl__": 128032,
35
+ "__gu__": 128033,
36
+ "__ha__": 128034,
37
+ "__he__": 128035,
38
+ "__hi__": 128036,
39
+ "__hr__": 128037,
40
+ "__ht__": 128038,
41
+ "__hu__": 128039,
42
+ "__hy__": 128040,
43
+ "__id__": 128041,
44
+ "__ig__": 128042,
45
+ "__ilo__": 128043,
46
+ "__is__": 128044,
47
+ "__it__": 128045,
48
+ "__ja__": 128046,
49
+ "__jv__": 128047,
50
+ "__ka__": 128048,
51
+ "__kk__": 128049,
52
+ "__km__": 128050,
53
+ "__kn__": 128051,
54
+ "__ko__": 128052,
55
+ "__lb__": 128053,
56
+ "__lg__": 128054,
57
+ "__ln__": 128055,
58
+ "__lo__": 128056,
59
+ "__lt__": 128057,
60
+ "__lv__": 128058,
61
+ "__mg__": 128059,
62
+ "__mk__": 128060,
63
+ "__ml__": 128061,
64
+ "__mn__": 128062,
65
+ "__mr__": 128063,
66
+ "__ms__": 128064,
67
+ "__my__": 128065,
68
+ "__ne__": 128066,
69
+ "__nl__": 128067,
70
+ "__no__": 128068,
71
+ "__ns__": 128069,
72
+ "__oc__": 128070,
73
+ "__or__": 128071,
74
+ "__pa__": 128072,
75
+ "__pl__": 128073,
76
+ "__ps__": 128074,
77
+ "__pt__": 128075,
78
+ "__ro__": 128076,
79
+ "__ru__": 128077,
80
+ "__sd__": 128078,
81
+ "__si__": 128079,
82
+ "__sk__": 128080,
83
+ "__sl__": 128081,
84
+ "__so__": 128082,
85
+ "__sq__": 128083,
86
+ "__sr__": 128084,
87
+ "__ss__": 128085,
88
+ "__su__": 128086,
89
+ "__sv__": 128087,
90
+ "__sw__": 128088,
91
+ "__ta__": 128089,
92
+ "__th__": 128090,
93
+ "__tl__": 128091,
94
+ "__tn__": 128092,
95
+ "__tr__": 128093,
96
+ "__uk__": 128094,
97
+ "__ur__": 128095,
98
+ "__uz__": 128096,
99
+ "__vi__": 128097,
100
+ "__wo__": 128098,
101
+ "__xh__": 128099,
102
+ "__yi__": 128100,
103
+ "__yo__": 128101,
104
+ "__zh__": 128102,
105
+ "__zu__": 128103
106
+ }
all_results.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 3.0,
3
+ "predict_bleu": 17.9261,
4
+ "predict_gen_len": 16.0562,
5
+ "predict_loss": 1.1182224750518799,
6
+ "predict_runtime": 74.6942,
7
+ "predict_samples": 641,
8
+ "predict_samples_per_second": 8.582,
9
+ "predict_steps_per_second": 0.161,
10
+ "train_loss": 1.3894377234543938,
11
+ "train_runtime": 699.9638,
12
+ "train_samples": 63407,
13
+ "train_samples_per_second": 271.758,
14
+ "train_steps_per_second": 4.856
15
+ }
config.json ADDED
@@ -0,0 +1,38 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "facebook/m2m100_418M",
3
+ "activation_dropout": 0.0,
4
+ "activation_function": "relu",
5
+ "architectures": [
6
+ "M2M100ForConditionalGeneration"
7
+ ],
8
+ "attention_dropout": 0.1,
9
+ "bos_token_id": 0,
10
+ "d_model": 1024,
11
+ "decoder_attention_heads": 16,
12
+ "decoder_ffn_dim": 4096,
13
+ "decoder_layerdrop": 0.05,
14
+ "decoder_layers": 12,
15
+ "decoder_start_token_id": 2,
16
+ "dropout": 0.1,
17
+ "early_stopping": true,
18
+ "encoder_attention_heads": 16,
19
+ "encoder_ffn_dim": 4096,
20
+ "encoder_layerdrop": 0.05,
21
+ "encoder_layers": 12,
22
+ "eos_token_id": 2,
23
+ "forced_bos_token_id": 128103,
24
+ "gradient_checkpointing": false,
25
+ "init_std": 0.02,
26
+ "is_encoder_decoder": true,
27
+ "max_length": 200,
28
+ "max_position_embeddings": 1024,
29
+ "model_type": "m2m_100",
30
+ "num_beams": 5,
31
+ "num_hidden_layers": 12,
32
+ "pad_token_id": 1,
33
+ "scale_embedding": true,
34
+ "torch_dtype": "float32",
35
+ "transformers_version": "4.34.0.dev0",
36
+ "use_cache": true,
37
+ "vocab_size": 128112
38
+ }
generated_predictions.txt ADDED
@@ -0,0 +1,641 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ бахъэ машинэ
2
+ бжыхь
3
+ нобэ си ныбжьыр тхущӀрэ щырэ хъуащ.
4
+ кхъузанэ
5
+ зехьэн
6
+ мыӀэрысэ къыхэхахэр
7
+ ар ешауэ ешащ
8
+ зэкӀуэцӀылъхьа
9
+ гупым къыкӀэрыхун
10
+ зэфӀэгъэувэжын
11
+ ебгъуанэ
12
+ псалъэхэр зэрырахьэкӀкӀэ хьэрф зэгуэтхэр зэпыудакъым: пшахъуэ, бжьакъуэ
13
+ хьэлъагъ
14
+ кӀыхьагъыр къызэрапщ
15
+ мыхьэнэншагъэ
16
+ Ӏухын
17
+ щытыкӀэ къемызэгъ
18
+ гъунэгъу
19
+ фошхэ.
20
+ пщӀэншэу
21
+ нэхъыжьхэм я лэжьыгъэм кӀэлъыплъын
22
+ тхакӀуэ цӀэншэ тхыгъэ
23
+ уэ къэпхьынщ
24
+ дэ дыхъуакъэ?
25
+ зыгуэр имыгупсысын
26
+ сыт щыгъуи
27
+ мыӀэрысэ жьгъей
28
+ зэкӀэлъыкӀуэ
29
+ тхьэкӀумэкӀумэкӀэ зэпыуныгъэ
30
+ къыхэтӀыкӀын
31
+ америкэм и штат зэгуэтхэр
32
+ укӀыншэу
33
+ къифтхыкӀ псалъэхэр сыт хуэдэ упщӀэм жэуап хуэхъурэ?
34
+ псынщӀэу къеджэныгъэ
35
+ лъэныкъуэкӀэ Ӏупщхьэн
36
+ шхэн
37
+ етӀуанэ
38
+ бадзэуэгъуэ
39
+ сыкӀуэри
40
+ псалъэм къыжыӀэн
41
+ лъостэнбэч шым епӀиящ, нэгъуэщӀ лӀыхъужьым и шыхъуэм ирихьэлӀа лъэныкъуэмкӀэ кӀуэрт, лӀыхъужьыр къызэрыкӀуэкӀыну икӀи игъэзэжын
42
+ бзаджащӀэхэр
43
+ «залым», «тхытхэр» псалъэхэр псалъэухам и пкъыгъуэ нэхъыщхьэхэрщ.
44
+ Ӏулъэ
45
+ мыӀэрысэр сабийм ибогъашхэ
46
+ хыхьэн
47
+ дызэрылъагъуащ
48
+ фӀыуэ тхьэм фӀыуэ ухъу.
49
+ псэукӀэ зимыӀэ, псэукӀэ зимыӀэ, псэукӀэ зимыӀэ
50
+ ар хъуркъым
51
+ хыфӀэдзэн
52
+ лэжьыгъэм и гугъуехь псори къэгъэлъэгъуэн
53
+ бгъэдыхьэн
54
+ жьым щыхъу щыхъу, щӀалэгъуэ къыхэх
55
+ пыӀэпс псыхъуэ
56
+ пэшыр зэгъэпэщын
57
+ литературэ аренэм
58
+ уэшхыр увыӀащ
59
+ бэрэжьей
60
+ мыхъумыщӀэ
61
+ къыдэлъэф
62
+ щыщакӀуэ куэд щӀэкӀуэну къыщӀэкӀащ
63
+ къыхэкӀхэр щӀыӀэм къыхэкӀыу мэхъу
64
+ художественнэ
65
+ хъыбарыфӀ хъыбар
66
+ сакъын
67
+ дэ фэ зыдвгъэхуэпащ.
68
+ мэкъур шхапӀэм ялъхьэ, Ӏэщым ишхыну.
69
+ шыхэр зэтесхьэри кӀуэу, абы и пащхьэм къыщыкӀуэкӀа алъпыжь узырмэджым и фэехъуч къыкӀэлъыкӀуэу къыкӀэрыхуащ.
70
+ бандерол
71
+ кхъуафэжьей
72
+ щхъуантӀэ
73
+ щхьэхынэ кӀуэныгъэ
74
+ лэжьыгъэ гугъуехьхэм ущымыгугъу
75
+ хъуакъым
76
+ макъым и гъусэу сыт хуэдэ макъ къапсэлърэ?
77
+ щӀакхъуэр фӀыуэ хъуащ
78
+ ерыскъы
79
+ ари адрейри
80
+ колхозыр Ӏэщым къыхэкӀыныгъэ
81
+ Ӏуэхур зэфӀэгъэкӀын
82
+ щӀыӀэм зыхъумэн
83
+ ищхьэ
84
+ зэгъэзэхуэжын
85
+ ар истамбыл щоджэ.
86
+ зэхэмыкӀыж
87
+ мыӀэрысэр уэ пшхащ.
88
+ фронтым къигъэлъагъуэу хэку лӀыгъэшхуэшхуэм папщӀэ, уасэ лъапӀэ лъапӀэхэм хэкур иратащ
89
+ гъэкӀуэдын
90
+ мыхьэнэншэ
91
+ Ӏупхъуамбэ
92
+ дзэл фалъэ
93
+ хыхьэн
94
+ шхыӀэным кӀуэцӀышыхьащ
95
+ зэгурымыӀуэныгъэ
96
+ къэрэндащ плъыжь
97
+ кхъуафэжьей
98
+ мыбдеж километркӀэ къалэм нэс
99
+ хьэщӀагъэ хуэщӀын
100
+ унэм екӀуэлӀэн
101
+ дэ дызэдолажьащ
102
+ ӀэщӀагъэ
103
+ псым зыщӀэтӀысхьэн
104
+ сэ сыхъуну?
105
+ джанэр къутэн
106
+ зэӀущӀэныгъэ
107
+ ныбжьэгъужь
108
+ нэмысыфӀэу бгъэдыхьэныгъэ
109
+ ипэкӀэ си лъакъуэр иӀэнукъым
110
+ лы
111
+ кӀапсэ
112
+ гъуанэ
113
+ нартыхур къэлыдащ
114
+ тхылъ
115
+ "цӀыбкӀум икӀуэцӀыкӀырт, панов махъур зэщӀэуам и мэ гуакӀуэ гуакӀуэ къыхэкӀыу."
116
+ зэрылъагъун
117
+ псынэ щӀыӀэ.
118
+ аркъэныр и кӀапэр жыгым трипхри емыкӀуэкӀыу иӀыгъыу щӀидзащ.
119
+ укӀуэ
120
+ хъумакӀуэ тӀуащӀэ
121
+ уэсым кӀуэн
122
+ жьэм нэщхъеягъуэ зыхэщӀэн
123
+ ӀэщӀагъэ
124
+ езэгъыныгъэ
125
+ сыщыкӀуэкӀэ ар слъагъунщ
126
+ фшхынущ.
127
+ къыхэкӀыжын
128
+ мастэкӀэ еуэн
129
+ батрэкъ
130
+ лэжьыгъэ
131
+ тхылъыщӀэ къыщӀэкӀащ
132
+ гуащӀэдэкӀ гъэтӀылъыпӀэ
133
+ ар мыбы нэслъэ
134
+ къэӀэтыныгъэ
135
+ Ӏуданэр мастэм пхыкӀын
136
+ къэлъэтыхьын
137
+ цӀыхугъэ хэлъхьэн
138
+ къэпщын
139
+ сымаджэр къызыхагъэкӀыныгъэ
140
+ а-Ӏей
141
+ жыг псори дэ ттӀысащ.
142
+ шылэ Ӏуданэ
143
+ хуэфащэу
144
+ мыӀэрысэ быдэ
145
+ мыхьэнэншэ
146
+ жэмыр дахэпс мэбу.
147
+ псынэ гуащӀэ
148
+ цӀапӀэ
149
+ приторнэ варенэ
150
+ хъун
151
+ щхьэгъубжэ
152
+ гъэгубжьын
153
+ ар фэ фхьынут.
154
+ письмо пощткӀэ хьын
155
+ щапхъэ: жыг (сыт ищӀэрэ?) къэгъэгъащ.
156
+ дэ фэ дывгъэкӀуащ.
157
+ минищ
158
+ къарукӀэ текӀуэн
159
+ зэхуэдэныгъэ
160
+ ар шха?
161
+ къуэ
162
+ шейныкӀэр зэпыгъэжьэн
163
+ зэгъэщӀэн
164
+ дыгъэр къопс, мэгуфӀэ.
165
+ договор зэщӀылӀэн
166
+ шей уефэфын?
167
+ еутхыпщӀын
168
+ Ӏув
169
+ умар тхылъ йоджэ.
170
+ нэхъапэм алджыкъуэ гулэз игу ищӀакъым
171
+ кадр отдел
172
+ къэгубжьын
173
+ ар зыщышхащ
174
+ хьэхэм фӀащ цӀэхэр:...
175
+ Ӏэхъуш
176
+ зэкӀэщӀэлъхьэн
177
+ зэхэщӀыкӀыгъуей
178
+ щыгъынхэр къызэфтакъым
179
+ дахагъэ
180
+ хуэзгъэшащ
181
+ мафӀэдзэ
182
+ хьэлъэныгъэ
183
+ деж
184
+ гурыӀуэгъуэ хъуами уасэ хуэщӀын.
185
+ хьэмрэ хьэмрэ лъэныкъуэмрэ лъэныкъуэщ
186
+ щӀыгум къыщӀэкӀын
187
+ сымытхэн-тӀэ?
188
+ гукъыдэжыныгъэ
189
+ 4. шы хужьым и цӀэр.
190
+ ар хуэкӀуащ
191
+ ланэ, дохутыр.
192
+ тхъу къыпыудын
193
+ гъуэгу лъэныкъуэм
194
+ "хъан-магомэ нэжэгужэ папироскэр иригъэзащ, лорис-меликовыр хьэщӀэщым кӀуащ."
195
+ шыр хыфӀэдзэн
196
+ лӀыкӀуэ
197
+ зыгъэжьэн
198
+ абы щыхъумэ
199
+ гъубжэр дэ фэ къытхуэфщӀар.
200
+ хун
201
+ полкым и штаб
202
+ Ӏэр упӀышкӀун
203
+ къэвгъэщӀыкӀ, додж псалъэм хэт «у»-р макъзешэ хьэмэ дэкӀуашэ хьэмэ?
204
+ пхъэ Ӏэпкълъэпкъыр мэкӀий
205
+ мыцӀыху бжыгъэ
206
+ куэбжэ, трактор, бэлъто, фошыгъу, щхьэгъубжэ, къэрэндащ
207
+ лъэӀуныгъэ
208
+ щытыкӀэм и нормэ
209
+ хъурей
210
+ кӀуэцӀ блын
211
+ тхьэмыщкӀэу гъын
212
+ топыр къэгъуэтын
213
+ хадэм укъэкӀуэжрэ?
214
+ къэгъэзэж!
215
+ фефэ
216
+ колчан
217
+ ӀэлъэщӀ хужь
218
+ зэщӀэупщӀэн
219
+ насыпыншагъэ
220
+ плъыфэ
221
+ сэ унэм сыщыӀащ
222
+ (асият мадэ.)
223
+ плӀыщӀитӀым хужьу мэбанэ.
224
+ псыф щӀын
225
+ зэхущытыкӀ-историемкӀэ зэхуэдэ метод
226
+ электрик школым къэкӀуащ
227
+ ахэр мыекъуопэ щолажьэхэ.
228
+ зэхущытыкӀэр хэгъэхъуэн
229
+ псы шыбжий
230
+ хэзышэ
231
+ жэщ хъумэ
232
+ ар мажэ
233
+ гъэгубжьын
234
+ тхьэусыхапӀэ кӀапэ
235
+ къыхэкӀыжын
236
+ псоми, уэ жыпӀэр, уи псалъэхэм, хьэмэ псоми апхуэдэу жаӀэр? - тӀэкӀу къигъэщӀащ щамил и нэхэр
237
+ зэхьэзэхуэ
238
+ щӀыӀу
239
+ плъэкӀэ
240
+ мыр сэ си тхылъкъым
241
+ къеджэн
242
+ шэ псо
243
+ макъ лъахъшэ
244
+ Ӏэщхьэр дэгъэхьэн
245
+ къыхэпщыкӀын
246
+ зымащӀэу
247
+ пэж дыдэу къулыкъу щытын
248
+ хадэхэкӀыным и щхьэщыщхьэм нарт лӀырэ фызрэ ящыпсэуащ. фызым и цӀэр адыюх, лӀым и цӀэр псэбидэт
249
+ къуажэдэс
250
+ пычыгъуэхэм хэт псалъэхэр дауэ къэтщӀэн?
251
+ мыр сыт?
252
+ штаным и лъэпкъ
253
+ дыгъэ жьгъей
254
+ сыхьэтым еплъын
255
+ усарежь
256
+ дэ дыдахэт.
257
+ щхьэкӀэ
258
+ ар абы зыщитӀагъэри унэм щӀэкӀащ.
259
+ псалъэуха къэс къыхэгъэща псалъэр точкэхэм я пӀэкӀэ зэпэщӀэкӀ мыхьэнэ зиӀэ псалъэр хэвгъэувэж.
260
+ зыгуэрым щыхьэт хуэщӀын
261
+ хьэпшыпхэр багажым етын
262
+ кӀыфӀым шыгъуитӀ къыщолъагъу
263
+ нэщхъеягъуэ
264
+ зыхуэпэщыжын
265
+ къэгъэубыдын
266
+ пшэхэм хэкӀуэтын
267
+ зыгъэпскӀэн
268
+ жей!
269
+ пхъащӀэ джыдэ
270
+ "пщэдджыжьым иужькӀэ, кӀыфӀым щыӀэщ, полторацкэм и унафэщӀагъым джабэ джабэ джабэмкӀэ джабэ джабэ пщӀащӀэмкӀэ къыщӀэкӀуэкӀащ, пщэдджыжькӀэ къыщӀэкӀыу фочхэр зэщӀиупщӀащ,
271
+ макъзешэ
272
+ фэ фша?
273
+ лэжьыгъэр къэтэджащ
274
+ фызэджар къифтхыкӀ, щыуагъэхэр зэгъэзэхуэжурэ.
275
+ ар ди ӀэкӀэ зэфӀэкӀащ
276
+ иуэнтӀэн
277
+ уафэм вагъуэ гъунапкъэншэу бжыгъэ зыхэтт
278
+ блэ яшх хуэдэщ
279
+ анэм и цӀэ
280
+ мэзым дэт мыӀэрысей
281
+ зэфӀэгъэувэн
282
+ ар шхащ
283
+ лӀы, фыз, лӀы
284
+ абы Ӏуэху къурмакъыу иӀэщ
285
+ хъуреягъэр тетхэн
286
+ псалъэ къыхэгъэщахэм ударенэ дамыгъэр тевгъэувэ, ударенэр зытехуэ пычыгъуэр щӀэфтхъэ.
287
+ хабзэ, щӀыхь псалъэхэм сыт къагъэлъагъуэр къафщӀэ.
288
+ гъэхъуэн
289
+ къэгубжьын
290
+ гъущӀкъуэ
291
+ къэгъэгубжьакӀуэ
292
+ къэпсэлъэныгъэ щапхъэ
293
+ пэш цӀыкӀу
294
+ бэджэнду пщӀэ
295
+ Ӏуэху
296
+ зыгуэрым емыгугъуу еӀун
297
+ къыщӀэтхъын
298
+ махуэшхуэм деж
299
+ къэгъэлъэгъуэн
300
+ бжэр Ӏухыжащ
301
+ щӀыӀэ
302
+ кхъужьыр сшхакъым.
303
+ хуабэ
304
+ ӀуэнтӀыкӀын
305
+ сабийм щхьэкӀэ хыхьэн
306
+ "абы щыщӀагъым щыгъуэ нэужь къыщыхъуакъым, ауэ и лъакъуэхэр зэпымыувыӀэу ищӀащ."
307
+ щыгъупщэжыныгъэ
308
+ щӀыхьэныгъэ
309
+ мащэр куууэ къыщӀэтӀыкӀын
310
+ псалъэ къыхэгъэщахэм фыкъеджэ упщӀэхэр къыхэхурэ.
311
+ гуфӀэгъуэ егъэхьын
312
+ лъэтэжын
313
+ маяипэ
314
+ машинэм цӀыхухэр къишын
315
+ къэгъэхъун
316
+ къарухэр ухъуащ
317
+ телефон кӀэбзэ
318
+ къэрал хуиту къуалэбзухэр.
319
+ ахэр тхахэщ.
320
+ уэсыр лъакъуэ щӀагъым къопщэ
321
+ бзаджэкъым, бзаджэкъым
322
+ лэжьакӀуэ зиӀэ цӀыху
323
+ жьакӀэ
324
+ гъэкӀуэдын
325
+ хэкум фӀыуэ лъагъун
326
+ уэ икъукӀэ уеджэ
327
+ плъыжь хъун
328
+ мыл
329
+ япэкӀэ къэпсэлъэн
330
+ ар йокӀуэкӀ
331
+ бостей кӀыхь
332
+ щхьэ умыщӀар?
333
+ уэ пшэжакъэ?
334
+ кӀэщӀ
335
+ хуабжьу шхэн
336
+ кубым и инагъыр
337
+ Ӏэщхьэхэр зэтедзауэ
338
+ псэууу мытын
339
+ кӀэлъыплъыхьын
340
+ кӀапэ
341
+ щхьэгъубжэм екӀуэлӀэн
342
+ и гъунапкъэм пхымыкӀын
343
+ тхылъым тет тхыгъэр еплъын
344
+ псыр зэщӀиуащ
345
+ зафер унащхьэм телъщ.
346
+ алпий уэс хъумакӀуэ
347
+ дэгъуэщ, сэ сыкъэкӀуэнущ
348
+ пӀалъэкӀэ
349
+ щыуэн
350
+ пщӀэншэу
351
+ командэ нэхъыщхьэ
352
+ хэгъэхъеин
353
+ сыпхубгъэдыхьащ
354
+ зыгъэпщкӀун
355
+ пӀащӀэ дыдэу
356
+ сокӀуэф
357
+ ныбжьэгъум деж къэщӀэн
358
+ зеиншэ хъурей
359
+ сабын пузыр
360
+ нэгъуджэкӀэ къеджэн
361
+ тӀэу
362
+ зэхэгъэкӀыныгъэ
363
+ Ӏуэху
364
+ зыри
365
+ кӀапсэ
366
+ щыуагъэ
367
+ апхуэдэу бгъэдыхьэкӀэри нагъыщэщ:
368
+ лэжьыгъэм и ныкъусаныгъэхэр гъэлъэгъуэн
369
+ мухьэрэб ипщэкӀэ гъэзащ
370
+ къутэн
371
+ псэущхьэмыщхьэ (мытӀысхьа, мытӀысхьа)
372
+ хьэм къупщхьэр иупщӀащ
373
+ щыгъынхэр уэстакъым
374
+ псалъэмакъыншэу зэгурыӀуэныгъэ
375
+ щӀыӀэщ, уэшхри пэгуным хуэдэу къешх
376
+ "сардарым и фызым и щӀалэгъуэ мыщӀагъуэхэм къыхэкӀыу и ныбжьэгъу къыщӀэкӀуэжауэ хьэщӀэхэм яхыхьащ, гуфӀэгъуэу къыхуэгуфӀыкӀыу, тэрмэшым къыхэкӀыу хьэжы-мурат псалъэ ӀэфӀ зыбжанэ къыригъ
377
+ мыӀэрысэхэр умар ептащ.
378
+ щхьэбан нэхъыжьым хьэпшыпхэр мыарэзыртэкъым, сыт щхьэкӀэ мисостым къыхэкӀкӀэ къулыкъухэр гъэшхэн хуейм теухуауэ унафэ щытащ
379
+ цым еплъын
380
+ мыӀэрысэр данэ ишхащ.
381
+ шыхэр яхьащ
382
+ къэхъун
383
+ хъыбар
384
+ мошкӀэ
385
+ сосрыкъуэ кӀуащ, пщӀантӀэм дыхьэщӀащ, тхьэкӀумэкӀэ епӀащ, унэм щӀыхьащ.
386
+ парус
387
+ "– ар и лӀым хуэдэу биигъуэт, и лъагъупӀэр къепхъуэкӀырт, арщхьэкӀэ хъаныр зыщӀыпӀи къигъэзэрыхьакъым, арщхьэкӀэ гъунапкъэмкӀэ къигъэзэрыхьащ."
388
+ мыр сэ си сурэт No1.
389
+ цӀыхугъэ хэлъхьэн
390
+ 1. къуажэм сыт хуэдэ гъуэгур кӀуар?
391
+ къыщӀэтхъын
392
+ къэралым лъэкӀыныгъэ зыхэлъ цӀыху
393
+ къэгугъэныгъэ
394
+ егъатхъэ
395
+ къэпыщхьэр зэкӀэрыхуащ
396
+ зэгуэпын
397
+ кхъухьлъатэ
398
+ атӀэ
399
+ щхьэцыр къыхэкӀыныгъэ
400
+ къарууншэу
401
+ егугъуу еплъын
402
+ шыр шэщым уэ пшэ!
403
+ зыбжанэ
404
+ дэгъэлъэдэн
405
+ хьэтхэ мыхьэмэт и къуэ зэреджэ лӀыр псы Ӏуфэм щыпсэуащ
406
+ къуэлэн
407
+ дошхэ.
408
+ цӀыхугъэр къэзыгъэлъагъуэ
409
+ гъэуэншэджэн
410
+ ар абыхэм яхьыну?
411
+ ежьэныгъэ
412
+ нэхъ жыжьэ
413
+ Ӏуащхьэмахуэ щысхэр
414
+ гъэхьэзырын
415
+ укъакӀуэмэ плъагъунщ
416
+ псым и хьэлъэ
417
+ автомобилым сыхьэтым километр тӀощӀ мэхъу
418
+ хьэ пщыхьэпӀэм хуэдэщ
419
+ сэ сыжакъым
420
+ зэкӀуэцӀыкӀын
421
+ псэукӀэ
422
+ бзэгу
423
+ къэплъыхьын
424
+ щэныкъуэ
425
+ хы кхъухь
426
+ сэ сынанэ?
427
+ къыкӀэрыхун
428
+ хабзэр зэпрыкӀын
429
+ зэӀущӀэныгъэ
430
+ сабийхэм папщӀэ гузэвэн
431
+ еджапӀэм жэн
432
+ абы гъуэлъыпӀэм къыщывэджри пхъэщӀэ ещӀ.
433
+ чырок
434
+ биигъэ зыхэлъ псэлъэкӀэ
435
+ Ӏэщым и хъыбарыр хэгъэхъуэн
436
+ ар щӀэныгъэншэкъым
437
+ футбол командэм хыхьэн
438
+ 5 - губгъуэхэмрэ мэзхэмрэ бжьыхьэм дауэ къыщыхъурэ?
439
+ колченэгъуей
440
+ щыгъынхэр гупсэ хуэтхьат.
441
+ шприц
442
+ иджыри къэс дэнэ ущыӀа?
443
+ пщӀэншэу
444
+ – сыт уэ узыхуейр, сыт умыщӀыхьэу ущӀакӀуэр? – щӀоупщӀэ пщыр, зыпхъу иӀащ. зыри къэнакъым, жиӀащ:
445
+ щӀыхьыр гъэикӀэн
446
+ сонэ абдулчеримым и тхыгъэхэмкӀэ
447
+ гъуэгу
448
+ зыри
449
+ дунейм къыщыщӀэкӀа нэужь илъэситӀ хъуащ.
450
+ нэмысыфӀагъэ
451
+ акъылыфӀэ ухъумэ, махуэм кӀапсэр къыпхуэсщӀынщ.
452
+ гранит
453
+ сабий щхьэхуитхэр
454
+ быдапӀэ
455
+ цӀыху къарууншэ
456
+ 70. фыкъеджэ, точкэхэм я пӀэкӀэ щытын хуей псалъэхэр хэвгъэувэжурэ.
457
+ хьэпцӀанэ
458
+ еджакӀуэхэм я спискэр гъэлъэгъуэн
459
+ грамматик хабзэ
460
+ щэныфӀэ
461
+ фэ фынэжэнщ
462
+ лэжьыгъэ
463
+ бийр къутэн
464
+ ушхэну?
465
+ псысэ
466
+ кӀапсэр зэгуэгъэпын
467
+ "а лӀыгъэм зыми ялъэгъуакъым мы гъащӀэм и нэхъыщхьэ дыдэм, абы и кӀуэцӀыр къыхэкӀыу къигъэзэжынур, ауэ бгырысхэм я сэшхуэкӀэ зэрыдзыхыу, абы и нэхъыщхьэр зэригъэзэрыхьауэ."
468
+ хуэщӀын
469
+ сыхьэтыр хуэфащэщ
470
+ арщхьэкӀэ езы узырмэджым абы и гум къищтэжыркъым: нартхэм яригъэщӀащ къэкӀуэну, сэтэнейр къишауэ.
471
+ хыхьэн
472
+ хьэхэр
473
+ псалъэ зэкӀэлъыкӀуэ
474
+ 34. псалъэхэр къифтхыкӀ, хьэрф дэхуахэр хэвгъэувэжурэ.
475
+ нэщхъеягъуэ
476
+ къыхэхын
477
+ нерв
478
+ пщӀыпщӀын
479
+ гвардием къулыкъу зауэлӀ
480
+ упӀышкӀун
481
+ хэт укъыщӀэкӀуауэ, адэ? - ди щӀалэм къыщӀэкӀуауэ, университетым щӀыхьэпӀэ экзаменхэр етыж.
482
+ фи хьэпшыпхэр къэфщтэ
483
+ унэм зыри щыӀэкъым
484
+ кӀуэрэт?
485
+ къэгубжьын
486
+ кӀэдушкӀэр зэкӀэрыхуащ
487
+ санкӀэ, лъэрыжэкӀэ, лъэрыгъажэкӀэ къэжыхьын
488
+ мыр фэ жыфӀэркъым.
489
+ къамыл джабэм ещхьу къыщӀэкӀащ
490
+ зытхуэмыхуапэу хадэм дыкӀуащ.
491
+ къыхэгъэкӀыныгъэ
492
+ бажэ
493
+ дзэхэр бийм тедзэн
494
+ а щӀалэм нэмыщӀ ди деж нобэ пщӀантӀэм зыри къытщӀыхьакъым
495
+ зэӀыщӀэн
496
+ хьэр икъукӀэ ину мэбанэ
497
+ къэушын
498
+ узыфӀыцӀэ къэхьын
499
+ къызэфӀэгъэувэжыныгъэ
500
+ кӀэрытхыныгъэ
501
+ гъуэгу бгъу
502
+ зы
503
+ уэ сэ абы укъысхуигъакӀуэ.
504
+ хьэтмэ
505
+ абы бгъэдигъэтӀысхьа?
506
+ шхыныр къызэпхьыркъым.
507
+ зыгуэрым и адрескӀэ жыӀэн
508
+ гайкэ
509
+ къэвгъуэт хьэхэм фӀаща цӀэхэр.
510
+ бзэгупэ
511
+ кадр отдел
512
+ Ӏэпкълъэпкъыгъэ
513
+ – фохъус апщы, тхьэмэдэ! джатэр сыт хуэдэ дахэ уиӀэщ, хэт къыпхуищӀар? къызэщӀигъэупщӀ, – жиӀащ абы.
514
+ лъэгу
515
+ хъыбар
516
+ лъэщ
517
+ цӀыхубзхэр лӀым ещхьу мэхъу
518
+ гъунэгъу пэшым хьэжы-мурат и макъ къэӀуащ.
519
+ зы махуи ипӀэ имыӀакъым.
520
+ зыри ищӀэну хуейкъым, псори зэрыхуейм хуэдэу зэфӀэкӀын хуейщ, ауэ тӀэкӀу имыщӀэу, абы къыщӀокӀыж, зыщыщӀегъуэри и мыхьэнэшхуэр къокӀуэкӀ.
521
+ ар хъурэ?
522
+ тха
523
+ лэжьыгъэм тету гъэкӀуэдын
524
+ щӀымахуэм уэс къос, дунейр щӀыӀэщ.
525
+ пщӀэншэ
526
+ лӀыхъужь зиӀэ зауэлӀ
527
+ щэху
528
+ абы тхылъ къищэхуащ
529
+ тхьэм ахэр гъащӀэ узыншагъэ кӀыхь иӀэ.
530
+ гущӀэгъуэ махуэ
531
+ еджакӀуэхэм къалэнхэр ягъэзахуэ
532
+ хъыджэбзым бгъэдэсын
533
+ щӀыхь иӀэн
534
+ щӀэупс
535
+ зыгуэр
536
+ макъ лъахъшэ
537
+ ныбжьэгъум гъэкӀуэн
538
+ зэкӀэлъыкӀуэн
539
+ зэгурыӀуэгъуэ
540
+ къэлыдын
541
+ икӀын
542
+ гъэгушхуэн
543
+ гурыӀуэгъуа
544
+ хэлъхьэн
545
+ абы илэкъэ?
546
+ еджакӀуэхэм я губгъуэ лэжьыгъэхэр колхозымрэ зэгурыӀуэн
547
+ уэ-щэ?
548
+ усэр хуетх.
549
+ сэ сыщӀэркъэ!
550
+ шу
551
+ фэ тхьэм къыфхуиӀэпыкъу.
552
+ пӀатӀэрэз къокӀуэж.
553
+ жылэм
554
+ мат
555
+ лэжьакӀуэ (щылэжьыгъэшхуэ)
556
+ фӀыщӀэ
557
+ зэпэщӀэзых «ы»-р щӀэфтхъэ.
558
+ пщӀэншэ
559
+ щыуагъэ щӀын
560
+ щэнейрэ пщӀырэ
561
+ къыщӀэдзэкӀыныгъэ
562
+ зэхуэмыдэ
563
+ хуэдизкӀэ
564
+ илъэс иухащ
565
+ бжьыхьэ дыгъэм и бзий лъабжьэхэм Ӏэпкълъэпкъыр хуабжьу елъагъу
566
+ бзаджэ
567
+ ар нажэ
568
+ къыщӀыхьэн
569
+ егугъуу жащ
570
+ псоми гъунапкъэ щыӀэщ
571
+ унэ дэгъуэ
572
+ зэфӀэгъэувэжын
573
+ цӀыху гъэпцӀэн
574
+ унэм и кӀуэцӀым макъхэр зэхахыр
575
+ мыӀэрысэр абыхэм къахьащ.
576
+ Ӏэ Ӏэ ӀэтынымкӀэ бюллетень
577
+ къарухэр къысхуагъэзэжащ
578
+ декорацэ
579
+ метр зэплӀимэ
580
+ фӀэӀуэнтӀэн
581
+ уэ блэнкъэ?
582
+ унэжьыр къутэн
583
+ уэс Ӏэджэр зэгуэгъэжын
584
+ елъэӀу
585
+ хамэ Ӏэпкълъэпкъ
586
+ фӀэӀуэншэ
587
+ хьэлыбжьей къуаргъ
588
+ ар иджыри цӀыкӀукъым
589
+ мыӀэрысэр фшхащ
590
+ ауэ дэ, гъащӀэр къызгурыӀуэхэр - нэхъыщхьэ дыдэу, бжыгъэхэмрэ дыщыхьэшх! сэ сфӀэфӀу а хъыбарыр псалъэмакъ гъэщӀэгъуэн хуэдэу щӀэсщӀэнт.
591
+ хьэ
592
+ ерыскъы гъэхьэзыру
593
+ Ӏуэхугъуэ тынш
594
+ щхьэгъубжэм иужькӀэ гъэтӀылъыж
595
+ ауэ зэгуэрым, псы Ӏуфэм нэхъ пэгъунэгъуу щыхъуам, – а псы Ӏуфэм и биидзэр щыӀэт, – ахэр псы Ӏуфэм уэзырмэсым и гъусэу псы Ӏуфэм къахуагъэуващ.
596
+ хьэндыркъуакъуэ пэтми зыщыпсэу псыр куу щӀэкӀын хуейщ
597
+ "хьэщӀэхэр стэканым ираф икӀри джэгуныр иухыу зэгуигъажьэри къыщӀегъэгъуэн щӀадзащ."
598
+ академием еуха е абы щыщ еджакӀуэ
599
+ йоплъ
600
+ етын
601
+ навапӀэр хадэм теутӀыпщхьэн
602
+ мыхьэнэншагъэ
603
+ щӀыр гъэщэбэн
604
+ дэжеин
605
+ укӀытэншагъэ
606
+ мадам ферриоль абы гулъытэ ищӀэркъым, абы къыхуигъэгузавэкъым.
607
+ шэмэдж
608
+ зыхуэсшэр
609
+ щӀыпӀэ
610
+ щӀакӀуэ
611
+ ар инщ
612
+ къыгурыӀуэн
613
+ лэжьэн
614
+ фэ дэ абыхэм фыкъытхуагъэкӀуащ.
615
+ ар хьэлэу имыӀэу къэнащ
616
+ зэхэщӀыкӀын
617
+ къару зыхуэщӀ
618
+ гъэгубжьын
619
+ япэ зэманым
620
+ мыӀэрысэхэр умар иритащ.
621
+ икумкӀэ
622
+ насыпыфӀэ
623
+ уэсэпс
624
+ гъэкӀуэн
625
+ щхьэ пцӀанэпцӀэ.
626
+ гупсысэ
627
+ мыхъумыщӀэ
628
+ къэплъыхьын
629
+ бзаджэ
630
+ хьэлъагъ
631
+ сиренэ
632
+ уэ ужеиркъэ?
633
+ ӀэкӀэ зылъагъуэмэ, бзухэр мэлъэтэж.
634
+ зэгуэгъэпын
635
+ зыдэщыӀэр
636
+ алыхьым и щхьэхуитыныгъэ
637
+ зауэм хэт гъэтӀылъыпӀэ
638
+ сабий
639
+ нунэ тхылъ йоджэ
640
+ тхылъхэр къэщэхун
641
+ лэжьэгъуэ зэман
generation_config.json ADDED
@@ -0,0 +1,11 @@
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "bos_token_id": 0,
4
+ "decoder_start_token_id": 2,
5
+ "early_stopping": true,
6
+ "eos_token_id": 2,
7
+ "max_length": 200,
8
+ "num_beams": 5,
9
+ "pad_token_id": 1,
10
+ "transformers_version": "4.34.0.dev0"
11
+ }
predict_results.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "predict_bleu": 17.9261,
3
+ "predict_gen_len": 16.0562,
4
+ "predict_loss": 1.1182224750518799,
5
+ "predict_runtime": 74.6942,
6
+ "predict_samples": 641,
7
+ "predict_samples_per_second": 8.582,
8
+ "predict_steps_per_second": 0.161
9
+ }
pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:80019a563aaf997ffd09cf9cb13dd3e6abeef7c9e4b377e8639f7733807a37ce
3
+ size 1935795713
sentencepiece.bpe.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d8f7c76ed2a5e0822be39f0a4f95a55eb19c78f4593ce609e2edbc2aea4d380a
3
+ size 2423393
special_tokens_map.json ADDED
@@ -0,0 +1,109 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "additional_special_tokens": [
3
+ "__af__",
4
+ "__am__",
5
+ "__ar__",
6
+ "__ast__",
7
+ "__az__",
8
+ "__ba__",
9
+ "__be__",
10
+ "__bg__",
11
+ "__bn__",
12
+ "__br__",
13
+ "__bs__",
14
+ "__ca__",
15
+ "__ceb__",
16
+ "__cs__",
17
+ "__cy__",
18
+ "__da__",
19
+ "__de__",
20
+ "__el__",
21
+ "__en__",
22
+ "__es__",
23
+ "__et__",
24
+ "__fa__",
25
+ "__ff__",
26
+ "__fi__",
27
+ "__fr__",
28
+ "__fy__",
29
+ "__ga__",
30
+ "__gd__",
31
+ "__gl__",
32
+ "__gu__",
33
+ "__ha__",
34
+ "__he__",
35
+ "__hi__",
36
+ "__hr__",
37
+ "__ht__",
38
+ "__hu__",
39
+ "__hy__",
40
+ "__id__",
41
+ "__ig__",
42
+ "__ilo__",
43
+ "__is__",
44
+ "__it__",
45
+ "__ja__",
46
+ "__jv__",
47
+ "__ka__",
48
+ "__kk__",
49
+ "__km__",
50
+ "__kn__",
51
+ "__ko__",
52
+ "__lb__",
53
+ "__lg__",
54
+ "__ln__",
55
+ "__lo__",
56
+ "__lt__",
57
+ "__lv__",
58
+ "__mg__",
59
+ "__mk__",
60
+ "__ml__",
61
+ "__mn__",
62
+ "__mr__",
63
+ "__ms__",
64
+ "__my__",
65
+ "__ne__",
66
+ "__nl__",
67
+ "__no__",
68
+ "__ns__",
69
+ "__oc__",
70
+ "__or__",
71
+ "__pa__",
72
+ "__pl__",
73
+ "__ps__",
74
+ "__pt__",
75
+ "__ro__",
76
+ "__ru__",
77
+ "__sd__",
78
+ "__si__",
79
+ "__sk__",
80
+ "__sl__",
81
+ "__so__",
82
+ "__sq__",
83
+ "__sr__",
84
+ "__ss__",
85
+ "__su__",
86
+ "__sv__",
87
+ "__sw__",
88
+ "__ta__",
89
+ "__th__",
90
+ "__tl__",
91
+ "__tn__",
92
+ "__tr__",
93
+ "__uk__",
94
+ "__ur__",
95
+ "__uz__",
96
+ "__vi__",
97
+ "__wo__",
98
+ "__xh__",
99
+ "__yi__",
100
+ "__yo__",
101
+ "__zh__",
102
+ "__zu__"
103
+ ],
104
+ "bos_token": "<s>",
105
+ "eos_token": "</s>",
106
+ "pad_token": "<pad>",
107
+ "sep_token": "</s>",
108
+ "unk_token": "<unk>"
109
+ }
tokenizer_config.json ADDED
@@ -0,0 +1,952 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "128004": {
36
+ "content": "__af__",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": true,
40
+ "single_word": false,
41
+ "special": true
42
+ },
43
+ "128005": {
44
+ "content": "__am__",
45
+ "lstrip": true,
46
+ "normalized": false,
47
+ "rstrip": true,
48
+ "single_word": false,
49
+ "special": true
50
+ },
51
+ "128006": {
52
+ "content": "__ar__",
53
+ "lstrip": true,
54
+ "normalized": false,
55
+ "rstrip": true,
56
+ "single_word": false,
57
+ "special": true
58
+ },
59
+ "128007": {
60
+ "content": "__ast__",
61
+ "lstrip": true,
62
+ "normalized": false,
63
+ "rstrip": true,
64
+ "single_word": false,
65
+ "special": true
66
+ },
67
+ "128008": {
68
+ "content": "__az__",
69
+ "lstrip": true,
70
+ "normalized": false,
71
+ "rstrip": true,
72
+ "single_word": false,
73
+ "special": true
74
+ },
75
+ "128009": {
76
+ "content": "__ba__",
77
+ "lstrip": true,
78
+ "normalized": false,
79
+ "rstrip": true,
80
+ "single_word": false,
81
+ "special": true
82
+ },
83
+ "128010": {
84
+ "content": "__be__",
85
+ "lstrip": true,
86
+ "normalized": false,
87
+ "rstrip": true,
88
+ "single_word": false,
89
+ "special": true
90
+ },
91
+ "128011": {
92
+ "content": "__bg__",
93
+ "lstrip": true,
94
+ "normalized": false,
95
+ "rstrip": true,
96
+ "single_word": false,
97
+ "special": true
98
+ },
99
+ "128012": {
100
+ "content": "__bn__",
101
+ "lstrip": true,
102
+ "normalized": false,
103
+ "rstrip": true,
104
+ "single_word": false,
105
+ "special": true
106
+ },
107
+ "128013": {
108
+ "content": "__br__",
109
+ "lstrip": true,
110
+ "normalized": false,
111
+ "rstrip": true,
112
+ "single_word": false,
113
+ "special": true
114
+ },
115
+ "128014": {
116
+ "content": "__bs__",
117
+ "lstrip": true,
118
+ "normalized": false,
119
+ "rstrip": true,
120
+ "single_word": false,
121
+ "special": true
122
+ },
123
+ "128015": {
124
+ "content": "__ca__",
125
+ "lstrip": true,
126
+ "normalized": false,
127
+ "rstrip": true,
128
+ "single_word": false,
129
+ "special": true
130
+ },
131
+ "128016": {
132
+ "content": "__ceb__",
133
+ "lstrip": true,
134
+ "normalized": false,
135
+ "rstrip": true,
136
+ "single_word": false,
137
+ "special": true
138
+ },
139
+ "128017": {
140
+ "content": "__cs__",
141
+ "lstrip": true,
142
+ "normalized": false,
143
+ "rstrip": true,
144
+ "single_word": false,
145
+ "special": true
146
+ },
147
+ "128018": {
148
+ "content": "__cy__",
149
+ "lstrip": true,
150
+ "normalized": false,
151
+ "rstrip": true,
152
+ "single_word": false,
153
+ "special": true
154
+ },
155
+ "128019": {
156
+ "content": "__da__",
157
+ "lstrip": true,
158
+ "normalized": false,
159
+ "rstrip": true,
160
+ "single_word": false,
161
+ "special": true
162
+ },
163
+ "128020": {
164
+ "content": "__de__",
165
+ "lstrip": true,
166
+ "normalized": false,
167
+ "rstrip": true,
168
+ "single_word": false,
169
+ "special": true
170
+ },
171
+ "128021": {
172
+ "content": "__el__",
173
+ "lstrip": true,
174
+ "normalized": false,
175
+ "rstrip": true,
176
+ "single_word": false,
177
+ "special": true
178
+ },
179
+ "128022": {
180
+ "content": "__en__",
181
+ "lstrip": true,
182
+ "normalized": false,
183
+ "rstrip": true,
184
+ "single_word": false,
185
+ "special": true
186
+ },
187
+ "128023": {
188
+ "content": "__es__",
189
+ "lstrip": true,
190
+ "normalized": false,
191
+ "rstrip": true,
192
+ "single_word": false,
193
+ "special": true
194
+ },
195
+ "128024": {
196
+ "content": "__et__",
197
+ "lstrip": true,
198
+ "normalized": false,
199
+ "rstrip": true,
200
+ "single_word": false,
201
+ "special": true
202
+ },
203
+ "128025": {
204
+ "content": "__fa__",
205
+ "lstrip": true,
206
+ "normalized": false,
207
+ "rstrip": true,
208
+ "single_word": false,
209
+ "special": true
210
+ },
211
+ "128026": {
212
+ "content": "__ff__",
213
+ "lstrip": true,
214
+ "normalized": false,
215
+ "rstrip": true,
216
+ "single_word": false,
217
+ "special": true
218
+ },
219
+ "128027": {
220
+ "content": "__fi__",
221
+ "lstrip": true,
222
+ "normalized": false,
223
+ "rstrip": true,
224
+ "single_word": false,
225
+ "special": true
226
+ },
227
+ "128028": {
228
+ "content": "__fr__",
229
+ "lstrip": true,
230
+ "normalized": false,
231
+ "rstrip": true,
232
+ "single_word": false,
233
+ "special": true
234
+ },
235
+ "128029": {
236
+ "content": "__fy__",
237
+ "lstrip": true,
238
+ "normalized": false,
239
+ "rstrip": true,
240
+ "single_word": false,
241
+ "special": true
242
+ },
243
+ "128030": {
244
+ "content": "__ga__",
245
+ "lstrip": true,
246
+ "normalized": false,
247
+ "rstrip": true,
248
+ "single_word": false,
249
+ "special": true
250
+ },
251
+ "128031": {
252
+ "content": "__gd__",
253
+ "lstrip": true,
254
+ "normalized": false,
255
+ "rstrip": true,
256
+ "single_word": false,
257
+ "special": true
258
+ },
259
+ "128032": {
260
+ "content": "__gl__",
261
+ "lstrip": true,
262
+ "normalized": false,
263
+ "rstrip": true,
264
+ "single_word": false,
265
+ "special": true
266
+ },
267
+ "128033": {
268
+ "content": "__gu__",
269
+ "lstrip": true,
270
+ "normalized": false,
271
+ "rstrip": true,
272
+ "single_word": false,
273
+ "special": true
274
+ },
275
+ "128034": {
276
+ "content": "__ha__",
277
+ "lstrip": true,
278
+ "normalized": false,
279
+ "rstrip": true,
280
+ "single_word": false,
281
+ "special": true
282
+ },
283
+ "128035": {
284
+ "content": "__he__",
285
+ "lstrip": true,
286
+ "normalized": false,
287
+ "rstrip": true,
288
+ "single_word": false,
289
+ "special": true
290
+ },
291
+ "128036": {
292
+ "content": "__hi__",
293
+ "lstrip": true,
294
+ "normalized": false,
295
+ "rstrip": true,
296
+ "single_word": false,
297
+ "special": true
298
+ },
299
+ "128037": {
300
+ "content": "__hr__",
301
+ "lstrip": true,
302
+ "normalized": false,
303
+ "rstrip": true,
304
+ "single_word": false,
305
+ "special": true
306
+ },
307
+ "128038": {
308
+ "content": "__ht__",
309
+ "lstrip": true,
310
+ "normalized": false,
311
+ "rstrip": true,
312
+ "single_word": false,
313
+ "special": true
314
+ },
315
+ "128039": {
316
+ "content": "__hu__",
317
+ "lstrip": true,
318
+ "normalized": false,
319
+ "rstrip": true,
320
+ "single_word": false,
321
+ "special": true
322
+ },
323
+ "128040": {
324
+ "content": "__hy__",
325
+ "lstrip": true,
326
+ "normalized": false,
327
+ "rstrip": true,
328
+ "single_word": false,
329
+ "special": true
330
+ },
331
+ "128041": {
332
+ "content": "__id__",
333
+ "lstrip": true,
334
+ "normalized": false,
335
+ "rstrip": true,
336
+ "single_word": false,
337
+ "special": true
338
+ },
339
+ "128042": {
340
+ "content": "__ig__",
341
+ "lstrip": true,
342
+ "normalized": false,
343
+ "rstrip": true,
344
+ "single_word": false,
345
+ "special": true
346
+ },
347
+ "128043": {
348
+ "content": "__ilo__",
349
+ "lstrip": true,
350
+ "normalized": false,
351
+ "rstrip": true,
352
+ "single_word": false,
353
+ "special": true
354
+ },
355
+ "128044": {
356
+ "content": "__is__",
357
+ "lstrip": true,
358
+ "normalized": false,
359
+ "rstrip": true,
360
+ "single_word": false,
361
+ "special": true
362
+ },
363
+ "128045": {
364
+ "content": "__it__",
365
+ "lstrip": true,
366
+ "normalized": false,
367
+ "rstrip": true,
368
+ "single_word": false,
369
+ "special": true
370
+ },
371
+ "128046": {
372
+ "content": "__ja__",
373
+ "lstrip": true,
374
+ "normalized": false,
375
+ "rstrip": true,
376
+ "single_word": false,
377
+ "special": true
378
+ },
379
+ "128047": {
380
+ "content": "__jv__",
381
+ "lstrip": true,
382
+ "normalized": false,
383
+ "rstrip": true,
384
+ "single_word": false,
385
+ "special": true
386
+ },
387
+ "128048": {
388
+ "content": "__ka__",
389
+ "lstrip": true,
390
+ "normalized": false,
391
+ "rstrip": true,
392
+ "single_word": false,
393
+ "special": true
394
+ },
395
+ "128049": {
396
+ "content": "__kk__",
397
+ "lstrip": true,
398
+ "normalized": false,
399
+ "rstrip": true,
400
+ "single_word": false,
401
+ "special": true
402
+ },
403
+ "128050": {
404
+ "content": "__km__",
405
+ "lstrip": true,
406
+ "normalized": false,
407
+ "rstrip": true,
408
+ "single_word": false,
409
+ "special": true
410
+ },
411
+ "128051": {
412
+ "content": "__kn__",
413
+ "lstrip": true,
414
+ "normalized": false,
415
+ "rstrip": true,
416
+ "single_word": false,
417
+ "special": true
418
+ },
419
+ "128052": {
420
+ "content": "__ko__",
421
+ "lstrip": true,
422
+ "normalized": false,
423
+ "rstrip": true,
424
+ "single_word": false,
425
+ "special": true
426
+ },
427
+ "128053": {
428
+ "content": "__lb__",
429
+ "lstrip": true,
430
+ "normalized": false,
431
+ "rstrip": true,
432
+ "single_word": false,
433
+ "special": true
434
+ },
435
+ "128054": {
436
+ "content": "__lg__",
437
+ "lstrip": true,
438
+ "normalized": false,
439
+ "rstrip": true,
440
+ "single_word": false,
441
+ "special": true
442
+ },
443
+ "128055": {
444
+ "content": "__ln__",
445
+ "lstrip": true,
446
+ "normalized": false,
447
+ "rstrip": true,
448
+ "single_word": false,
449
+ "special": true
450
+ },
451
+ "128056": {
452
+ "content": "__lo__",
453
+ "lstrip": true,
454
+ "normalized": false,
455
+ "rstrip": true,
456
+ "single_word": false,
457
+ "special": true
458
+ },
459
+ "128057": {
460
+ "content": "__lt__",
461
+ "lstrip": true,
462
+ "normalized": false,
463
+ "rstrip": true,
464
+ "single_word": false,
465
+ "special": true
466
+ },
467
+ "128058": {
468
+ "content": "__lv__",
469
+ "lstrip": true,
470
+ "normalized": false,
471
+ "rstrip": true,
472
+ "single_word": false,
473
+ "special": true
474
+ },
475
+ "128059": {
476
+ "content": "__mg__",
477
+ "lstrip": true,
478
+ "normalized": false,
479
+ "rstrip": true,
480
+ "single_word": false,
481
+ "special": true
482
+ },
483
+ "128060": {
484
+ "content": "__mk__",
485
+ "lstrip": true,
486
+ "normalized": false,
487
+ "rstrip": true,
488
+ "single_word": false,
489
+ "special": true
490
+ },
491
+ "128061": {
492
+ "content": "__ml__",
493
+ "lstrip": true,
494
+ "normalized": false,
495
+ "rstrip": true,
496
+ "single_word": false,
497
+ "special": true
498
+ },
499
+ "128062": {
500
+ "content": "__mn__",
501
+ "lstrip": true,
502
+ "normalized": false,
503
+ "rstrip": true,
504
+ "single_word": false,
505
+ "special": true
506
+ },
507
+ "128063": {
508
+ "content": "__mr__",
509
+ "lstrip": true,
510
+ "normalized": false,
511
+ "rstrip": true,
512
+ "single_word": false,
513
+ "special": true
514
+ },
515
+ "128064": {
516
+ "content": "__ms__",
517
+ "lstrip": true,
518
+ "normalized": false,
519
+ "rstrip": true,
520
+ "single_word": false,
521
+ "special": true
522
+ },
523
+ "128065": {
524
+ "content": "__my__",
525
+ "lstrip": true,
526
+ "normalized": false,
527
+ "rstrip": true,
528
+ "single_word": false,
529
+ "special": true
530
+ },
531
+ "128066": {
532
+ "content": "__ne__",
533
+ "lstrip": true,
534
+ "normalized": false,
535
+ "rstrip": true,
536
+ "single_word": false,
537
+ "special": true
538
+ },
539
+ "128067": {
540
+ "content": "__nl__",
541
+ "lstrip": true,
542
+ "normalized": false,
543
+ "rstrip": true,
544
+ "single_word": false,
545
+ "special": true
546
+ },
547
+ "128068": {
548
+ "content": "__no__",
549
+ "lstrip": true,
550
+ "normalized": false,
551
+ "rstrip": true,
552
+ "single_word": false,
553
+ "special": true
554
+ },
555
+ "128069": {
556
+ "content": "__ns__",
557
+ "lstrip": true,
558
+ "normalized": false,
559
+ "rstrip": true,
560
+ "single_word": false,
561
+ "special": true
562
+ },
563
+ "128070": {
564
+ "content": "__oc__",
565
+ "lstrip": true,
566
+ "normalized": false,
567
+ "rstrip": true,
568
+ "single_word": false,
569
+ "special": true
570
+ },
571
+ "128071": {
572
+ "content": "__or__",
573
+ "lstrip": true,
574
+ "normalized": false,
575
+ "rstrip": true,
576
+ "single_word": false,
577
+ "special": true
578
+ },
579
+ "128072": {
580
+ "content": "__pa__",
581
+ "lstrip": true,
582
+ "normalized": false,
583
+ "rstrip": true,
584
+ "single_word": false,
585
+ "special": true
586
+ },
587
+ "128073": {
588
+ "content": "__pl__",
589
+ "lstrip": true,
590
+ "normalized": false,
591
+ "rstrip": true,
592
+ "single_word": false,
593
+ "special": true
594
+ },
595
+ "128074": {
596
+ "content": "__ps__",
597
+ "lstrip": true,
598
+ "normalized": false,
599
+ "rstrip": true,
600
+ "single_word": false,
601
+ "special": true
602
+ },
603
+ "128075": {
604
+ "content": "__pt__",
605
+ "lstrip": true,
606
+ "normalized": false,
607
+ "rstrip": true,
608
+ "single_word": false,
609
+ "special": true
610
+ },
611
+ "128076": {
612
+ "content": "__ro__",
613
+ "lstrip": true,
614
+ "normalized": false,
615
+ "rstrip": true,
616
+ "single_word": false,
617
+ "special": true
618
+ },
619
+ "128077": {
620
+ "content": "__ru__",
621
+ "lstrip": true,
622
+ "normalized": false,
623
+ "rstrip": true,
624
+ "single_word": false,
625
+ "special": true
626
+ },
627
+ "128078": {
628
+ "content": "__sd__",
629
+ "lstrip": true,
630
+ "normalized": false,
631
+ "rstrip": true,
632
+ "single_word": false,
633
+ "special": true
634
+ },
635
+ "128079": {
636
+ "content": "__si__",
637
+ "lstrip": true,
638
+ "normalized": false,
639
+ "rstrip": true,
640
+ "single_word": false,
641
+ "special": true
642
+ },
643
+ "128080": {
644
+ "content": "__sk__",
645
+ "lstrip": true,
646
+ "normalized": false,
647
+ "rstrip": true,
648
+ "single_word": false,
649
+ "special": true
650
+ },
651
+ "128081": {
652
+ "content": "__sl__",
653
+ "lstrip": true,
654
+ "normalized": false,
655
+ "rstrip": true,
656
+ "single_word": false,
657
+ "special": true
658
+ },
659
+ "128082": {
660
+ "content": "__so__",
661
+ "lstrip": true,
662
+ "normalized": false,
663
+ "rstrip": true,
664
+ "single_word": false,
665
+ "special": true
666
+ },
667
+ "128083": {
668
+ "content": "__sq__",
669
+ "lstrip": true,
670
+ "normalized": false,
671
+ "rstrip": true,
672
+ "single_word": false,
673
+ "special": true
674
+ },
675
+ "128084": {
676
+ "content": "__sr__",
677
+ "lstrip": true,
678
+ "normalized": false,
679
+ "rstrip": true,
680
+ "single_word": false,
681
+ "special": true
682
+ },
683
+ "128085": {
684
+ "content": "__ss__",
685
+ "lstrip": true,
686
+ "normalized": false,
687
+ "rstrip": true,
688
+ "single_word": false,
689
+ "special": true
690
+ },
691
+ "128086": {
692
+ "content": "__su__",
693
+ "lstrip": true,
694
+ "normalized": false,
695
+ "rstrip": true,
696
+ "single_word": false,
697
+ "special": true
698
+ },
699
+ "128087": {
700
+ "content": "__sv__",
701
+ "lstrip": true,
702
+ "normalized": false,
703
+ "rstrip": true,
704
+ "single_word": false,
705
+ "special": true
706
+ },
707
+ "128088": {
708
+ "content": "__sw__",
709
+ "lstrip": true,
710
+ "normalized": false,
711
+ "rstrip": true,
712
+ "single_word": false,
713
+ "special": true
714
+ },
715
+ "128089": {
716
+ "content": "__ta__",
717
+ "lstrip": true,
718
+ "normalized": false,
719
+ "rstrip": true,
720
+ "single_word": false,
721
+ "special": true
722
+ },
723
+ "128090": {
724
+ "content": "__th__",
725
+ "lstrip": true,
726
+ "normalized": false,
727
+ "rstrip": true,
728
+ "single_word": false,
729
+ "special": true
730
+ },
731
+ "128091": {
732
+ "content": "__tl__",
733
+ "lstrip": true,
734
+ "normalized": false,
735
+ "rstrip": true,
736
+ "single_word": false,
737
+ "special": true
738
+ },
739
+ "128092": {
740
+ "content": "__tn__",
741
+ "lstrip": true,
742
+ "normalized": false,
743
+ "rstrip": true,
744
+ "single_word": false,
745
+ "special": true
746
+ },
747
+ "128093": {
748
+ "content": "__tr__",
749
+ "lstrip": true,
750
+ "normalized": false,
751
+ "rstrip": true,
752
+ "single_word": false,
753
+ "special": true
754
+ },
755
+ "128094": {
756
+ "content": "__uk__",
757
+ "lstrip": true,
758
+ "normalized": false,
759
+ "rstrip": true,
760
+ "single_word": false,
761
+ "special": true
762
+ },
763
+ "128095": {
764
+ "content": "__ur__",
765
+ "lstrip": true,
766
+ "normalized": false,
767
+ "rstrip": true,
768
+ "single_word": false,
769
+ "special": true
770
+ },
771
+ "128096": {
772
+ "content": "__uz__",
773
+ "lstrip": true,
774
+ "normalized": false,
775
+ "rstrip": true,
776
+ "single_word": false,
777
+ "special": true
778
+ },
779
+ "128097": {
780
+ "content": "__vi__",
781
+ "lstrip": true,
782
+ "normalized": false,
783
+ "rstrip": true,
784
+ "single_word": false,
785
+ "special": true
786
+ },
787
+ "128098": {
788
+ "content": "__wo__",
789
+ "lstrip": true,
790
+ "normalized": false,
791
+ "rstrip": true,
792
+ "single_word": false,
793
+ "special": true
794
+ },
795
+ "128099": {
796
+ "content": "__xh__",
797
+ "lstrip": true,
798
+ "normalized": false,
799
+ "rstrip": true,
800
+ "single_word": false,
801
+ "special": true
802
+ },
803
+ "128100": {
804
+ "content": "__yi__",
805
+ "lstrip": true,
806
+ "normalized": false,
807
+ "rstrip": true,
808
+ "single_word": false,
809
+ "special": true
810
+ },
811
+ "128101": {
812
+ "content": "__yo__",
813
+ "lstrip": true,
814
+ "normalized": false,
815
+ "rstrip": true,
816
+ "single_word": false,
817
+ "special": true
818
+ },
819
+ "128102": {
820
+ "content": "__zh__",
821
+ "lstrip": true,
822
+ "normalized": false,
823
+ "rstrip": true,
824
+ "single_word": false,
825
+ "special": true
826
+ },
827
+ "128103": {
828
+ "content": "__zu__",
829
+ "lstrip": true,
830
+ "normalized": false,
831
+ "rstrip": true,
832
+ "single_word": false,
833
+ "special": true
834
+ }
835
+ },
836
+ "additional_special_tokens": [
837
+ "__af__",
838
+ "__am__",
839
+ "__ar__",
840
+ "__ast__",
841
+ "__az__",
842
+ "__ba__",
843
+ "__be__",
844
+ "__bg__",
845
+ "__bn__",
846
+ "__br__",
847
+ "__bs__",
848
+ "__ca__",
849
+ "__ceb__",
850
+ "__cs__",
851
+ "__cy__",
852
+ "__da__",
853
+ "__de__",
854
+ "__el__",
855
+ "__en__",
856
+ "__es__",
857
+ "__et__",
858
+ "__fa__",
859
+ "__ff__",
860
+ "__fi__",
861
+ "__fr__",
862
+ "__fy__",
863
+ "__ga__",
864
+ "__gd__",
865
+ "__gl__",
866
+ "__gu__",
867
+ "__ha__",
868
+ "__he__",
869
+ "__hi__",
870
+ "__hr__",
871
+ "__ht__",
872
+ "__hu__",
873
+ "__hy__",
874
+ "__id__",
875
+ "__ig__",
876
+ "__ilo__",
877
+ "__is__",
878
+ "__it__",
879
+ "__ja__",
880
+ "__jv__",
881
+ "__ka__",
882
+ "__kk__",
883
+ "__km__",
884
+ "__kn__",
885
+ "__ko__",
886
+ "__lb__",
887
+ "__lg__",
888
+ "__ln__",
889
+ "__lo__",
890
+ "__lt__",
891
+ "__lv__",
892
+ "__mg__",
893
+ "__mk__",
894
+ "__ml__",
895
+ "__mn__",
896
+ "__mr__",
897
+ "__ms__",
898
+ "__my__",
899
+ "__ne__",
900
+ "__nl__",
901
+ "__no__",
902
+ "__ns__",
903
+ "__oc__",
904
+ "__or__",
905
+ "__pa__",
906
+ "__pl__",
907
+ "__ps__",
908
+ "__pt__",
909
+ "__ro__",
910
+ "__ru__",
911
+ "__sd__",
912
+ "__si__",
913
+ "__sk__",
914
+ "__sl__",
915
+ "__so__",
916
+ "__sq__",
917
+ "__sr__",
918
+ "__ss__",
919
+ "__su__",
920
+ "__sv__",
921
+ "__sw__",
922
+ "__ta__",
923
+ "__th__",
924
+ "__tl__",
925
+ "__tn__",
926
+ "__tr__",
927
+ "__uk__",
928
+ "__ur__",
929
+ "__uz__",
930
+ "__vi__",
931
+ "__wo__",
932
+ "__xh__",
933
+ "__yi__",
934
+ "__yo__",
935
+ "__zh__",
936
+ "__zu__"
937
+ ],
938
+ "bos_token": "<s>",
939
+ "clean_up_tokenization_spaces": true,
940
+ "eos_token": "</s>",
941
+ "language_codes": "m2m100",
942
+ "model_max_length": 1024,
943
+ "num_madeup_words": 8,
944
+ "pad_token": "<pad>",
945
+ "sep_token": "</s>",
946
+ "sp_model_kwargs": {},
947
+ "src_lang": null,
948
+ "tgt_lang": null,
949
+ "tokenizer_class": "M2M100Tokenizer",
950
+ "tokenizer_file": null,
951
+ "unk_token": "<unk>"
952
+ }
train_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 3.0,
3
+ "train_loss": 1.3894377234543938,
4
+ "train_runtime": 699.9638,
5
+ "train_samples": 63407,
6
+ "train_samples_per_second": 271.758,
7
+ "train_steps_per_second": 4.856
8
+ }
trainer_state.json ADDED
@@ -0,0 +1,64 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 3.0,
5
+ "eval_steps": 500,
6
+ "global_step": 3399,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.44,
13
+ "learning_rate": 4.265960576640188e-05,
14
+ "loss": 2.3769,
15
+ "step": 500
16
+ },
17
+ {
18
+ "epoch": 0.88,
19
+ "learning_rate": 3.5304501323918806e-05,
20
+ "loss": 1.6449,
21
+ "step": 1000
22
+ },
23
+ {
24
+ "epoch": 1.32,
25
+ "learning_rate": 2.794939688143572e-05,
26
+ "loss": 1.3448,
27
+ "step": 1500
28
+ },
29
+ {
30
+ "epoch": 1.77,
31
+ "learning_rate": 2.0594292438952634e-05,
32
+ "loss": 1.2324,
33
+ "step": 2000
34
+ },
35
+ {
36
+ "epoch": 2.21,
37
+ "learning_rate": 1.3239187996469552e-05,
38
+ "loss": 1.08,
39
+ "step": 2500
40
+ },
41
+ {
42
+ "epoch": 2.65,
43
+ "learning_rate": 5.884083553986467e-06,
44
+ "loss": 0.9944,
45
+ "step": 3000
46
+ },
47
+ {
48
+ "epoch": 3.0,
49
+ "step": 3399,
50
+ "total_flos": 1.7789186041577472e+16,
51
+ "train_loss": 1.3894377234543938,
52
+ "train_runtime": 699.9638,
53
+ "train_samples_per_second": 271.758,
54
+ "train_steps_per_second": 4.856
55
+ }
56
+ ],
57
+ "logging_steps": 500,
58
+ "max_steps": 3399,
59
+ "num_train_epochs": 3,
60
+ "save_steps": 1000,
61
+ "total_flos": 1.7789186041577472e+16,
62
+ "trial_name": null,
63
+ "trial_params": null
64
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a759efcc79fe832faff745bde3def3f3e25b817bbee9022334afdb96c0b5798c
3
+ size 4219
vocab.json ADDED
The diff for this file is too large to render. See raw diff