wav2vec2-xls-r-300m-dv

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the common_voice dataset. It achieves the following results on the evaluation set:

• Loss: 0.2206
• Wer: 0.2451

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 50
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
5.9623	0.66	400	3.3010	1.0
3.2238	1.33	800	2.8950	1.0
1.1988	1.99	1200	0.5277	0.6681
0.6084	2.65	1600	0.4113	0.5831
0.4973	3.32	2000	0.3538	0.5333
0.4476	3.98	2400	0.3201	0.5081
0.3999	4.64	2800	0.2917	0.4759
0.3779	5.31	3200	0.2788	0.4672
0.3457	5.97	3600	0.2667	0.4557
0.3222	6.63	4000	0.2549	0.4452
0.3129	7.3	4400	0.2491	0.4266
0.2927	7.96	4800	0.2488	0.4246
0.2786	8.62	5200	0.2429	0.4145
0.2756	9.29	5600	0.2453	0.4150
0.258	9.95	6000	0.2282	0.4109
0.251	10.61	6400	0.2307	0.4012
0.2397	11.28	6800	0.2275	0.4
0.2312	11.94	7200	0.2244	0.3889
0.2323	12.6	7600	0.2247	0.3983
0.216	13.27	8000	0.2301	0.3863
0.2169	13.93	8400	0.2224	0.3782
0.2089	14.59	8800	0.2276	0.3771
0.2042	15.26	9200	0.2286	0.3784
0.1953	15.92	9600	0.2235	0.3822
0.1876	16.58	10000	0.2267	0.3674
0.186	17.25	10400	0.2295	0.3676
0.1847	17.91	10800	0.2244	0.3608
0.178	18.57	11200	0.2229	0.3526
0.1751	19.24	11600	0.2219	0.3483
0.17	19.9	12000	0.2241	0.3503
0.1641	20.56	12400	0.2187	0.3403
0.1629	21.23	12800	0.2135	0.3433
0.1568	21.89	13200	0.2117	0.3358
0.1585	22.55	13600	0.2151	0.3332
0.1512	23.22	14000	0.2097	0.3344
0.1427	23.88	14400	0.2119	0.3255
0.1458	24.54	14800	0.2209	0.3213
0.1413	25.21	15200	0.2228	0.3202
0.1363	25.87	15600	0.2071	0.3207
0.1302	26.53	16000	0.2094	0.3138
0.1283	27.2	16400	0.2193	0.3132
0.1278	27.86	16800	0.2197	0.3103
0.1271	28.52	17200	0.2133	0.3009
0.1243	29.19	17600	0.2202	0.3026
0.1182	29.85	18000	0.2092	0.3046
0.1171	30.51	18400	0.2142	0.2947
0.1156	31.18	18800	0.2219	0.2926
0.1129	31.84	19200	0.2194	0.2848
0.1099	32.5	19600	0.2218	0.2869
0.1045	33.17	20000	0.2183	0.2803
0.1057	33.83	20400	0.2242	0.2896
0.1056	34.49	20800	0.2189	0.2838
0.1039	35.16	21200	0.2256	0.2819
0.1007	35.82	21600	0.2196	0.2743
0.1012	36.48	22000	0.2218	0.2752
0.098	37.15	22400	0.2181	0.2721
0.0963	37.81	22800	0.2162	0.2691
0.0943	38.47	23200	0.2148	0.2686
0.0959	39.14	23600	0.2194	0.2658
0.0904	39.8	24000	0.2170	0.2641
0.0898	40.46	24400	0.2129	0.2585
0.0886	41.13	24800	0.2199	0.2606
0.088	41.79	25200	0.2155	0.2595
0.0863	42.45	25600	0.2169	0.2564
0.0876	43.12	26000	0.2178	0.2529
0.0827	43.78	26400	0.2171	0.2559
0.087	44.44	26800	0.2192	0.2530
0.0818	45.11	27200	0.2180	0.2496
0.0811	45.77	27600	0.2207	0.2502
0.0828	46.43	28000	0.2186	0.2502
0.0796	47.1	28400	0.2203	0.2468
0.0804	47.76	28800	0.2201	0.2453
0.0791	48.42	29200	0.2204	0.2477
0.0777	49.09	29600	0.2197	0.2466
0.0775	49.75	30000	0.2206	0.2451

Framework versions

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0