w2v-bert-2.0-real-250-synth-250-hausa-v0.0

This model is a fine-tuned version of facebook/w2v-bert-2.0 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.6923
• Wer: 0.1308
• Cer: 0.0385

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 9e-05
• train_batch_size: 64
• eval_batch_size: 32
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 128
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.025
• num_epochs: 100.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
0.4005	1.0	4324	0.3025	0.2770	0.0704
0.1588	2.0	8648	0.3274	0.3038	0.0763
0.1588	3.0	12972	0.2865	0.2555	0.0672
0.1494	4.0	17296	0.2799	0.2452	0.0645
0.142	5.0	21620	0.2884	0.2548	0.0675
0.1359	6.0	25944	0.2767	0.2436	0.0647
0.1301	7.0	30268	0.2626	0.2446	0.0653
0.1232	8.0	34592	0.2529	0.2322	0.0608
0.12	9.0	38916	0.2600	0.2351	0.0620
0.1158	10.0	43240	0.2742	0.2431	0.0644
0.1117	11.0	47564	0.2565	0.2297	0.0603
0.1078	12.0	51888	0.2568	0.2257	0.0595
0.1038	13.0	56212	0.2483	0.2285	0.0595
0.0993	14.0	60536	0.2427	0.2217	0.0577
0.0974	15.0	64860	0.2494	0.2229	0.0588
0.0936	16.0	69184	0.2465	0.2216	0.0585
0.0884	17.0	73508	0.2413	0.2139	0.0563
0.0837	18.0	77832	0.2489	0.2154	0.0566
0.0801	19.0	82156	0.2489	0.2124	0.0562
0.0753	20.0	86480	0.2446	0.2077	0.0550
0.071	21.0	90804	0.2480	0.2038	0.0542
0.067	22.0	95128	0.2475	0.2057	0.0548
0.0631	23.0	99452	0.2518	0.1970	0.0528
0.0577	24.0	103776	0.2663	0.1917	0.0510
0.0544	25.0	108100	0.2536	0.1919	0.0516
0.0499	26.0	112424	0.2642	0.1895	0.0513
0.0458	27.0	116748	0.2671	0.1799	0.0487
0.0425	28.0	121072	0.2808	0.1797	0.0491
0.0396	29.0	125396	0.2732	0.1853	0.0508
0.0375	30.0	129720	0.2822	0.1776	0.0485
0.0341	31.0	134044	0.3013	0.1720	0.0474
0.032	32.0	138368	0.2974	0.1753	0.0485
0.0289	33.0	142692	0.2989	0.1730	0.0481
0.0275	34.0	147016	0.3099	0.1709	0.0476
0.0252	35.0	151340	0.3063	0.1680	0.0471
0.0232	36.0	155664	0.3232	0.1684	0.0474
0.0218	37.0	159988	0.3440	0.1618	0.0455
0.0204	38.0	164312	0.3251	0.1637	0.0462
0.0187	39.0	168636	0.3395	0.1593	0.0449
0.0174	40.0	172960	0.3553	0.1595	0.0452
0.0163	41.0	177284	0.3417	0.1582	0.0448
0.0155	42.0	181608	0.3699	0.1552	0.0442
0.0144	43.0	185932	0.3698	0.1560	0.0443
0.0139	44.0	190256	0.3543	0.1574	0.0447
0.0125	45.0	194580	0.3713	0.1567	0.0448
0.0122	46.0	198904	0.3797	0.1515	0.0432
0.0111	47.0	203228	0.3836	0.1520	0.0436
0.0105	48.0	207552	0.3989	0.1486	0.0425
0.0097	49.0	211876	0.4116	0.1490	0.0427
0.0091	50.0	216200	0.3927	0.1479	0.0425
0.0088	51.0	220524	0.3921	0.1464	0.0422
0.0083	52.0	224848	0.4105	0.1518	0.0439
0.0077	53.0	229172	0.4117	0.1488	0.0427
0.0072	54.0	233496	0.4022	0.1517	0.0436
0.0068	55.0	237820	0.4175	0.1433	0.0415
0.0064	56.0	242144	0.4209	0.1459	0.0420
0.0062	57.0	246468	0.4381	0.1440	0.0416
0.0056	58.0	250792	0.4322	0.1434	0.0414
0.0054	59.0	255116	0.4287	0.1453	0.0421
0.0051	60.0	259440	0.4335	0.1433	0.0416
0.0048	61.0	263764	0.4541	0.1433	0.0415
0.0046	62.0	268088	0.4574	0.1427	0.0413
0.0042	63.0	272412	0.4478	0.1444	0.0418
0.004	64.0	276736	0.4769	0.1396	0.0407
0.0038	65.0	281060	0.4573	0.1444	0.0420
0.0036	66.0	285384	0.4657	0.1401	0.0408
0.0033	67.0	289708	0.4791	0.1422	0.0415
0.0033	68.0	294032	0.4793	0.1399	0.0407
0.003	69.0	298356	0.4883	0.1384	0.0404
0.0027	70.0	302680	0.4866	0.1386	0.0404
0.0026	71.0	307004	0.5008	0.1374	0.0402
0.0024	72.0	311328	0.5000	0.1398	0.0409
0.0023	73.0	315652	0.5073	0.1388	0.0407
0.002	74.0	319976	0.5455	0.1379	0.0401
0.002	75.0	324300	0.5289	0.1374	0.0401
0.0018	76.0	328624	0.5519	0.1347	0.0394
0.0017	77.0	332948	0.5298	0.1352	0.0394
0.0015	78.0	337272	0.5382	0.1363	0.0400
0.0015	79.0	341596	0.5173	0.1391	0.0405
0.0013	80.0	345920	0.5414	0.1349	0.0395
0.0012	81.0	350244	0.5724	0.1352	0.0396
0.0011	82.0	354568	0.5710	0.1353	0.0396
0.0009	83.0	358892	0.6018	0.1328	0.0388
0.0009	84.0	363216	0.5961	0.1325	0.0389
0.0008	85.0	367540	0.6118	0.1328	0.0389
0.0007	86.0	371864	0.5842	0.1321	0.0386
0.0007	87.0	376188	0.6197	0.1315	0.0385
0.0006	88.0	380512	0.6307	0.1322	0.0388
0.0005	89.0	384836	0.6503	0.1322	0.0386
0.0004	90.0	389160	0.6500	0.1325	0.0389
0.0003	91.0	393484	0.6967	0.1312	0.0385
0.0003	92.0	397808	0.6835	0.1315	0.0387
0.0002	93.0	402132	0.6923	0.1308	0.0385

Framework versions

• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1