wav2vec2-base-vi

This model is a fine-tuned version of nguyenvulebinh/wav2vec2-base-vietnamese-250h on the nguyendv02/ViMD_Dataset dataset. It achieves the following results on the evaluation set:

• Loss: 0.4186
• Wer: 0.1399

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 50
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.5773	0.2130	100	0.4027	0.2256
0.5774	0.4260	200	0.4175	0.2129
0.5712	0.6390	300	0.3901	0.2093
0.572	0.8520	400	0.4175	0.2165
0.52	1.0639	500	0.3773	0.2087
0.524	1.2769	600	0.3954	0.1980
0.5448	1.4899	700	0.3931	0.2001
0.534	1.7029	800	0.3822	0.2061
0.7887	1.9159	900	0.3636	0.2175
0.7588	2.1278	1000	0.3727	0.2108
0.4846	2.3408	1100	0.3829	0.2095
0.509	2.5538	1200	0.3674	0.2026
0.4991	2.7668	1300	0.3763	0.1929
0.497	2.9798	1400	0.3728	0.1969
0.4693	3.1917	1500	0.3705	0.2012
0.4538	3.4047	1600	0.3798	0.1883
0.4634	3.6177	1700	0.3775	0.1946
0.5027	3.8307	1800	0.3721	0.2098
0.7039	4.0426	1900	0.3656	0.1956
0.4503	4.2556	2000	0.3687	0.1883
0.4614	4.4686	2100	0.3594	0.1911
0.4633	4.6816	2200	0.3637	0.1888
0.4471	4.8946	2300	0.3587	0.1947
0.4426	5.1065	2400	0.3591	0.1942
0.6023	5.3195	2500	0.3695	0.1977
0.4372	5.5325	2600	0.3634	0.1859
0.4416	5.7455	2700	0.3721	0.1894
0.4402	5.9585	2800	0.3706	0.1808
0.4196	6.1704	2900	0.3714	0.1835
0.4351	6.3834	3000	0.3527	0.1828
0.4237	6.5964	3100	0.3635	0.1808
0.4151	6.8094	3200	0.3588	0.1837
0.4331	7.0213	3300	0.3677	0.1792
0.41	7.2343	3400	0.3711	0.1889
0.42	7.4473	3500	0.3595	0.1849
0.4195	7.6603	3600	0.3606	0.1872
0.4077	7.8733	3700	0.3571	0.1767
0.3946	8.0852	3800	0.3568	0.1780
0.395	8.2982	3900	0.3688	0.1794
0.685	8.5112	4000	0.3609	0.1835
0.3958	8.7242	4100	0.3610	0.1808
0.4108	8.9372	4200	0.3575	0.1814
0.391	9.1491	4300	0.3568	0.1801
0.3929	9.3621	4400	0.3703	0.1753
0.3858	9.5751	4500	0.3641	0.1813
0.3923	9.7881	4600	0.3623	0.1800
0.5742	10.0	4700	0.3692	0.1804
0.3779	10.2130	4800	0.3567	0.1745
0.371	10.4260	4900	0.3480	0.1794
0.3886	10.6390	5000	0.3708	0.1772
0.5121	10.8520	5100	0.3646	0.1756
0.3721	11.0639	5200	0.3599	0.1785
0.3576	11.2769	5300	0.3653	0.1753
0.3628	11.4899	5400	0.3632	0.1720
0.3696	11.7029	5500	0.3598	0.1753
0.4482	11.9159	5600	0.3495	0.1747
0.3507	12.1278	5700	0.3664	0.1746
0.3753	12.3408	5800	0.3619	0.1753
0.3556	12.5538	5900	0.3527	0.1737
0.5794	12.7668	6000	0.3583	0.1787
0.3544	12.9798	6100	0.3639	0.1726
0.3498	13.1917	6200	0.3674	0.1751
0.3581	13.4047	6300	0.3639	0.1810
0.3502	13.6177	6400	0.3689	0.1740
0.3517	13.8307	6500	0.3750	0.1730
0.347	14.0426	6600	0.3673	0.1755
0.3592	14.2556	6700	0.3781	0.1810
0.3407	14.4686	6800	0.3803	0.1707
0.3364	14.6816	6900	0.3817	0.1744
0.3452	14.8946	7000	0.3697	0.1797
0.3385	15.1065	7100	0.3628	0.1742
0.3377	15.3195	7200	0.3820	0.1683
0.3476	15.5325	7300	0.3813	0.1709
0.3453	15.7455	7400	0.3764	0.1761
0.333	15.9585	7500	0.3594	0.1717
0.3145	16.1704	7600	0.3856	0.1678
0.3312	16.3834	7700	0.3631	0.1729
0.3305	16.5964	7800	0.3847	0.1693
0.3251	16.8094	7900	0.3863	0.1711
0.3172	17.0213	8000	0.4000	0.1696
0.3164	17.2343	8100	0.3772	0.1665
0.3182	17.4473	8200	0.3854	0.1700
0.3388	17.6603	8300	0.3778	0.1722
0.3159	17.8733	8400	0.3859	0.1734
0.2946	18.0852	8500	0.3733	0.1698
0.3018	18.2982	8600	0.3814	0.1675
0.3103	18.5112	8700	0.3887	0.1716
0.3147	18.7242	8800	0.3724	0.1674
0.3197	18.9372	8900	0.3843	0.1637
0.3072	19.1491	9000	0.3756	0.1705
0.3038	19.3621	9100	0.3838	0.1700
0.3032	19.5751	9200	0.3863	0.1673
0.3144	19.7881	9300	0.3771	0.1681
0.2871	20.0	9400	0.3825	0.1652
0.2945	20.2130	9500	0.3831	0.1668
0.2818	20.4260	9600	0.3881	0.1701
0.2935	20.6390	9700	0.3746	0.1654
0.3025	20.8520	9800	0.3780	0.1659
0.2955	21.0639	9900	0.3901	0.1636
0.2817	21.2769	10000	0.3781	0.1671
0.2723	21.4899	10100	0.3806	0.1666
0.2717	21.7029	10200	0.3856	0.1651
0.2821	21.9159	10300	0.3893	0.1644
0.2858	22.1278	10400	0.3762	0.1672
0.279	22.3408	10500	0.3936	0.1678
0.2772	22.5538	10600	0.4092	0.1623
0.2851	22.7668	10700	0.4006	0.1604
0.2841	22.9798	10800	0.3783	0.1662
0.2657	23.1917	10900	0.4099	0.1631
0.2776	23.4047	11000	0.3904	0.1668
0.2659	23.6177	11100	0.3760	0.1718
0.2811	23.8307	11200	0.3782	0.1668
0.2573	24.0426	11300	0.3908	0.1632
0.2631	24.2556	11400	0.3981	0.1662
0.266	24.4686	11500	0.4048	0.1638
0.2708	24.6816	11600	0.3955	0.1622
0.2762	24.8946	11700	0.3864	0.1634
0.2628	25.1065	11800	0.4063	0.1618
0.2457	25.3195	11900	0.4022	0.1616
0.2743	25.5325	12000	0.4092	0.1668
0.2993	25.7455	12100	0.4199	0.1614
0.2508	25.9585	12200	0.3914	0.1642
0.2371	26.1704	12300	0.4099	0.1609
0.252	26.3834	12400	0.4142	0.1615
0.2601	26.5964	12500	0.4017	0.1600
0.253	26.8094	12600	0.4028	0.1629
0.2686	27.0213	12700	0.4172	0.1608
0.2463	27.2343	12800	0.4062	0.1631
0.2578	27.4473	12900	0.4187	0.1582
0.2451	27.6603	13000	0.4321	0.1603
0.2619	27.8733	13100	0.4217	0.1606
0.4514	28.0852	13200	0.4163	0.1590
0.2445	28.2982	13300	0.3983	0.1603
0.2431	28.5112	13400	0.4151	0.1600
0.2405	28.7242	13500	0.4111	0.1566
0.2642	28.9372	13600	0.4134	0.1596
0.2462	29.1491	13700	0.4284	0.1601
0.2363	29.3621	13800	0.4128	0.1606
0.2368	29.5751	13900	0.4331	0.1575
0.2333	29.7881	14000	0.4301	0.1573
0.2347	30.0	14100	0.4168	0.1601
0.2298	30.2130	14200	0.4377	0.1591
0.2375	30.4260	14300	0.4224	0.1569
0.2404	30.6390	14400	0.3970	0.1586
0.2511	30.8520	14500	0.3990	0.1581
0.2311	31.0639	14600	0.4298	0.1589
0.2215	31.2769	14700	0.4250	0.1576
0.229	31.4899	14800	0.4190	0.1596
0.2236	31.7029	14900	0.4381	0.1564
0.236	31.9159	15000	0.4226	0.1553
0.214	32.1278	15100	0.4270	0.1548
0.2216	32.3408	15200	0.4218	0.1597
0.2291	32.5538	15300	0.4271	0.1571
0.2237	32.7668	15400	0.4224	0.1575
0.2347	32.9798	15500	0.4423	0.1549
0.2179	33.1917	15600	0.4484	0.1560
0.2137	33.4047	15700	0.4426	0.1545
0.2208	33.6177	15800	0.4322	0.1559
0.2206	33.8307	15900	0.4502	0.1550
0.2309	34.0426	16000	0.4466	0.1558
0.2058	34.2556	16100	0.4505	0.1604
0.2104	34.4686	16200	0.4422	0.1548
0.2284	34.6816	16300	0.4555	0.1533
0.2207	34.8946	16400	0.4464	0.1534
0.2015	35.1065	16500	0.4467	0.1550
0.2136	35.3195	16600	0.4458	0.1552
0.2077	35.5325	16700	0.4373	0.1566
0.2196	35.7455	16800	0.4361	0.1546
0.2203	35.9585	16900	0.4603	0.1547
0.2069	36.1704	17000	0.4659	0.1532
0.2079	36.3834	17100	0.4436	0.1543
0.2163	36.5964	17200	0.4346	0.1543
0.2031	36.8094	17300	0.4576	0.1569
0.1966	37.0213	17400	0.4567	0.1526
0.2017	37.2343	17500	0.4479	0.1551
0.2031	37.4473	17600	0.4537	0.1560
0.1889	37.6603	17700	0.4574	0.1532
0.1952	37.8733	17800	0.4480	0.1535
0.1998	38.0852	17900	0.4621	0.1535
0.1934	38.2982	18000	0.4491	0.1534
0.2056	38.5112	18100	0.4606	0.1538
0.187	38.7242	18200	0.4748	0.1500
0.1931	38.9372	18300	0.4407	0.1532
0.1963	39.1491	18400	0.4668	0.1514
0.1867	39.3621	18500	0.4582	0.1525
0.1924	39.5751	18600	0.4675	0.1534
0.1985	39.7881	18700	0.4698	0.1515
0.2027	40.0	18800	0.4739	0.1515
0.1804	40.2130	18900	0.4671	0.1524
0.1956	40.4260	19000	0.4550	0.1515
0.1922	40.6390	19100	0.4710	0.1513
0.1986	40.8520	19200	0.4766	0.1520
0.1816	41.0639	19300	0.4799	0.1514
0.1781	41.2769	19400	0.4674	0.1505
0.1883	41.4899	19500	0.4608	0.1526
0.1801	41.7029	19600	0.4706	0.1512
0.1867	41.9159	19700	0.4678	0.1508
0.1747	42.1278	19800	0.4728	0.1500
0.1971	42.3408	19900	0.4793	0.1501
0.1824	42.5538	20000	0.4840	0.1498
0.1727	42.7668	20100	0.4737	0.1528
0.1793	42.9798	20200	0.4673	0.1494
0.1887	43.1917	20300	0.4935	0.1492
0.1758	43.4047	20400	0.4774	0.1491
0.1713	43.6177	20500	0.4773	0.1503
0.1852	43.8307	20600	0.4656	0.1507
0.1715	44.0426	20700	0.4917	0.1492
0.1734	44.2556	20800	0.4822	0.1494
0.1669	44.4686	20900	0.4909	0.1496
0.1785	44.6816	21000	0.4873	0.1489
0.1846	44.8946	21100	0.4828	0.1500
0.1735	45.1065	21200	0.4825	0.1492
0.1778	45.3195	21300	0.4843	0.1492
0.1751	45.5325	21400	0.4774	0.1488
0.1729	45.7455	21500	0.4813	0.1497
0.167	45.9585	21600	0.4967	0.1489
0.1691	46.1704	21700	0.4784	0.1489
0.1702	46.3834	21800	0.4866	0.1489
0.1815	46.5964	21900	0.4901	0.1488
0.1718	46.8094	22000	0.4938	0.1476
0.1651	47.0213	22100	0.4997	0.1477
0.1618	47.2343	22200	0.4999	0.1483
0.1632	47.4473	22300	0.4890	0.1481
0.1584	47.6603	22400	0.4957	0.1483
0.173	47.8733	22500	0.4906	0.1482
0.1586	48.0852	22600	0.4977	0.1478
0.1621	48.2982	22700	0.4943	0.1471
0.172	48.5112	22800	0.4971	0.1476
0.1791	48.7242	22900	0.4937	0.1480
0.191	48.9372	23000	0.4933	0.1481
0.1763	49.1491	23100	0.4881	0.1478
0.1637	49.3621	23200	0.4973	0.1476
0.1599	49.5751	23300	0.4992	0.1478
0.1691	49.7881	23400	0.4970	0.1475
0.1641	50.0	23500	0.4978	0.1474

Framework versions

• Transformers 4.53.0
• Pytorch 2.7.1+cu126
• Datasets 3.6.0
• Tokenizers 0.21.2