bagasshw/whisper-tiny-javanese-openslr-v4

Whisper-Tiny-Java-v4

This model is a fine-tuned version of openai/whisper-tiny on the jv_id_asr_split dataset. It achieves the following results on the evaluation set:

• Loss: 0.1877
• Wer: 0.1560

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• training_steps: 50000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
1.1788	0.0540	500	0.9671	0.6590
0.8015	0.1081	1000	0.6977	0.5305
0.6498	0.1621	1500	0.5725	0.6670
0.5828	0.2161	2000	0.5094	0.4829
0.5226	0.2702	2500	0.4642	0.3860
0.4955	0.3242	3000	0.4341	0.3915
0.4616	0.3782	3500	0.4128	0.3540
0.4474	0.4323	4000	0.3900	0.3614
0.4387	0.4863	4500	0.3736	0.3563
0.4154	0.5403	5000	0.3606	0.3274
0.419	0.5944	5500	0.3495	0.3144
0.3799	0.6484	6000	0.3398	0.2922
0.3802	0.7024	6500	0.3290	0.3044
0.3611	0.7565	7000	0.3225	0.2823
0.3548	0.8105	7500	0.3168	0.2733
0.346	0.8645	8000	0.3105	0.2660
0.3547	0.9186	8500	0.3063	0.2708
0.3211	0.9726	9000	0.3019	0.2827
0.2718	1.0267	9500	0.2990	0.2660
0.2859	1.0807	10000	0.2980	0.2587
0.2917	1.1348	10500	0.3269	0.2519
0.3117	1.1888	11000	0.3214	0.2575
0.3204	1.2428	11500	0.3168	0.2646
0.2962	1.2969	12000	0.3087	0.2410
0.2961	1.3509	12500	0.3057	0.2385
0.2887	1.4049	13000	0.2987	0.2281
0.2981	1.4590	13500	0.2953	0.2322
0.2994	1.5130	14000	0.2909	0.2322
0.2818	1.5670	14500	0.2848	0.2200
0.2851	1.6211	15000	0.2830	0.2166
0.275	1.6751	15500	0.2770	0.2129
0.2689	1.7291	16000	0.2760	0.2119
0.2796	1.7832	16500	0.2678	0.2002
0.2717	1.8372	17000	0.2653	0.2001
0.2661	1.8912	17500	0.2626	0.2014
0.2612	1.9453	18000	0.2573	0.1953
0.2532	1.9993	18500	0.2554	0.1954
0.1993	2.0534	19000	0.2527	0.1949
0.2009	2.1074	19500	0.2505	0.1897
0.1929	2.1615	20000	0.2484	0.1927
0.2011	2.2155	20500	0.2454	0.1895
0.1828	2.2695	21000	0.2444	0.1892
0.1823	2.3236	21500	0.2437	0.1845
0.186	2.3776	22000	0.2407	0.1839
0.1898	2.4316	22500	0.2390	0.1828
0.1789	2.4857	23000	0.2363	0.1790
0.1765	2.5397	23500	0.2353	0.1797
0.1808	2.5937	24000	0.2320	0.1797
0.1771	2.6478	24500	0.2291	0.1777
0.183	2.7018	25000	0.2276	0.1788
0.178	2.7558	25500	0.2250	0.1754
0.1829	2.8099	26000	0.2231	0.1755
0.183	2.8639	26500	0.2216	0.1790
0.1812	2.9179	27000	0.2198	0.1729
0.1697	2.9720	27500	0.2186	0.1727
0.1317	3.0260	28000	0.2173	0.1728
0.1298	3.0801	28500	0.2159	0.1690
0.1272	3.1341	29000	0.2161	0.1686
0.1389	3.1881	29500	0.2148	0.1706
0.1379	3.2422	30000	0.2139	0.1693
0.1312	3.2962	30500	0.2133	0.1714
0.1212	3.3502	31000	0.2116	0.1706
0.1265	3.4043	31500	0.2103	0.1666
0.1261	3.4583	32000	0.2095	0.1706
0.127	3.5123	32500	0.2079	0.1673
0.1346	3.5664	33000	0.2061	0.1683
0.1283	3.6204	33500	0.2046	0.1652
0.1244	3.6744	34000	0.2040	0.1684
0.1207	3.7285	34500	0.2026	0.1648
0.1239	3.7825	35000	0.2022	0.1622
0.1308	3.8365	35500	0.1998	0.1624
0.1272	3.8906	36000	0.1997	0.1649
0.1328	3.9446	36500	0.1988	0.1647
0.1256	3.9986	37000	0.1971	0.1653
0.0953	4.0527	37500	0.1974	0.1604
0.0946	4.1068	38000	0.1979	0.1625
0.0933	4.1608	38500	0.1964	0.1609
0.1025	4.2148	39000	0.1962	0.1634
0.1002	4.2689	39500	0.1957	0.1632
0.0976	4.3229	40000	0.1949	0.1621
0.0983	4.3769	40500	0.1936	0.1605
0.0995	4.4310	41000	0.1935	0.1608
0.0877	4.4850	41500	0.1930	0.1608
0.0985	4.5390	42000	0.1928	0.1633
0.0887	4.5931	42500	0.1917	0.1616
0.0909	4.6471	43000	0.1918	0.1604
0.0908	4.7011	43500	0.1910	0.1593
0.0931	4.7552	44000	0.1902	0.1579
0.0938	4.8092	44500	0.1890	0.1582
0.0925	4.8632	45000	0.1889	0.1594
0.0943	4.9173	45500	0.1882	0.1578
0.0918	4.9713	46000	0.1879	0.1584
0.0791	5.0253	46500	0.1877	0.1560
0.077	5.0793	47000	0.1877	0.1587
0.0769	5.1334	47500	0.1878	0.1597
0.0744	5.1874	48000	0.1876	0.1585
0.0775	5.2414	48500	0.1874	0.1595
0.069	5.2955	49000	0.1873	0.1579
0.0761	5.3495	49500	0.1870	0.1575
0.0711	5.4036	50000	0.1869	0.1583

Framework versions

• Transformers 4.50.0.dev0
• Pytorch 2.6.0+cu126
• Datasets 2.16.0
• Tokenizers 0.21.1