train_rte_1744902657

This model is a fine-tuned version of google/gemma-3-1b-it on the rte dataset. It achieves the following results on the evaluation set:

• Loss: 0.0950
• Num Input Tokens Seen: 102120968

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.2184	1.4207	200	0.2311	514544
0.116	2.8414	400	0.1378	1025888
0.1051	4.2567	600	0.1204	1532968
0.1217	5.6774	800	0.1133	2047232
0.0987	7.0927	1000	0.1084	2553328
0.09	8.5134	1200	0.1069	3064584
0.1112	9.9340	1400	0.1060	3578720
0.1123	11.3494	1600	0.1063	4086872
0.0885	12.7701	1800	0.1036	4597072
0.1075	14.1854	2000	0.1036	5107408
0.0943	15.6061	2200	0.1013	5618600
0.0915	17.0214	2400	0.1013	6127088
0.0999	18.4421	2600	0.1013	6640448
0.0814	19.8627	2800	0.1001	7149392
0.086	21.2781	3000	0.0999	7655512
0.0816	22.6988	3200	0.1009	8170864
0.1013	24.1141	3400	0.0997	8679240
0.0839	25.5348	3600	0.1005	9186256
0.0724	26.9554	3800	0.0990	9701496
0.0791	28.3708	4000	0.0981	10208536
0.08	29.7914	4200	0.0980	10718920
0.0793	31.2068	4400	0.0997	11238024
0.0936	32.6275	4600	0.0990	11745784
0.0747	34.0428	4800	0.0971	12256384
0.0653	35.4635	5000	0.0969	12764464
0.081	36.8841	5200	0.0962	13274464
0.0914	38.2995	5400	0.0962	13783792
0.0802	39.7201	5600	0.0967	14300048
0.0736	41.1355	5800	0.0958	14802928
0.0812	42.5561	6000	0.0963	15310736
0.0788	43.9768	6200	0.0962	15826504
0.0936	45.3922	6400	0.0950	16328920
0.0778	46.8128	6600	0.0966	16846456
0.0834	48.2282	6800	0.0965	17353504
0.0712	49.6488	7000	0.0966	17866072
0.0963	51.0642	7200	0.0962	18373808
0.0739	52.4848	7400	0.0957	18884136
0.0647	53.9055	7600	0.0966	19402904
0.0787	55.3209	7800	0.0971	19913320
0.073	56.7415	8000	0.0959	20425320
0.0863	58.1569	8200	0.0974	20932224
0.0852	59.5775	8400	0.0967	21443632
0.0887	60.9982	8600	0.0963	21958520
0.0725	62.4135	8800	0.0992	22465568
0.0613	63.8342	9000	0.0985	22978872
0.0727	65.2496	9200	0.0976	23489416
0.0645	66.6702	9400	0.0960	23998568
0.0702	68.0856	9600	0.0983	24508040
0.0568	69.5062	9800	0.0970	25021816
0.0629	70.9269	10000	0.0985	25536008
0.0617	72.3422	10200	0.0985	26049360
0.0722	73.7629	10400	0.0980	26563296
0.0499	75.1783	10600	0.0985	27069112
0.0681	76.5989	10800	0.0997	27583320
0.0713	78.0143	11000	0.0992	28092696
0.0701	79.4349	11200	0.0988	28604784
0.0596	80.8556	11400	0.0995	29118496
0.0705	82.2709	11600	0.0991	29628968
0.0655	83.6916	11800	0.1007	30142648
0.0681	85.1070	12000	0.1011	30650416
0.0684	86.5276	12200	0.1002	31164200
0.0697	87.9483	12400	0.1000	31680176
0.0744	89.3636	12600	0.1013	32191784
0.0572	90.7843	12800	0.1027	32704016
0.0411	92.1996	13000	0.1010	33211832
0.0714	93.6203	13200	0.1008	33725272
0.0544	95.0357	13400	0.0999	34239520
0.0801	96.4563	13600	0.1025	34749688
0.0481	97.8770	13800	0.1020	35255888
0.0592	99.2923	14000	0.1021	35764264
0.0491	100.7130	14200	0.1018	36272560
0.0561	102.1283	14400	0.1022	36779392
0.0498	103.5490	14600	0.1013	37288688
0.054	104.9697	14800	0.1041	37798808
0.046	106.3850	15000	0.1033	38306176
0.0463	107.8057	15200	0.1022	38818056
0.0586	109.2210	15400	0.1025	39327152
0.058	110.6417	15600	0.1054	39834472
0.0645	112.0570	15800	0.1044	40347168
0.0474	113.4777	16000	0.1059	40861968
0.0517	114.8984	16200	0.1041	41373408
0.0581	116.3137	16400	0.1072	41884568
0.0609	117.7344	16600	0.1051	42393232
0.0427	119.1497	16800	0.1052	42901968
0.0487	120.5704	17000	0.1040	43418880
0.0604	121.9911	17200	0.1054	43930128
0.0609	123.4064	17400	0.1078	44439224
0.065	124.8271	17600	0.1046	44949200
0.0482	126.2424	17800	0.1084	45456488
0.0635	127.6631	18000	0.1069	45966968
0.0363	129.0784	18200	0.1074	46478752
0.0575	130.4991	18400	0.1070	46990144
0.0452	131.9198	18600	0.1057	47496384
0.0477	133.3351	18800	0.1065	48002064
0.056	134.7558	19000	0.1092	48514080
0.0709	136.1711	19200	0.1067	49020824
0.0599	137.5918	19400	0.1077	49536472
0.0365	139.0071	19600	0.1092	50047616
0.0484	140.4278	19800	0.1085	50560928
0.0398	141.8485	20000	0.1095	51077560
0.0411	143.2638	20200	0.1115	51589728
0.0408	144.6845	20400	0.1088	52091960
0.0726	146.0998	20600	0.1104	52599968
0.0581	147.5205	20800	0.1089	53105080
0.0546	148.9412	21000	0.1106	53615088
0.0343	150.3565	21200	0.1109	54126520
0.042	151.7772	21400	0.1076	54637568
0.0251	153.1925	21600	0.1145	55145992
0.0434	154.6132	21800	0.1071	55658768
0.0407	156.0285	22000	0.1119	56165752
0.0312	157.4492	22200	0.1113	56680344
0.0501	158.8699	22400	0.1111	57190184
0.0379	160.2852	22600	0.1111	57701264
0.049	161.7059	22800	0.1111	58206800
0.0333	163.1212	23000	0.1114	58714616
0.0282	164.5419	23200	0.1116	59223288
0.0359	165.9626	23400	0.1114	59731816
0.0381	167.3779	23600	0.1152	60238984
0.0398	168.7986	23800	0.1131	60751824
0.045	170.2139	24000	0.1125	61264200
0.0589	171.6346	24200	0.1142	61774128
0.0452	173.0499	24400	0.1126	62287528
0.0429	174.4706	24600	0.1136	62802568
0.0248	175.8913	24800	0.1136	63313384
0.0523	177.3066	25000	0.1169	63824360
0.0394	178.7273	25200	0.1118	64334200
0.0373	180.1426	25400	0.1144	64843720
0.044	181.5633	25600	0.1128	65355856
0.0604	182.9840	25800	0.1151	65867080
0.0442	184.3993	26000	0.1135	66376432
0.0428	185.8200	26200	0.1161	66891552
0.0341	187.2353	26400	0.1155	67395432
0.0467	188.6560	26600	0.1139	67911272
0.0366	190.0713	26800	0.1174	68421624
0.0584	191.4920	27000	0.1162	68928904
0.0386	192.9127	27200	0.1129	69438872
0.0235	194.3280	27400	0.1157	69956344
0.0446	195.7487	27600	0.1135	70469232
0.0371	197.1640	27800	0.1128	70980552
0.0457	198.5847	28000	0.1149	71494368
0.0314	200.0	28200	0.1162	71999768
0.039	201.4207	28400	0.1159	72508480
0.0321	202.8414	28600	0.1164	73019472
0.0342	204.2567	28800	0.1152	73527632
0.0318	205.6774	29000	0.1172	74041024
0.0282	207.0927	29200	0.1154	74544840
0.033	208.5134	29400	0.1180	75056168
0.0324	209.9340	29600	0.1170	75568152
0.0347	211.3494	29800	0.1172	76079080
0.0461	212.7701	30000	0.1216	76588464
0.0445	214.1854	30200	0.1164	77091184
0.0486	215.6061	30400	0.1177	77604592
0.0237	217.0214	30600	0.1189	78117872
0.0398	218.4421	30800	0.1173	78636456
0.0256	219.8627	31000	0.1183	79145648
0.0307	221.2781	31200	0.1173	79656680
0.0554	222.6988	31400	0.1189	80170976
0.0412	224.1141	31600	0.1157	80680568
0.0385	225.5348	31800	0.1192	81190016
0.0598	226.9554	32000	0.1131	81700080
0.0417	228.3708	32200	0.1169	82211496
0.0391	229.7914	32400	0.1211	82723360
0.0548	231.2068	32600	0.1168	83233760
0.0417	232.6275	32800	0.1190	83744152
0.0341	234.0428	33000	0.1188	84252696
0.0379	235.4635	33200	0.1188	84766920
0.0312	236.8841	33400	0.1194	85270792
0.0211	238.2995	33600	0.1171	85785816
0.0316	239.7201	33800	0.1177	86297192
0.0424	241.1355	34000	0.1195	86800112
0.0363	242.5561	34200	0.1207	87308856
0.0462	243.9768	34400	0.1199	87823904
0.0315	245.3922	34600	0.1202	88328184
0.0409	246.8128	34800	0.1170	88842368
0.0336	248.2282	35000	0.1199	89352024
0.0567	249.6488	35200	0.1172	89859880
0.0268	251.0642	35400	0.1206	90371864
0.0453	252.4848	35600	0.1203	90889904
0.0481	253.9055	35800	0.1191	91398024
0.0408	255.3209	36000	0.1221	91909952
0.0498	256.7415	36200	0.1203	92415808
0.036	258.1569	36400	0.1202	92924744
0.039	259.5775	36600	0.1209	93438136
0.0325	260.9982	36800	0.1217	93945688
0.0552	262.4135	37000	0.1191	94456488
0.038	263.8342	37200	0.1218	94967816
0.0308	265.2496	37400	0.1193	95480152
0.0247	266.6702	37600	0.1168	95992952
0.0359	268.0856	37800	0.1217	96503784
0.0368	269.5062	38000	0.1201	97017704
0.0209	270.9269	38200	0.1234	97525848
0.0206	272.3422	38400	0.1206	98034592
0.0209	273.7629	38600	0.1209	98546400
0.0475	275.1783	38800	0.1207	99055216
0.0641	276.5989	39000	0.1208	99570208
0.0276	278.0143	39200	0.1180	100077240
0.0531	279.4349	39400	0.1198	100585296
0.0356	280.8556	39600	0.1185	101096120
0.0456	282.2709	39800	0.1181	101609904
0.026	283.6916	40000	0.1183	102120968

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1