train_rte_1744902663

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the rte dataset. It achieves the following results on the evaluation set:

• Loss: 0.1400
• Num Input Tokens Seen: 107274480

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.3
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.1456	1.4207	200	0.1408	540280
0.1406	2.8414	400	0.1417	1077480
0.1374	4.2567	600	0.1462	1609584
0.1373	5.6774	800	0.1418	2150192
0.1133	7.0927	1000	0.1400	2681640
0.1284	8.5134	1200	0.1460	3218528
0.7497	9.9340	1400	0.6940	3757240
0.2285	11.3494	1600	0.2067	4292384
0.3947	12.7701	1800	0.3660	4828992
0.1481	14.1854	2000	0.1533	5364048
0.1423	15.6061	2200	0.1494	5901512
0.1672	17.0214	2400	0.1469	6435768
0.141	18.4421	2600	0.1451	6974976
0.1414	19.8627	2800	0.1446	7509488
0.1433	21.2781	3000	0.1448	8041736
0.1412	22.6988	3200	0.1472	8583128
0.1371	24.1141	3400	0.1489	9117488
0.1362	25.5348	3600	0.1445	9649136
0.1432	26.9554	3800	0.1453	10191288
0.1389	28.3708	4000	0.1485	10724032
0.1361	29.7914	4200	0.1469	11259816
0.135	31.2068	4400	0.1455	11805200
0.14	32.6275	4600	0.1461	12337832
0.1398	34.0428	4800	0.1518	12874672
0.1358	35.4635	5000	0.1460	13408200
0.1328	36.8841	5200	0.1460	13943952
0.1535	38.2995	5400	0.1550	14478600
0.1347	39.7201	5600	0.1458	15021728
0.13	41.1355	5800	0.1594	15548872
0.6384	42.5561	6000	0.6540	16082664
1.0839	43.9768	6200	1.0395	16624832
0.1492	45.3922	6400	0.1551	17152040
0.1373	46.8128	6600	0.1537	17696104
0.144	48.2282	6800	0.1591	18228312
0.1379	49.6488	7000	0.1512	18767376
0.1391	51.0642	7200	0.1549	19300560
0.1383	52.4848	7400	0.1506	19837208
0.132	53.9055	7600	0.1514	20381384
0.1301	55.3209	7800	0.1504	20917960
0.1311	56.7415	8000	0.1574	21456616
0.1359	58.1569	8200	0.1546	21988808
0.1415	59.5775	8400	0.1479	22526872
0.134	60.9982	8600	0.1579	23067872
0.1333	62.4135	8800	0.1533	23599328
0.1395	63.8342	9000	0.1505	24138832
0.1328	65.2496	9200	0.1512	24675016
0.1306	66.6702	9400	0.1567	25209352
0.1386	68.0856	9600	0.1588	25745352
0.1264	69.5062	9800	0.1522	26284824
0.1282	70.9269	10000	0.1591	26824264
0.1351	72.3422	10200	0.1544	27363992
0.1334	73.7629	10400	0.1543	27904360
0.8217	75.1783	10600	0.7101	28436064
0.1438	76.5989	10800	0.1585	28976440
0.1375	78.0143	11000	0.1578	29511840
0.1187	79.4349	11200	0.1660	30049440
0.1371	80.8556	11400	0.1576	30590008
0.143	82.2709	11600	0.1581	31127008
0.127	83.6916	11800	0.1696	31665584
0.1292	85.1070	12000	0.1588	32199088
0.1323	86.5276	12200	0.1618	32739240
0.128	87.9483	12400	0.1556	33281296
0.1352	89.3636	12600	0.1628	33819016
0.1328	90.7843	12800	0.1566	34356400
0.1187	92.1996	13000	0.1598	34889896
0.1262	93.6203	13200	0.1648	35429768
0.1324	95.0357	13400	0.1599	35969976
0.1352	96.4563	13600	0.1623	36505712
0.1335	97.8770	13800	0.1646	37036976
0.1243	99.2923	14000	0.1659	37570400
0.1245	100.7130	14200	0.1676	38103616
0.1424	102.1283	14400	0.1679	38636544
0.1318	103.5490	14600	0.1655	39171560
0.1297	104.9697	14800	0.1664	39706992
0.1319	106.3850	15000	0.1637	40239280
0.1214	107.8057	15200	0.1725	40778072
0.1434	109.2210	15400	0.1676	41312720
0.1229	110.6417	15600	0.1675	41845224
0.1295	112.0570	15800	0.1569	42384256
0.1387	113.4777	16000	0.1715	42925008
0.1233	114.8984	16200	0.1817	43462528
0.1169	116.3137	16400	0.1766	43999968
0.1309	117.7344	16600	0.1769	44533664
0.1199	119.1497	16800	0.1720	45067976
0.1269	120.5704	17000	0.1844	45610752
0.1247	121.9911	17200	0.1780	46147416
0.1274	123.4064	17400	0.1894	46682792
0.2232	124.8271	17600	0.2010	47218688
0.1241	126.2424	17800	0.1852	47751176
0.1186	127.6631	18000	0.1877	48286872
0.1173	129.0784	18200	0.1868	48824840
0.1098	130.4991	18400	0.1954	49361064
0.0988	131.9198	18600	0.1919	49893616
0.1096	133.3351	18800	0.2015	50425120
0.1092	134.7558	19000	0.2009	50963088
0.1067	136.1711	19200	0.2110	51496048
0.1181	137.5918	19400	0.2229	52038608
0.1257	139.0071	19600	0.2108	52575544
0.1095	140.4278	19800	0.2241	53114912
0.1034	141.8485	20000	0.2309	53657368
0.1188	143.2638	20200	0.2212	54195776
0.1163	144.6845	20400	0.2115	54722232
0.0819	146.0998	20600	0.2338	55255168
0.0861	147.5205	20800	0.2306	55786616
0.0979	148.9412	21000	0.2375	56322200
0.077	150.3565	21200	0.2388	56860136
0.1031	151.7772	21400	0.2574	57396560
0.068	153.1925	21600	0.2476	57930904
0.0608	154.6132	21800	0.2684	58469832
0.0455	156.0285	22000	0.2865	59001744
0.0489	157.4492	22200	0.2832	59542632
0.0464	158.8699	22400	0.2954	60077280
0.0533	160.2852	22600	0.2975	60614824
0.0312	161.7059	22800	0.3366	61145384
0.0374	163.1212	23000	0.3070	61678824
0.0355	164.5419	23200	0.3618	62213064
0.0428	165.9626	23400	0.3736	62746840
0.0273	167.3779	23600	0.3888	63279640
0.0181	168.7986	23800	0.3882	63817648
0.0884	170.2139	24000	0.3576	64355456
0.016	171.6346	24200	0.3623	64891336
0.0044	173.0499	24400	0.3937	65431304
0.0236	174.4706	24600	0.3811	65971176
0.01	175.8913	24800	0.4594	66508200
0.0046	177.3066	25000	0.4567	67044512
0.0041	178.7273	25200	0.4712	67581248
0.0426	180.1426	25400	0.4444	68116280
0.0059	181.5633	25600	0.4545	68654016
0.0149	182.9840	25800	0.4204	69191168
0.002	184.3993	26000	0.4712	69725736
0.0059	185.8200	26200	0.4925	70266432
0.0008	187.2353	26400	0.5166	70795080
0.0018	188.6560	26600	0.5641	71337664
0.114	190.0713	26800	0.4470	71873944
0.0052	191.4920	27000	0.4327	72406760
0.0021	192.9127	27200	0.4663	72941856
0.0006	194.3280	27400	0.5012	73486320
0.0008	195.7487	27600	0.5236	74024784
0.0005	197.1640	27800	0.5290	74562272
0.0004	198.5847	28000	0.5464	75101016
0.0008	200.0	28200	0.5591	75632576
0.0008	201.4207	28400	0.5701	76166696
0.0245	202.8414	28600	0.4514	76703192
0.0011	204.2567	28800	0.5094	77237304
0.0004	205.6774	29000	0.5364	77775808
0.0003	207.0927	29200	0.5555	78304552
0.0004	208.5134	29400	0.5680	78842312
0.0003	209.9340	29600	0.5648	79379384
0.0003	211.3494	29800	0.5819	79916200
0.0003	212.7701	30000	0.5896	80450848
0.0002	214.1854	30200	0.6021	80978696
0.0002	215.6061	30400	0.6086	81517864
0.0003	217.0214	30600	0.6075	82057360
0.0001	218.4421	30800	0.6070	82601680
0.0002	219.8627	31000	0.6232	83137640
0.0002	221.2781	31200	0.6258	83674536
0.0002	222.6988	31400	0.6361	84215064
0.0002	224.1141	31600	0.6441	84750440
0.0001	225.5348	31800	0.6538	85284976
0.0001	226.9554	32000	0.6575	85820408
0.0001	228.3708	32200	0.6627	86358288
0.0001	229.7914	32400	0.6628	86896432
0.0001	231.2068	32600	0.6718	87433496
0.0001	232.6275	32800	0.6774	87969480
0.0001	234.0428	33000	0.6774	88503984
0.0001	235.4635	33200	0.6852	89043584
0.0001	236.8841	33400	0.6862	89572896
0.0001	238.2995	33600	0.6945	90114360
0.0001	239.7201	33800	0.6991	90650032
0.0001	241.1355	34000	0.7066	91178208
0.0001	242.5561	34200	0.7103	91712168
0.0001	243.9768	34400	0.7095	92253832
0.0	245.3922	34600	0.7155	92783304
0.0001	246.8128	34800	0.7177	93323088
0.0001	248.2282	35000	0.7190	93858448
0.0	249.6488	35200	0.7254	94391144
0.0	251.0642	35400	0.7238	94929608
0.0001	252.4848	35600	0.7230	95474424
0.0	253.9055	35800	0.7385	96007792
0.0	255.3209	36000	0.7303	96546584
0.0	256.7415	36200	0.7351	97077888
0.0	258.1569	36400	0.7321	97612368
0.0	259.5775	36600	0.7383	98151616
0.0	260.9982	36800	0.7475	98684232
0.0	262.4135	37000	0.7416	99220560
0.0	263.8342	37200	0.7455	99758136
0.0	265.2496	37400	0.7442	100296152
0.0	266.6702	37600	0.7500	100836120
0.0	268.0856	37800	0.7576	101372264
0.0	269.5062	38000	0.7476	101912112
0.0	270.9269	38200	0.7576	102446016
0.0	272.3422	38400	0.7521	102980360
0.0	273.7629	38600	0.7547	103519296
0.0	275.1783	38800	0.7527	104053200
0.0	276.5989	39000	0.7497	104594720
0.0	278.0143	39200	0.7586	105126640
0.0	279.4349	39400	0.7531	105660640
0.0	280.8556	39600	0.7591	106198248
0.0	282.2709	39800	0.7605	106737720
0.0	283.6916	40000	0.7575	107274480

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1