my_awesome_billsum_model

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.4847
• Rouge1: 0.1514
• Rouge2: 0.0522
• Rougel: 0.123
• Rougelsum: 0.1229
• Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 4
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.5872	0.0323	2	4.3886	0.1447	0.049	0.1209	0.121	20.0
4.6456	0.0645	4	4.1789	0.1447	0.0486	0.1204	0.1205	20.0
4.6337	0.0968	6	4.1172	0.1455	0.0488	0.1205	0.1206	20.0
4.5758	0.1290	8	3.9691	0.145	0.0485	0.1203	0.1204	20.0
4.3947	0.1613	10	3.7628	0.1454	0.0489	0.1207	0.1207	20.0
3.9098	0.1935	12	3.6337	0.1447	0.0472	0.12	0.1201	20.0
3.6993	0.2258	14	3.5307	0.1416	0.0449	0.1175	0.1175	20.0
4.0137	0.2581	16	3.4341	0.1413	0.0451	0.1177	0.1177	20.0
3.6331	0.2903	18	3.3523	0.1415	0.0451	0.1174	0.1174	20.0
3.5018	0.3226	20	3.2901	0.1402	0.0443	0.1164	0.1163	20.0
3.5417	0.3548	22	3.2350	0.1402	0.0437	0.1158	0.1158	20.0
3.6427	0.3871	24	3.1747	0.1398	0.043	0.116	0.116	20.0
3.7232	0.4194	26	3.1366	0.1381	0.0421	0.1146	0.1145	20.0
3.4248	0.4516	28	3.1040	0.1383	0.0415	0.1147	0.1145	20.0
3.4004	0.4839	30	3.0697	0.1377	0.0413	0.1141	0.1139	20.0
3.2083	0.5161	32	3.0418	0.1375	0.0417	0.1137	0.1135	20.0
3.1064	0.5484	34	3.0168	0.1368	0.042	0.1134	0.1131	20.0
3.2539	0.5806	36	2.9902	0.1363	0.0419	0.1134	0.1131	20.0
3.1678	0.6129	38	2.9645	0.1346	0.0399	0.1114	0.1113	20.0
3.2978	0.6452	40	2.9428	0.1348	0.0399	0.1111	0.1109	20.0
3.2216	0.6774	42	2.9218	0.1342	0.0394	0.1111	0.111	20.0
3.0147	0.7097	44	2.9016	0.1335	0.0389	0.1105	0.1103	20.0
3.135	0.7419	46	2.8826	0.1336	0.0392	0.11	0.11	20.0
3.0828	0.7742	48	2.8645	0.134	0.0395	0.1107	0.1106	20.0
3.2347	0.8065	50	2.8477	0.1334	0.0395	0.111	0.111	20.0
3.0156	0.8387	52	2.8316	0.1334	0.0402	0.1113	0.1111	20.0
3.0927	0.8710	54	2.8162	0.1341	0.041	0.1113	0.1113	20.0
2.9733	0.9032	56	2.8019	0.1335	0.041	0.1114	0.1112	20.0
3.0342	0.9355	58	2.7884	0.1319	0.0393	0.1097	0.1096	20.0
3.2205	0.9677	60	2.7755	0.1297	0.0377	0.1076	0.1075	20.0
2.9555	1.0	62	2.7631	0.1293	0.0367	0.1076	0.1076	20.0
2.9632	1.0323	64	2.7512	0.13	0.037	0.1076	0.1075	20.0
2.873	1.0645	66	2.7401	0.1309	0.0381	0.1083	0.1081	20.0
2.9039	1.0968	68	2.7296	0.1304	0.038	0.1076	0.1074	20.0
3.1556	1.1290	70	2.7195	0.1311	0.0387	0.1078	0.1077	20.0
3.0266	1.1613	72	2.7098	0.1313	0.0389	0.1083	0.1082	20.0
3.082	1.1935	74	2.7003	0.1317	0.0391	0.1085	0.1084	20.0
2.9918	1.2258	76	2.6910	0.1335	0.041	0.1104	0.1102	20.0
2.7317	1.2581	78	2.6824	0.1338	0.0412	0.1102	0.1101	20.0
3.0236	1.2903	80	2.6740	0.1344	0.0421	0.1108	0.1107	20.0
3.1186	1.3226	82	2.6658	0.1342	0.0425	0.1104	0.1102	20.0
2.9714	1.3548	84	2.6579	0.1331	0.0416	0.1096	0.1095	20.0
2.8581	1.3871	86	2.6504	0.1344	0.042	0.1102	0.11	20.0
2.9833	1.4194	88	2.6433	0.1332	0.041	0.1096	0.1095	20.0
2.9598	1.4516	90	2.6366	0.1356	0.042	0.1109	0.1107	20.0
3.0491	1.4839	92	2.6300	0.1359	0.0428	0.1112	0.1109	20.0
2.7621	1.5161	94	2.6241	0.1364	0.0426	0.1116	0.1114	20.0
2.945	1.5484	96	2.6183	0.1369	0.0428	0.1118	0.1117	20.0
2.641	1.5806	98	2.6128	0.137	0.0432	0.1122	0.1119	20.0
3.0238	1.6129	100	2.6074	0.1372	0.0431	0.1125	0.1123	20.0
2.7385	1.6452	102	2.6024	0.137	0.0425	0.1122	0.112	20.0
2.9333	1.6774	104	2.5979	0.1378	0.0431	0.1132	0.113	20.0
2.8769	1.7097	106	2.5935	0.138	0.0429	0.1129	0.1128	20.0
2.9742	1.7419	108	2.5890	0.1375	0.0424	0.1126	0.1123	20.0
2.819	1.7742	110	2.5846	0.1376	0.0425	0.1125	0.1124	20.0
2.709	1.8065	112	2.5806	0.1381	0.0429	0.1129	0.1127	20.0
2.9068	1.8387	114	2.5767	0.138	0.0431	0.1127	0.1125	20.0
2.8289	1.8710	116	2.5732	0.1385	0.0432	0.1133	0.1132	20.0
2.7964	1.9032	118	2.5699	0.139	0.0433	0.1136	0.1134	20.0
2.8776	1.9355	120	2.5666	0.1389	0.0433	0.1136	0.1134	20.0
3.0348	1.9677	122	2.5634	0.1397	0.0442	0.1145	0.1144	20.0
2.9252	2.0	124	2.5601	0.1405	0.0444	0.1152	0.115	20.0
2.7633	2.0323	126	2.5568	0.141	0.0441	0.1148	0.1148	20.0
2.5693	2.0645	128	2.5539	0.141	0.0436	0.1147	0.1147	20.0
2.9912	2.0968	130	2.5511	0.1421	0.0442	0.1151	0.1151	20.0
2.7184	2.1290	132	2.5485	0.1421	0.044	0.1147	0.1146	20.0
2.766	2.1613	134	2.5460	0.1422	0.0452	0.115	0.115	20.0
2.7037	2.1935	136	2.5436	0.1418	0.0442	0.1143	0.1143	20.0
2.9261	2.2258	138	2.5411	0.1428	0.0453	0.1155	0.1154	20.0
2.8694	2.2581	140	2.5387	0.1423	0.0451	0.1151	0.115	20.0
2.926	2.2903	142	2.5361	0.1433	0.0464	0.1161	0.116	20.0
2.7449	2.3226	144	2.5335	0.1439	0.0474	0.1169	0.1169	20.0
2.8972	2.3548	146	2.5309	0.144	0.0473	0.1169	0.1168	20.0
2.8567	2.3871	148	2.5284	0.145	0.0478	0.1175	0.1174	20.0
2.8518	2.4194	150	2.5261	0.1454	0.0479	0.1176	0.1175	20.0
2.8097	2.4516	152	2.5239	0.1462	0.0485	0.1181	0.1181	20.0
2.9899	2.4839	154	2.5219	0.1463	0.0485	0.1178	0.1178	20.0
2.7947	2.5161	156	2.5201	0.1465	0.0485	0.1175	0.1174	20.0
2.9099	2.5484	158	2.5183	0.1469	0.0491	0.1179	0.1178	20.0
2.8002	2.5806	160	2.5165	0.1471	0.0485	0.1186	0.1185	20.0
2.561	2.6129	162	2.5149	0.1472	0.0485	0.1189	0.1187	20.0
2.642	2.6452	164	2.5133	0.1478	0.049	0.1194	0.1192	20.0
2.815	2.6774	166	2.5118	0.148	0.0492	0.1193	0.1191	20.0
2.5736	2.7097	168	2.5104	0.1479	0.0491	0.1192	0.119	20.0
2.8701	2.7419	170	2.5090	0.1481	0.0496	0.1197	0.1194	20.0
2.5757	2.7742	172	2.5077	0.1487	0.0504	0.1203	0.1199	20.0
2.6993	2.8065	174	2.5065	0.1482	0.05	0.1199	0.1196	20.0
2.9981	2.8387	176	2.5053	0.1485	0.0503	0.1201	0.1198	20.0
2.7431	2.8710	178	2.5042	0.1481	0.0495	0.1198	0.1195	20.0
2.9052	2.9032	180	2.5032	0.1489	0.0498	0.1203	0.12	20.0
2.6463	2.9355	182	2.5022	0.1491	0.05	0.1207	0.1204	20.0
2.827	2.9677	184	2.5012	0.1493	0.0503	0.1207	0.1205	20.0
2.8917	3.0	186	2.5002	0.1493	0.0503	0.1207	0.1205	20.0
2.8099	3.0323	188	2.4992	0.1492	0.0503	0.1207	0.1205	20.0
2.906	3.0645	190	2.4982	0.1492	0.0503	0.1207	0.1205	20.0
2.6655	3.0968	192	2.4973	0.1489	0.05	0.1202	0.1201	20.0
2.6561	3.1290	194	2.4963	0.1495	0.051	0.1209	0.1207	20.0
2.7381	3.1613	196	2.4954	0.1495	0.051	0.1208	0.1206	20.0
2.967	3.1935	198	2.4945	0.1497	0.0511	0.121	0.1209	20.0
2.6851	3.2258	200	2.4938	0.1497	0.0515	0.1213	0.1211	20.0
2.8115	3.2581	202	2.4930	0.1497	0.0516	0.1214	0.1212	20.0
3.1438	3.2903	204	2.4923	0.1498	0.0515	0.1213	0.1212	20.0
2.5534	3.3226	206	2.4916	0.1505	0.0521	0.1221	0.1218	20.0
2.7832	3.3548	208	2.4910	0.1512	0.0524	0.1224	0.1222	20.0
2.63	3.3871	210	2.4904	0.1512	0.0523	0.1224	0.1223	20.0
2.8004	3.4194	212	2.4898	0.1512	0.0523	0.1224	0.1223	20.0
2.6193	3.4516	214	2.4893	0.1512	0.0522	0.1224	0.1223	20.0
2.638	3.4839	216	2.4888	0.1508	0.052	0.1222	0.1222	20.0
2.6629	3.5161	218	2.4884	0.1511	0.052	0.1226	0.1225	20.0
2.5842	3.5484	220	2.4880	0.1509	0.052	0.1225	0.1224	20.0
2.9197	3.5806	222	2.4876	0.1509	0.052	0.1225	0.1224	20.0
2.93	3.6129	224	2.4872	0.1511	0.052	0.1226	0.1225	20.0
2.9123	3.6452	226	2.4868	0.1509	0.052	0.1225	0.1224	20.0
2.695	3.6774	228	2.4865	0.1511	0.0519	0.1226	0.1226	20.0
2.7694	3.7097	230	2.4862	0.1512	0.052	0.1227	0.1226	20.0
2.584	3.7419	232	2.4859	0.1516	0.052	0.123	0.1229	20.0
2.7504	3.7742	234	2.4856	0.1518	0.0523	0.1231	0.123	20.0
2.8498	3.8065	236	2.4854	0.1517	0.0524	0.1231	0.123	20.0
2.7836	3.8387	238	2.4852	0.1517	0.0524	0.1231	0.123	20.0
2.7084	3.8710	240	2.4850	0.1514	0.0522	0.123	0.1229	20.0
2.7237	3.9032	242	2.4849	0.1514	0.0522	0.123	0.1229	20.0
2.6537	3.9355	244	2.4848	0.1517	0.0524	0.1231	0.123	20.0
2.7105	3.9677	246	2.4848	0.1514	0.0522	0.1229	0.1228	20.0
2.7351	4.0	248	2.4847	0.1514	0.0522	0.123	0.1229	20.0

Framework versions

• Transformers 4.55.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.21.4