my_awesome_billsum_model

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.4894
• Rouge1: 0.1516
• Rouge2: 0.0523
• Rougel: 0.1224
• Rougelsum: 0.1222
• Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 4
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.8246	0.0323	2	4.6334	0.1449	0.0502	0.1214	0.1213	20.0
4.906	0.0645	4	4.5100	0.1443	0.0496	0.1209	0.1211	20.0
4.8877	0.0968	6	4.3949	0.1446	0.0488	0.121	0.1212	20.0
4.7623	0.1290	8	4.1999	0.1437	0.0487	0.1204	0.1205	20.0
4.5735	0.1613	10	4.0610	0.1446	0.0483	0.1201	0.1203	20.0
4.1697	0.1935	12	3.9348	0.1446	0.0488	0.1202	0.1203	20.0
3.9466	0.2258	14	3.7285	0.1449	0.048	0.12	0.12	20.0
4.19	0.2581	16	3.6092	0.1429	0.0465	0.1186	0.1188	20.0
3.7991	0.2903	18	3.5140	0.1411	0.0448	0.1172	0.1172	20.0
3.6421	0.3226	20	3.4145	0.1403	0.044	0.1167	0.1167	20.0
3.6484	0.3548	22	3.3426	0.1412	0.0448	0.1171	0.1171	20.0
3.7566	0.3871	24	3.2824	0.1404	0.0441	0.1165	0.1164	20.0
3.828	0.4194	26	3.2191	0.1395	0.0431	0.1156	0.1156	20.0
3.505	0.4516	28	3.1688	0.1392	0.0428	0.1157	0.1156	20.0
3.467	0.4839	30	3.1304	0.1382	0.0419	0.1149	0.1148	20.0
3.2724	0.5161	32	3.0968	0.1383	0.0418	0.1149	0.1148	20.0
3.1572	0.5484	34	3.0638	0.1376	0.0415	0.1142	0.114	20.0
3.3082	0.5806	36	3.0362	0.1377	0.0419	0.114	0.1138	20.0
3.2159	0.6129	38	3.0100	0.1356	0.0408	0.1127	0.1125	20.0
3.3438	0.6452	40	2.9825	0.1347	0.04	0.1116	0.1113	20.0
3.2587	0.6774	42	2.9580	0.1342	0.0406	0.1111	0.111	20.0
3.0484	0.7097	44	2.9355	0.133	0.0403	0.1112	0.1111	20.0
3.1701	0.7419	46	2.9146	0.1339	0.0404	0.1111	0.1109	20.0
3.1144	0.7742	48	2.8945	0.1324	0.0387	0.1099	0.1097	20.0
3.2611	0.8065	50	2.8756	0.1334	0.0397	0.1105	0.1105	20.0
3.0423	0.8387	52	2.8575	0.1335	0.04	0.1109	0.1108	20.0
3.1193	0.8710	54	2.8405	0.1331	0.0391	0.1112	0.111	20.0
2.9974	0.9032	56	2.8248	0.1337	0.0393	0.1113	0.1111	20.0
3.0579	0.9355	58	2.8102	0.1337	0.0395	0.1114	0.1113	20.0
3.2434	0.9677	60	2.7964	0.1317	0.0387	0.1101	0.11	20.0
2.9767	1.0	62	2.7832	0.1307	0.0381	0.1092	0.1091	20.0
2.9854	1.0323	64	2.7704	0.1298	0.0376	0.1081	0.1081	20.0
2.8919	1.0645	66	2.7586	0.1304	0.0375	0.1082	0.1082	20.0
2.9225	1.0968	68	2.7472	0.1316	0.0388	0.1093	0.1092	20.0
3.173	1.1290	70	2.7363	0.1309	0.039	0.1087	0.1086	20.0
3.0448	1.1613	72	2.7258	0.1311	0.0388	0.1085	0.1084	20.0
3.0989	1.1935	74	2.7156	0.132	0.0398	0.1094	0.1094	20.0
3.0072	1.2258	76	2.7057	0.1327	0.0404	0.11	0.11	20.0
2.7462	1.2581	78	2.6968	0.1328	0.0403	0.1098	0.1098	20.0
3.0383	1.2903	80	2.6879	0.1336	0.0401	0.1095	0.1095	20.0
3.1326	1.3226	82	2.6793	0.1348	0.0413	0.111	0.1108	20.0
2.9859	1.3548	84	2.6710	0.1336	0.0413	0.1102	0.1102	20.0
2.8721	1.3871	86	2.6630	0.1332	0.0414	0.1097	0.1097	20.0
2.996	1.4194	88	2.6555	0.1346	0.0419	0.1103	0.1102	20.0
2.9725	1.4516	90	2.6484	0.1348	0.0415	0.1108	0.1106	20.0
3.0609	1.4839	92	2.6416	0.1342	0.0415	0.1102	0.1102	20.0
2.7738	1.5161	94	2.6351	0.1356	0.042	0.1112	0.1111	20.0
2.9562	1.5484	96	2.6290	0.1368	0.0431	0.1122	0.112	20.0
2.6523	1.5806	98	2.6231	0.1372	0.0432	0.1126	0.1125	20.0
3.0343	1.6129	100	2.6174	0.1371	0.0427	0.1124	0.1123	20.0
2.7485	1.6452	102	2.6121	0.138	0.0434	0.1128	0.1127	20.0
2.9437	1.6774	104	2.6069	0.1379	0.0434	0.1132	0.113	20.0
2.8865	1.7097	106	2.6018	0.1377	0.0432	0.1129	0.1127	20.0
2.9826	1.7419	108	2.5967	0.1386	0.0435	0.1138	0.1136	20.0
2.8272	1.7742	110	2.5918	0.1382	0.0435	0.1137	0.1135	20.0
2.7165	1.8065	112	2.5874	0.1379	0.0435	0.1135	0.1133	20.0
2.9133	1.8387	114	2.5833	0.1377	0.0427	0.1129	0.1127	20.0
2.8366	1.8710	116	2.5795	0.1382	0.0437	0.1137	0.1135	20.0
2.8033	1.9032	118	2.5760	0.1382	0.0443	0.1139	0.1137	20.0
2.8846	1.9355	120	2.5723	0.1378	0.0437	0.1132	0.1131	20.0
3.0411	1.9677	122	2.5688	0.1379	0.0438	0.1134	0.1133	20.0
2.931	2.0	124	2.5654	0.1387	0.0439	0.114	0.1139	20.0
2.7692	2.0323	126	2.5619	0.1392	0.0436	0.1141	0.1141	20.0
2.576	2.0645	128	2.5588	0.1405	0.0438	0.1144	0.1144	20.0
2.9965	2.0968	130	2.5559	0.1414	0.0442	0.1151	0.1149	20.0
2.7233	2.1290	132	2.5532	0.1418	0.0439	0.1151	0.1151	20.0
2.7718	2.1613	134	2.5507	0.143	0.0446	0.1158	0.1157	20.0
2.7089	2.1935	136	2.5482	0.1435	0.0455	0.1162	0.1161	20.0
2.9317	2.2258	138	2.5457	0.1433	0.0457	0.1158	0.1158	20.0
2.8748	2.2581	140	2.5432	0.1435	0.046	0.1162	0.1162	20.0
2.9315	2.2903	142	2.5407	0.1446	0.0466	0.117	0.1169	20.0
2.7498	2.3226	144	2.5383	0.1452	0.0474	0.1177	0.1176	20.0
2.9018	2.3548	146	2.5358	0.1452	0.0474	0.1175	0.1175	20.0
2.8626	2.3871	148	2.5332	0.1453	0.0475	0.1174	0.1173	20.0
2.8584	2.4194	150	2.5309	0.1451	0.0476	0.1175	0.1174	20.0
2.8144	2.4516	152	2.5288	0.1459	0.0482	0.1177	0.1177	20.0
2.9953	2.4839	154	2.5268	0.1462	0.0486	0.118	0.1179	20.0
2.8001	2.5161	156	2.5249	0.1463	0.0488	0.118	0.1179	20.0
2.9155	2.5484	158	2.5232	0.1458	0.0487	0.1178	0.1177	20.0
2.8051	2.5806	160	2.5215	0.1464	0.0492	0.1185	0.1184	20.0
2.5662	2.6129	162	2.5199	0.147	0.0497	0.1189	0.1187	20.0
2.6469	2.6452	164	2.5184	0.1469	0.0493	0.1188	0.1186	20.0
2.8197	2.6774	166	2.5169	0.1479	0.0499	0.1199	0.1197	20.0
2.5777	2.7097	168	2.5155	0.1484	0.0502	0.1202	0.1201	20.0
2.8761	2.7419	170	2.5141	0.1479	0.0497	0.1199	0.1197	20.0
2.5811	2.7742	172	2.5128	0.148	0.0499	0.1202	0.1199	20.0
2.7054	2.8065	174	2.5116	0.1478	0.0497	0.1199	0.1197	20.0
3.0032	2.8387	176	2.5105	0.1476	0.0494	0.1195	0.1194	20.0
2.7478	2.8710	178	2.5093	0.1476	0.0494	0.1195	0.1194	20.0
2.9108	2.9032	180	2.5083	0.1478	0.0496	0.1194	0.1193	20.0
2.6513	2.9355	182	2.5072	0.1478	0.0499	0.1197	0.1195	20.0
2.8323	2.9677	184	2.5061	0.1475	0.0495	0.1194	0.1192	20.0
2.8963	3.0	186	2.5051	0.1483	0.0501	0.12	0.1197	20.0
2.815	3.0323	188	2.5041	0.1486	0.0503	0.1201	0.1198	20.0
2.9109	3.0645	190	2.5030	0.1487	0.0503	0.1203	0.12	20.0
2.6712	3.0968	192	2.5021	0.1498	0.0505	0.1209	0.1207	20.0
2.6606	3.1290	194	2.5011	0.1498	0.0505	0.1209	0.1207	20.0
2.7432	3.1613	196	2.5002	0.1498	0.0505	0.1209	0.1207	20.0
2.9712	3.1935	198	2.4992	0.1498	0.0505	0.1209	0.1207	20.0
2.6893	3.2258	200	2.4985	0.1497	0.0503	0.1206	0.1204	20.0
2.8161	3.2581	202	2.4977	0.1492	0.0498	0.1203	0.1202	20.0
3.1472	3.2903	204	2.4969	0.1492	0.0498	0.1203	0.1202	20.0
2.5583	3.3226	206	2.4963	0.1492	0.0499	0.1203	0.1201	20.0
2.7874	3.3548	208	2.4956	0.1499	0.0502	0.121	0.1208	20.0
2.6359	3.3871	210	2.4950	0.1502	0.0505	0.1212	0.121	20.0
2.8058	3.4194	212	2.4945	0.1499	0.0505	0.1209	0.1207	20.0
2.6235	3.4516	214	2.4939	0.1502	0.0506	0.1212	0.121	20.0
2.6428	3.4839	216	2.4934	0.1506	0.0513	0.1216	0.1215	20.0
2.6676	3.5161	218	2.4929	0.1508	0.0516	0.1218	0.1216	20.0
2.5883	3.5484	220	2.4925	0.151	0.052	0.1219	0.1218	20.0
2.9245	3.5806	222	2.4921	0.151	0.052	0.122	0.1219	20.0
2.9351	3.6129	224	2.4917	0.151	0.052	0.122	0.1219	20.0
2.9175	3.6452	226	2.4913	0.151	0.0519	0.1218	0.1218	20.0
2.6997	3.6774	228	2.4910	0.1509	0.0516	0.1218	0.1217	20.0
2.7747	3.7097	230	2.4907	0.1508	0.0515	0.1217	0.1216	20.0
2.5892	3.7419	232	2.4904	0.1508	0.0515	0.1217	0.1216	20.0
2.7554	3.7742	234	2.4902	0.1506	0.0515	0.1216	0.1215	20.0
2.8548	3.8065	236	2.4900	0.1516	0.0523	0.1224	0.1222	20.0
2.7879	3.8387	238	2.4898	0.1516	0.0523	0.1224	0.1222	20.0
2.7142	3.8710	240	2.4896	0.1514	0.0521	0.1223	0.1222	20.0
2.7282	3.9032	242	2.4895	0.1513	0.0521	0.1222	0.1221	20.0
2.6589	3.9355	244	2.4894	0.1511	0.0519	0.1222	0.1221	20.0
2.7158	3.9677	246	2.4894	0.1514	0.0523	0.1223	0.1221	20.0
2.7397	4.0	248	2.4894	0.1516	0.0523	0.1224	0.1222	20.0

Framework versions

• Transformers 4.55.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.21.4