bert-large-uncased-ner-ghtk-cs-new-data-3090-28may-1

This model is a fine-tuned version of google-bert/bert-large-uncased on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1794
• cmt: {'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}
• A: {'precision': 0.9196217494089834, 'recall': 0.930622009569378, 'f1': 0.925089179548157, 'number': 418}
• Gân hàng: {'precision': 0.825, 'recall': 0.9428571428571428, 'f1': 0.88, 'number': 35}
• Hương thức thanh toán: {'precision': 0.6857142857142857, 'recall': 0.8, 'f1': 0.7384615384615385, 'number': 30}
• Hối lượng: {'precision': 0.375, 'recall': 0.25, 'f1': 0.3, 'number': 12}
• Iền: {'precision': 0.62, 'recall': 0.7948717948717948, 'f1': 0.6966292134831461, 'number': 39}
• Mail: {'precision': 0.9204244031830239, 'recall': 0.9585635359116023, 'f1': 0.9391069012178621, 'number': 362}
• Ên người: {'precision': 0.4074074074074074, 'recall': 0.36666666666666664, 'f1': 0.38596491228070173, 'number': 30}
• Ơn vị đo: {'precision': 0.5833333333333334, 'recall': 0.5, 'f1': 0.5384615384615384, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8571428571428571, 'recall': 0.328125, 'f1': 0.47457627118644063, 'number': 128}
• Ản phẩm trừu tượng: {'precision': 0.54, 'recall': 0.47368421052631576, 'f1': 0.5046728971962616, 'number': 57}
• Ịa chỉ cụ thể: {'precision': 0.2542372881355932, 'recall': 0.2, 'f1': 0.22388059701492538, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.6428571428571429, 'recall': 0.6, 'f1': 0.6206896551724138, 'number': 75}
• Overall Precision: 0.8086
• Overall Recall: 0.7621
• Overall F1: 0.7847
• Overall Accuracy: 0.9652

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	A	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Mail	Ên người	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	368	0.1958	{'precision': 0.6363636363636364, 'recall': 0.5, 'f1': 0.56, 'number': 14}	{'precision': 0.9145077720207254, 'recall': 0.8444976076555024, 'f1': 0.8781094527363184, 'number': 418}	{'precision': 0.45161290322580644, 'recall': 0.4, 'f1': 0.4242424242424243, 'number': 35}	{'precision': 0.3870967741935484, 'recall': 0.4, 'f1': 0.39344262295081966, 'number': 30}	{'precision': 0.2727272727272727, 'recall': 0.5, 'f1': 0.3529411764705882, 'number': 12}	{'precision': 0.4375, 'recall': 0.717948717948718, 'f1': 0.5436893203883495, 'number': 39}	{'precision': 0.815242494226328, 'recall': 0.9751381215469613, 'f1': 0.8880503144654088, 'number': 362}	{'precision': 0.21428571428571427, 'recall': 0.1, 'f1': 0.13636363636363638, 'number': 30}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 28}	{'precision': 0.5, 'recall': 0.046875, 'f1': 0.08571428571428572, 'number': 128}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 57}	{'precision': 1.0, 'recall': 0.013333333333333334, 'f1': 0.02631578947368421, 'number': 75}	{'precision': 0.6382978723404256, 'recall': 0.4, 'f1': 0.4918032786885246, 'number': 75}	0.7728	0.6239	0.6904	0.9499
0.2227	2.0	736	0.1423	{'precision': 0.7142857142857143, 'recall': 0.7142857142857143, 'f1': 0.7142857142857143, 'number': 14}	{'precision': 0.9240196078431373, 'recall': 0.9019138755980861, 'f1': 0.9128329297820823, 'number': 418}	{'precision': 0.7575757575757576, 'recall': 0.7142857142857143, 'f1': 0.7352941176470589, 'number': 35}	{'precision': 0.65625, 'recall': 0.7, 'f1': 0.6774193548387096, 'number': 30}	{'precision': 0.4, 'recall': 0.3333333333333333, 'f1': 0.3636363636363636, 'number': 12}	{'precision': 0.375, 'recall': 0.07692307692307693, 'f1': 0.12765957446808512, 'number': 39}	{'precision': 0.9893238434163701, 'recall': 0.7679558011049724, 'f1': 0.8646967340590981, 'number': 362}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.25, 'f1': 0.35000000000000003, 'number': 28}	{'precision': 0.65625, 'recall': 0.1640625, 'f1': 0.2625, 'number': 128}	{'precision': 0.6875, 'recall': 0.19298245614035087, 'f1': 0.30136986301369867, 'number': 57}	{'precision': 0.11363636363636363, 'recall': 0.06666666666666667, 'f1': 0.08403361344537814, 'number': 75}	{'precision': 0.7017543859649122, 'recall': 0.5333333333333333, 'f1': 0.6060606060606061, 'number': 75}	0.8469	0.6155	0.7129	0.9577
0.091	3.0	1104	0.1612	{'precision': 0.7058823529411765, 'recall': 0.8571428571428571, 'f1': 0.7741935483870968, 'number': 14}	{'precision': 0.9238329238329238, 'recall': 0.8995215311004785, 'f1': 0.9115151515151516, 'number': 418}	{'precision': 0.75, 'recall': 0.7714285714285715, 'f1': 0.7605633802816902, 'number': 35}	{'precision': 0.5625, 'recall': 0.6, 'f1': 0.5806451612903225, 'number': 30}	{'precision': 0.4444444444444444, 'recall': 0.3333333333333333, 'f1': 0.380952380952381, 'number': 12}	{'precision': 0.7647058823529411, 'recall': 0.6666666666666666, 'f1': 0.7123287671232877, 'number': 39}	{'precision': 0.8786407766990292, 'recall': 1.0, 'f1': 0.9354005167958657, 'number': 362}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.5, 'recall': 0.25, 'f1': 0.3333333333333333, 'number': 28}	{'precision': 0.8275862068965517, 'recall': 0.1875, 'f1': 0.30573248407643316, 'number': 128}	{'precision': 0.8125, 'recall': 0.22807017543859648, 'f1': 0.3561643835616438, 'number': 57}	{'precision': 0.23809523809523808, 'recall': 0.06666666666666667, 'f1': 0.10416666666666667, 'number': 75}	{'precision': 0.7636363636363637, 'recall': 0.56, 'f1': 0.6461538461538462, 'number': 75}	0.8419	0.7030	0.7662	0.9592
0.091	4.0	1472	0.1271	{'precision': 0.7692307692307693, 'recall': 0.7142857142857143, 'f1': 0.7407407407407408, 'number': 14}	{'precision': 0.9227053140096618, 'recall': 0.9138755980861244, 'f1': 0.9182692307692308, 'number': 418}	{'precision': 0.7631578947368421, 'recall': 0.8285714285714286, 'f1': 0.7945205479452055, 'number': 35}	{'precision': 0.475, 'recall': 0.6333333333333333, 'f1': 0.5428571428571427, 'number': 30}	{'precision': 0.3333333333333333, 'recall': 0.3333333333333333, 'f1': 0.3333333333333333, 'number': 12}	{'precision': 0.660377358490566, 'recall': 0.8974358974358975, 'f1': 0.7608695652173912, 'number': 39}	{'precision': 0.8786407766990292, 'recall': 1.0, 'f1': 0.9354005167958657, 'number': 362}	{'precision': 0.2857142857142857, 'recall': 0.3333333333333333, 'f1': 0.30769230769230765, 'number': 30}	{'precision': 0.5862068965517241, 'recall': 0.6071428571428571, 'f1': 0.5964912280701754, 'number': 28}	{'precision': 0.8108108108108109, 'recall': 0.234375, 'f1': 0.3636363636363636, 'number': 128}	{'precision': 0.4, 'recall': 0.45614035087719296, 'f1': 0.42622950819672134, 'number': 57}	{'precision': 0.19148936170212766, 'recall': 0.12, 'f1': 0.14754098360655737, 'number': 75}	{'precision': 0.6323529411764706, 'recall': 0.5733333333333334, 'f1': 0.6013986013986015, 'number': 75}	0.7728	0.7490	0.7607	0.9626
0.0622	5.0	1840	0.1498	{'precision': 0.6875, 'recall': 0.7857142857142857, 'f1': 0.7333333333333334, 'number': 14}	{'precision': 0.930622009569378, 'recall': 0.930622009569378, 'f1': 0.9306220095693781, 'number': 418}	{'precision': 0.7894736842105263, 'recall': 0.8571428571428571, 'f1': 0.8219178082191781, 'number': 35}	{'precision': 0.7058823529411765, 'recall': 0.8, 'f1': 0.7500000000000001, 'number': 30}	{'precision': 0.42857142857142855, 'recall': 0.25, 'f1': 0.3157894736842105, 'number': 12}	{'precision': 0.5686274509803921, 'recall': 0.7435897435897436, 'f1': 0.6444444444444445, 'number': 39}	{'precision': 0.955026455026455, 'recall': 0.9972375690607734, 'f1': 0.9756756756756756, 'number': 362}	{'precision': 0.4444444444444444, 'recall': 0.26666666666666666, 'f1': 0.33333333333333337, 'number': 30}	{'precision': 0.7272727272727273, 'recall': 0.5714285714285714, 'f1': 0.64, 'number': 28}	{'precision': 0.8846153846153846, 'recall': 0.1796875, 'f1': 0.29870129870129875, 'number': 128}	{'precision': 0.7142857142857143, 'recall': 0.08771929824561403, 'f1': 0.15625, 'number': 57}	{'precision': 0.1836734693877551, 'recall': 0.12, 'f1': 0.14516129032258066, 'number': 75}	{'precision': 0.8235294117647058, 'recall': 0.56, 'f1': 0.6666666666666666, 'number': 75}	0.8520	0.7291	0.7858	0.9658
0.0342	6.0	2208	0.1565	{'precision': 0.7333333333333333, 'recall': 0.7857142857142857, 'f1': 0.7586206896551724, 'number': 14}	{'precision': 0.9416243654822335, 'recall': 0.8875598086124402, 'f1': 0.9137931034482759, 'number': 418}	{'precision': 0.7857142857142857, 'recall': 0.9428571428571428, 'f1': 0.8571428571428571, 'number': 35}	{'precision': 0.7272727272727273, 'recall': 0.8, 'f1': 0.761904761904762, 'number': 30}	{'precision': 0.36363636363636365, 'recall': 0.3333333333333333, 'f1': 0.34782608695652173, 'number': 12}	{'precision': 0.6, 'recall': 0.7692307692307693, 'f1': 0.6741573033707865, 'number': 39}	{'precision': 0.9568965517241379, 'recall': 0.919889502762431, 'f1': 0.9380281690140845, 'number': 362}	{'precision': 0.37037037037037035, 'recall': 0.3333333333333333, 'f1': 0.3508771929824561, 'number': 30}	{'precision': 0.5945945945945946, 'recall': 0.7857142857142857, 'f1': 0.676923076923077, 'number': 28}	{'precision': 0.7230769230769231, 'recall': 0.3671875, 'f1': 0.48704663212435223, 'number': 128}	{'precision': 0.6363636363636364, 'recall': 0.3684210526315789, 'f1': 0.4666666666666667, 'number': 57}	{'precision': 0.18518518518518517, 'recall': 0.13333333333333333, 'f1': 0.15503875968992245, 'number': 75}	{'precision': 0.6567164179104478, 'recall': 0.5866666666666667, 'f1': 0.619718309859155, 'number': 75}	0.8163	0.7368	0.7745	0.9659
0.0202	7.0	2576	0.1807	{'precision': 0.7692307692307693, 'recall': 0.7142857142857143, 'f1': 0.7407407407407408, 'number': 14}	{'precision': 0.9530026109660574, 'recall': 0.8732057416267942, 'f1': 0.9113607990012483, 'number': 418}	{'precision': 0.7142857142857143, 'recall': 0.8571428571428571, 'f1': 0.7792207792207793, 'number': 35}	{'precision': 0.7333333333333333, 'recall': 0.7333333333333333, 'f1': 0.7333333333333333, 'number': 30}	{'precision': 0.3, 'recall': 0.25, 'f1': 0.2727272727272727, 'number': 12}	{'precision': 0.6153846153846154, 'recall': 0.8205128205128205, 'f1': 0.7032967032967034, 'number': 39}	{'precision': 0.9576271186440678, 'recall': 0.93646408839779, 'f1': 0.946927374301676, 'number': 362}	{'precision': 0.24, 'recall': 0.2, 'f1': 0.2181818181818182, 'number': 30}	{'precision': 0.6486486486486487, 'recall': 0.8571428571428571, 'f1': 0.7384615384615384, 'number': 28}	{'precision': 0.8478260869565217, 'recall': 0.3046875, 'f1': 0.44827586206896547, 'number': 128}	{'precision': 0.5094339622641509, 'recall': 0.47368421052631576, 'f1': 0.49090909090909085, 'number': 57}	{'precision': 0.22448979591836735, 'recall': 0.14666666666666667, 'f1': 0.1774193548387097, 'number': 75}	{'precision': 0.6666666666666666, 'recall': 0.5866666666666667, 'f1': 0.6241134751773049, 'number': 75}	0.8207	0.7306	0.7730	0.9644
0.0202	8.0	2944	0.1674	{'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14}	{'precision': 0.9279069767441861, 'recall': 0.9545454545454546, 'f1': 0.9410377358490567, 'number': 418}	{'precision': 0.8048780487804879, 'recall': 0.9428571428571428, 'f1': 0.868421052631579, 'number': 35}	{'precision': 0.7142857142857143, 'recall': 0.8333333333333334, 'f1': 0.7692307692307692, 'number': 30}	{'precision': 0.42857142857142855, 'recall': 0.25, 'f1': 0.3157894736842105, 'number': 12}	{'precision': 0.6530612244897959, 'recall': 0.8205128205128205, 'f1': 0.7272727272727272, 'number': 39}	{'precision': 0.9230769230769231, 'recall': 0.994475138121547, 'f1': 0.9574468085106383, 'number': 362}	{'precision': 0.3333333333333333, 'recall': 0.3, 'f1': 0.3157894736842105, 'number': 30}	{'precision': 0.8235294117647058, 'recall': 0.5, 'f1': 0.6222222222222222, 'number': 28}	{'precision': 0.851063829787234, 'recall': 0.3125, 'f1': 0.4571428571428572, 'number': 128}	{'precision': 0.40425531914893614, 'recall': 0.3333333333333333, 'f1': 0.3653846153846153, 'number': 57}	{'precision': 0.22641509433962265, 'recall': 0.16, 'f1': 0.18750000000000003, 'number': 75}	{'precision': 0.6716417910447762, 'recall': 0.6, 'f1': 0.6338028169014084, 'number': 75}	0.8189	0.7705	0.7940	0.9653
0.0131	9.0	3312	0.1730	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.913953488372093, 'recall': 0.9401913875598086, 'f1': 0.9268867924528302, 'number': 418}	{'precision': 0.825, 'recall': 0.9428571428571428, 'f1': 0.88, 'number': 35}	{'precision': 0.6388888888888888, 'recall': 0.7666666666666667, 'f1': 0.696969696969697, 'number': 30}	{'precision': 0.2, 'recall': 0.16666666666666666, 'f1': 0.1818181818181818, 'number': 12}	{'precision': 0.64, 'recall': 0.8205128205128205, 'f1': 0.7191011235955057, 'number': 39}	{'precision': 0.9206349206349206, 'recall': 0.9613259668508287, 'f1': 0.9405405405405406, 'number': 362}	{'precision': 0.44, 'recall': 0.36666666666666664, 'f1': 0.4, 'number': 30}	{'precision': 0.5714285714285714, 'recall': 0.5714285714285714, 'f1': 0.5714285714285714, 'number': 28}	{'precision': 0.8431372549019608, 'recall': 0.3359375, 'f1': 0.48044692737430167, 'number': 128}	{'precision': 0.4666666666666667, 'recall': 0.49122807017543857, 'f1': 0.4786324786324786, 'number': 57}	{'precision': 0.23214285714285715, 'recall': 0.17333333333333334, 'f1': 0.1984732824427481, 'number': 75}	{'precision': 0.6571428571428571, 'recall': 0.6133333333333333, 'f1': 0.6344827586206896, 'number': 75}	0.8	0.7675	0.7834	0.9654
0.0075	10.0	3680	0.1794	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.9196217494089834, 'recall': 0.930622009569378, 'f1': 0.925089179548157, 'number': 418}	{'precision': 0.825, 'recall': 0.9428571428571428, 'f1': 0.88, 'number': 35}	{'precision': 0.6857142857142857, 'recall': 0.8, 'f1': 0.7384615384615385, 'number': 30}	{'precision': 0.375, 'recall': 0.25, 'f1': 0.3, 'number': 12}	{'precision': 0.62, 'recall': 0.7948717948717948, 'f1': 0.6966292134831461, 'number': 39}	{'precision': 0.9204244031830239, 'recall': 0.9585635359116023, 'f1': 0.9391069012178621, 'number': 362}	{'precision': 0.4074074074074074, 'recall': 0.36666666666666664, 'f1': 0.38596491228070173, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5, 'f1': 0.5384615384615384, 'number': 28}	{'precision': 0.8571428571428571, 'recall': 0.328125, 'f1': 0.47457627118644063, 'number': 128}	{'precision': 0.54, 'recall': 0.47368421052631576, 'f1': 0.5046728971962616, 'number': 57}	{'precision': 0.2542372881355932, 'recall': 0.2, 'f1': 0.22388059701492538, 'number': 75}	{'precision': 0.6428571428571429, 'recall': 0.6, 'f1': 0.6206896551724138, 'number': 75}	0.8086	0.7621	0.7847	0.9652

Framework versions

• Transformers 4.46.3
• Pytorch 2.5.1+cu124
• Datasets 3.1.0
• Tokenizers 0.20.3