| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.0, | |
| "eval_steps": 500, | |
| "global_step": 375, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 95.0182876586914, | |
| "learning_rate": 9.920000000000002e-06, | |
| "loss": 105.7315, | |
| "mean_token_accuracy": 0.09069436218123883, | |
| "num_tokens": 131072.0, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 86.67267608642578, | |
| "learning_rate": 9.813333333333333e-06, | |
| "loss": 96.5549, | |
| "mean_token_accuracy": 0.09622917557135224, | |
| "num_tokens": 262144.0, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 134.05670166015625, | |
| "learning_rate": 9.706666666666668e-06, | |
| "loss": 85.9707, | |
| "mean_token_accuracy": 0.09924814943224192, | |
| "num_tokens": 393216.0, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 350.1399230957031, | |
| "learning_rate": 9.600000000000001e-06, | |
| "loss": 70.13, | |
| "mean_token_accuracy": 0.09573241986799985, | |
| "num_tokens": 524288.0, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 711.8109741210938, | |
| "learning_rate": 9.493333333333334e-06, | |
| "loss": 49.4668, | |
| "mean_token_accuracy": 0.10240077541675419, | |
| "num_tokens": 655360.0, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 544.7271118164062, | |
| "learning_rate": 9.386666666666668e-06, | |
| "loss": 22.758, | |
| "mean_token_accuracy": 0.6434303732821718, | |
| "num_tokens": 786432.0, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 144.55421447753906, | |
| "learning_rate": 9.280000000000001e-06, | |
| "loss": 6.2443, | |
| "mean_token_accuracy": 0.9672888554632664, | |
| "num_tokens": 917504.0, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 50.88039779663086, | |
| "learning_rate": 9.173333333333334e-06, | |
| "loss": 2.2291, | |
| "mean_token_accuracy": 0.9668161626905203, | |
| "num_tokens": 1048576.0, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 111.66119384765625, | |
| "learning_rate": 9.066666666666667e-06, | |
| "loss": 1.7604, | |
| "mean_token_accuracy": 0.9706238936632872, | |
| "num_tokens": 1179648.0, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 3.0309858322143555, | |
| "learning_rate": 8.96e-06, | |
| "loss": 1.6321, | |
| "mean_token_accuracy": 0.96866818331182, | |
| "num_tokens": 1310720.0, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 3.216538906097412, | |
| "learning_rate": 8.853333333333334e-06, | |
| "loss": 1.391, | |
| "mean_token_accuracy": 0.9703097771853209, | |
| "num_tokens": 1441792.0, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 2.2325334548950195, | |
| "learning_rate": 8.746666666666667e-06, | |
| "loss": 1.3561, | |
| "mean_token_accuracy": 0.9683448188006878, | |
| "num_tokens": 1572864.0, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 2.1915929317474365, | |
| "learning_rate": 8.64e-06, | |
| "loss": 1.17, | |
| "mean_token_accuracy": 0.9709315784275532, | |
| "num_tokens": 1703936.0, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 1.618494987487793, | |
| "learning_rate": 8.533333333333335e-06, | |
| "loss": 1.1517, | |
| "mean_token_accuracy": 0.9705505203455687, | |
| "num_tokens": 1835008.0, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 1.0973531007766724, | |
| "learning_rate": 8.426666666666667e-06, | |
| "loss": 1.0748, | |
| "mean_token_accuracy": 0.9720278568565845, | |
| "num_tokens": 1966080.0, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 2.197716236114502, | |
| "learning_rate": 8.32e-06, | |
| "loss": 1.0738, | |
| "mean_token_accuracy": 0.9712793119251728, | |
| "num_tokens": 2097152.0, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 3.2662317752838135, | |
| "learning_rate": 8.213333333333335e-06, | |
| "loss": 0.9791, | |
| "mean_token_accuracy": 0.9734124913811684, | |
| "num_tokens": 2228224.0, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 2.22454833984375, | |
| "learning_rate": 8.106666666666666e-06, | |
| "loss": 0.8829, | |
| "mean_token_accuracy": 0.9752626791596413, | |
| "num_tokens": 2359296.0, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 10.479799270629883, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.8778, | |
| "mean_token_accuracy": 0.975015128031373, | |
| "num_tokens": 2490368.0, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 1.5676300525665283, | |
| "learning_rate": 7.893333333333335e-06, | |
| "loss": 0.8283, | |
| "mean_token_accuracy": 0.9759523719549179, | |
| "num_tokens": 2621440.0, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 0.7672796249389648, | |
| "learning_rate": 7.786666666666666e-06, | |
| "loss": 0.8644, | |
| "mean_token_accuracy": 0.9749372210353613, | |
| "num_tokens": 2752512.0, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 1.5923023223876953, | |
| "learning_rate": 7.680000000000001e-06, | |
| "loss": 0.7702, | |
| "mean_token_accuracy": 0.9773267563432455, | |
| "num_tokens": 2883584.0, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 1.6468647718429565, | |
| "learning_rate": 7.573333333333333e-06, | |
| "loss": 0.7288, | |
| "mean_token_accuracy": 0.9785596635192633, | |
| "num_tokens": 3014656.0, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 1.5576863288879395, | |
| "learning_rate": 7.4666666666666675e-06, | |
| "loss": 0.7363, | |
| "mean_token_accuracy": 0.9779561907052994, | |
| "num_tokens": 3145728.0, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 2.6385979652404785, | |
| "learning_rate": 7.360000000000001e-06, | |
| "loss": 0.7688, | |
| "mean_token_accuracy": 0.9766516983509064, | |
| "num_tokens": 3276800.0, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 0.8966882228851318, | |
| "learning_rate": 7.253333333333335e-06, | |
| "loss": 0.6682, | |
| "mean_token_accuracy": 0.9798859935253859, | |
| "num_tokens": 3407872.0, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 1.0822303295135498, | |
| "learning_rate": 7.146666666666667e-06, | |
| "loss": 0.6918, | |
| "mean_token_accuracy": 0.9789478182792664, | |
| "num_tokens": 3538944.0, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 1.0026942491531372, | |
| "learning_rate": 7.04e-06, | |
| "loss": 0.6361, | |
| "mean_token_accuracy": 0.9800962433218956, | |
| "num_tokens": 3670016.0, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 0.9697505235671997, | |
| "learning_rate": 6.9333333333333344e-06, | |
| "loss": 0.6608, | |
| "mean_token_accuracy": 0.979592103511095, | |
| "num_tokens": 3801088.0, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 1.2079904079437256, | |
| "learning_rate": 6.826666666666667e-06, | |
| "loss": 0.5854, | |
| "mean_token_accuracy": 0.9816998448222876, | |
| "num_tokens": 3932160.0, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 1.9481562376022339, | |
| "learning_rate": 6.720000000000001e-06, | |
| "loss": 0.5883, | |
| "mean_token_accuracy": 0.9816949348896742, | |
| "num_tokens": 4063232.0, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 0.8685667514801025, | |
| "learning_rate": 6.613333333333334e-06, | |
| "loss": 0.5572, | |
| "mean_token_accuracy": 0.9824575446546078, | |
| "num_tokens": 4194304.0, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 1.206168293952942, | |
| "learning_rate": 6.5066666666666665e-06, | |
| "loss": 0.5408, | |
| "mean_token_accuracy": 0.982963752001524, | |
| "num_tokens": 4325376.0, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 2.035712718963623, | |
| "learning_rate": 6.4000000000000006e-06, | |
| "loss": 0.5665, | |
| "mean_token_accuracy": 0.9818029161542654, | |
| "num_tokens": 4456448.0, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 1.4054605960845947, | |
| "learning_rate": 6.293333333333334e-06, | |
| "loss": 0.5484, | |
| "mean_token_accuracy": 0.9823860600590706, | |
| "num_tokens": 4587520.0, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 1.3287094831466675, | |
| "learning_rate": 6.186666666666668e-06, | |
| "loss": 0.5362, | |
| "mean_token_accuracy": 0.9835489504039288, | |
| "num_tokens": 4718592.0, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 2.980499505996704, | |
| "learning_rate": 6.08e-06, | |
| "loss": 0.5465, | |
| "mean_token_accuracy": 0.9827720392495394, | |
| "num_tokens": 4849664.0, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 1.3520195484161377, | |
| "learning_rate": 5.973333333333334e-06, | |
| "loss": 0.517, | |
| "mean_token_accuracy": 0.983446417376399, | |
| "num_tokens": 4980736.0, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 1.2579379081726074, | |
| "learning_rate": 5.8666666666666675e-06, | |
| "loss": 0.5056, | |
| "mean_token_accuracy": 0.9842263720929623, | |
| "num_tokens": 5111808.0, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 2.252026319503784, | |
| "learning_rate": 5.76e-06, | |
| "loss": 0.5229, | |
| "mean_token_accuracy": 0.9836711697280407, | |
| "num_tokens": 5242880.0, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 1.2698060274124146, | |
| "learning_rate": 5.653333333333334e-06, | |
| "loss": 0.4646, | |
| "mean_token_accuracy": 0.9852073341608047, | |
| "num_tokens": 5373952.0, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 1.5042601823806763, | |
| "learning_rate": 5.546666666666667e-06, | |
| "loss": 0.5029, | |
| "mean_token_accuracy": 0.984351010993123, | |
| "num_tokens": 5505024.0, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 0.9958365559577942, | |
| "learning_rate": 5.4400000000000004e-06, | |
| "loss": 0.4788, | |
| "mean_token_accuracy": 0.9851621706038713, | |
| "num_tokens": 5636096.0, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 0.9716078042984009, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.4484, | |
| "mean_token_accuracy": 0.985568018630147, | |
| "num_tokens": 5767168.0, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 1.1012027263641357, | |
| "learning_rate": 5.226666666666667e-06, | |
| "loss": 0.4358, | |
| "mean_token_accuracy": 0.9859038721770048, | |
| "num_tokens": 5898240.0, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 1.2046291828155518, | |
| "learning_rate": 5.12e-06, | |
| "loss": 0.4547, | |
| "mean_token_accuracy": 0.9855281561613083, | |
| "num_tokens": 6029312.0, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 1.0735691785812378, | |
| "learning_rate": 5.013333333333333e-06, | |
| "loss": 0.4746, | |
| "mean_token_accuracy": 0.9851747266948223, | |
| "num_tokens": 6160384.0, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 1.0135657787322998, | |
| "learning_rate": 4.9066666666666666e-06, | |
| "loss": 0.4239, | |
| "mean_token_accuracy": 0.9866608530282974, | |
| "num_tokens": 6291456.0, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 0.8359453678131104, | |
| "learning_rate": 4.800000000000001e-06, | |
| "loss": 0.4342, | |
| "mean_token_accuracy": 0.9866013824939728, | |
| "num_tokens": 6422528.0, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 1.00949227809906, | |
| "learning_rate": 4.693333333333334e-06, | |
| "loss": 0.4317, | |
| "mean_token_accuracy": 0.9866328313946724, | |
| "num_tokens": 6553600.0, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 1.1209454536437988, | |
| "learning_rate": 4.586666666666667e-06, | |
| "loss": 0.4416, | |
| "mean_token_accuracy": 0.9860401172190905, | |
| "num_tokens": 6684672.0, | |
| "step": 204 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 1.0413671731948853, | |
| "learning_rate": 4.48e-06, | |
| "loss": 0.4304, | |
| "mean_token_accuracy": 0.9864061810076237, | |
| "num_tokens": 6815744.0, | |
| "step": 208 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 0.7713757157325745, | |
| "learning_rate": 4.3733333333333335e-06, | |
| "loss": 0.4408, | |
| "mean_token_accuracy": 0.9862897284328938, | |
| "num_tokens": 6946816.0, | |
| "step": 212 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 1.0856741666793823, | |
| "learning_rate": 4.266666666666668e-06, | |
| "loss": 0.4363, | |
| "mean_token_accuracy": 0.9863903503865004, | |
| "num_tokens": 7077888.0, | |
| "step": 216 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.762695848941803, | |
| "learning_rate": 4.16e-06, | |
| "loss": 0.4345, | |
| "mean_token_accuracy": 0.9862556718289852, | |
| "num_tokens": 7208960.0, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 0.8599634170532227, | |
| "learning_rate": 4.053333333333333e-06, | |
| "loss": 0.4168, | |
| "mean_token_accuracy": 0.9865854158997536, | |
| "num_tokens": 7340032.0, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 0.8917364478111267, | |
| "learning_rate": 3.946666666666667e-06, | |
| "loss": 0.3778, | |
| "mean_token_accuracy": 0.9881123788654804, | |
| "num_tokens": 7471104.0, | |
| "step": 228 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 0.6947170495986938, | |
| "learning_rate": 3.8400000000000005e-06, | |
| "loss": 0.3877, | |
| "mean_token_accuracy": 0.9877418763935566, | |
| "num_tokens": 7602176.0, | |
| "step": 232 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 0.9257314801216125, | |
| "learning_rate": 3.7333333333333337e-06, | |
| "loss": 0.3812, | |
| "mean_token_accuracy": 0.9878675621002913, | |
| "num_tokens": 7733248.0, | |
| "step": 236 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 1.9576170444488525, | |
| "learning_rate": 3.6266666666666674e-06, | |
| "loss": 0.42, | |
| "mean_token_accuracy": 0.986813249066472, | |
| "num_tokens": 7864320.0, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 0.9040073156356812, | |
| "learning_rate": 3.52e-06, | |
| "loss": 0.386, | |
| "mean_token_accuracy": 0.987710103392601, | |
| "num_tokens": 7995392.0, | |
| "step": 244 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 1.030599594116211, | |
| "learning_rate": 3.4133333333333334e-06, | |
| "loss": 0.4029, | |
| "mean_token_accuracy": 0.9871034454554319, | |
| "num_tokens": 8126464.0, | |
| "step": 248 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 0.9309128522872925, | |
| "learning_rate": 3.306666666666667e-06, | |
| "loss": 0.3999, | |
| "mean_token_accuracy": 0.9872954823076725, | |
| "num_tokens": 8257536.0, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 0.7675857543945312, | |
| "learning_rate": 3.2000000000000003e-06, | |
| "loss": 0.4193, | |
| "mean_token_accuracy": 0.9866136480122805, | |
| "num_tokens": 8388608.0, | |
| "step": 256 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.8219704031944275, | |
| "learning_rate": 3.093333333333334e-06, | |
| "loss": 0.4057, | |
| "mean_token_accuracy": 0.9868441838771105, | |
| "num_tokens": 8519680.0, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 0.9892351627349854, | |
| "learning_rate": 2.986666666666667e-06, | |
| "loss": 0.3385, | |
| "mean_token_accuracy": 0.9892081767320633, | |
| "num_tokens": 8650752.0, | |
| "step": 264 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 0.8646839261054993, | |
| "learning_rate": 2.88e-06, | |
| "loss": 0.4018, | |
| "mean_token_accuracy": 0.987593112513423, | |
| "num_tokens": 8781824.0, | |
| "step": 268 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 0.8883484601974487, | |
| "learning_rate": 2.7733333333333336e-06, | |
| "loss": 0.4082, | |
| "mean_token_accuracy": 0.9872159268707037, | |
| "num_tokens": 8912896.0, | |
| "step": 272 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 0.7417464852333069, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.4002, | |
| "mean_token_accuracy": 0.9869667831808329, | |
| "num_tokens": 9043968.0, | |
| "step": 276 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.8781360983848572, | |
| "learning_rate": 2.56e-06, | |
| "loss": 0.3838, | |
| "mean_token_accuracy": 0.9879082888364792, | |
| "num_tokens": 9175040.0, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 0.7206087708473206, | |
| "learning_rate": 2.4533333333333333e-06, | |
| "loss": 0.4011, | |
| "mean_token_accuracy": 0.9870665278285742, | |
| "num_tokens": 9306112.0, | |
| "step": 284 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 0.7289225459098816, | |
| "learning_rate": 2.346666666666667e-06, | |
| "loss": 0.4053, | |
| "mean_token_accuracy": 0.9868325497955084, | |
| "num_tokens": 9437184.0, | |
| "step": 288 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 0.8088091611862183, | |
| "learning_rate": 2.24e-06, | |
| "loss": 0.4259, | |
| "mean_token_accuracy": 0.9863878916949034, | |
| "num_tokens": 9568256.0, | |
| "step": 292 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 0.692416250705719, | |
| "learning_rate": 2.133333333333334e-06, | |
| "loss": 0.3744, | |
| "mean_token_accuracy": 0.9881744775921106, | |
| "num_tokens": 9699328.0, | |
| "step": 296 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.8444411754608154, | |
| "learning_rate": 2.0266666666666666e-06, | |
| "loss": 0.38, | |
| "mean_token_accuracy": 0.9878210332244635, | |
| "num_tokens": 9830400.0, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 0.698093593120575, | |
| "learning_rate": 1.9200000000000003e-06, | |
| "loss": 0.4046, | |
| "mean_token_accuracy": 0.9871846791356802, | |
| "num_tokens": 9961472.0, | |
| "step": 304 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 0.6660715341567993, | |
| "learning_rate": 1.8133333333333337e-06, | |
| "loss": 0.3735, | |
| "mean_token_accuracy": 0.9878482241183519, | |
| "num_tokens": 10092544.0, | |
| "step": 308 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 0.8037408590316772, | |
| "learning_rate": 1.7066666666666667e-06, | |
| "loss": 0.3628, | |
| "mean_token_accuracy": 0.9884408693760633, | |
| "num_tokens": 10223616.0, | |
| "step": 312 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 1.1215479373931885, | |
| "learning_rate": 1.6000000000000001e-06, | |
| "loss": 0.4113, | |
| "mean_token_accuracy": 0.9866763446480036, | |
| "num_tokens": 10354688.0, | |
| "step": 316 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.8912140130996704, | |
| "learning_rate": 1.4933333333333336e-06, | |
| "loss": 0.3753, | |
| "mean_token_accuracy": 0.9878699872642756, | |
| "num_tokens": 10485760.0, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 0.7743899822235107, | |
| "learning_rate": 1.3866666666666668e-06, | |
| "loss": 0.3936, | |
| "mean_token_accuracy": 0.987536245957017, | |
| "num_tokens": 10616832.0, | |
| "step": 324 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 0.813690185546875, | |
| "learning_rate": 1.28e-06, | |
| "loss": 0.392, | |
| "mean_token_accuracy": 0.9875784479081631, | |
| "num_tokens": 10747904.0, | |
| "step": 328 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 0.7513279914855957, | |
| "learning_rate": 1.1733333333333335e-06, | |
| "loss": 0.3511, | |
| "mean_token_accuracy": 0.9887354131788015, | |
| "num_tokens": 10878976.0, | |
| "step": 332 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 0.7692511081695557, | |
| "learning_rate": 1.066666666666667e-06, | |
| "loss": 0.3855, | |
| "mean_token_accuracy": 0.9876275006681681, | |
| "num_tokens": 11010048.0, | |
| "step": 336 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.8504297733306885, | |
| "learning_rate": 9.600000000000001e-07, | |
| "loss": 0.3715, | |
| "mean_token_accuracy": 0.9881636761128902, | |
| "num_tokens": 11141120.0, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 0.7928897142410278, | |
| "learning_rate": 8.533333333333334e-07, | |
| "loss": 0.361, | |
| "mean_token_accuracy": 0.9885325860232115, | |
| "num_tokens": 11272192.0, | |
| "step": 344 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 0.8380333781242371, | |
| "learning_rate": 7.466666666666668e-07, | |
| "loss": 0.394, | |
| "mean_token_accuracy": 0.9870442487299442, | |
| "num_tokens": 11403264.0, | |
| "step": 348 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 0.9250849485397339, | |
| "learning_rate": 6.4e-07, | |
| "loss": 0.3746, | |
| "mean_token_accuracy": 0.9879132714122534, | |
| "num_tokens": 11534336.0, | |
| "step": 352 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 0.9055423140525818, | |
| "learning_rate": 5.333333333333335e-07, | |
| "loss": 0.4153, | |
| "mean_token_accuracy": 0.9869474172592163, | |
| "num_tokens": 11665408.0, | |
| "step": 356 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.814559817314148, | |
| "learning_rate": 4.266666666666667e-07, | |
| "loss": 0.3759, | |
| "mean_token_accuracy": 0.988111924380064, | |
| "num_tokens": 11796480.0, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 0.8249328136444092, | |
| "learning_rate": 3.2e-07, | |
| "loss": 0.3727, | |
| "mean_token_accuracy": 0.9882096629589796, | |
| "num_tokens": 11927552.0, | |
| "step": 364 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 0.7737669348716736, | |
| "learning_rate": 2.1333333333333334e-07, | |
| "loss": 0.4041, | |
| "mean_token_accuracy": 0.9868866726756096, | |
| "num_tokens": 12058624.0, | |
| "step": 368 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 0.6931367516517639, | |
| "learning_rate": 1.0666666666666667e-07, | |
| "loss": 0.3835, | |
| "mean_token_accuracy": 0.9874988459050655, | |
| "num_tokens": 12189696.0, | |
| "step": 372 | |
| } | |
| ], | |
| "logging_steps": 4, | |
| "max_steps": 375, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 5000, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.935438365196288e+18, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |