{
  "best_metric": 0.022806307300925255,
  "best_model_checkpoint": "./results/checkpoint-52500",
  "epoch": 7.0,
  "eval_steps": 500,
  "global_step": 52500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 133.53384399414062,
      "learning_rate": 9.999777777777778e-05,
      "loss": 59.9252,
      "step": 10
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 163.2682647705078,
      "learning_rate": 9.999555555555556e-05,
      "loss": 55.5853,
      "step": 20
    },
    {
      "epoch": 0.004,
      "grad_norm": 145.06597900390625,
      "learning_rate": 9.999333333333334e-05,
      "loss": 50.8028,
      "step": 30
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 170.7826690673828,
      "learning_rate": 9.999111111111111e-05,
      "loss": 48.0544,
      "step": 40
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 276.3425598144531,
      "learning_rate": 9.998888888888889e-05,
      "loss": 40.1789,
      "step": 50
    },
    {
      "epoch": 0.008,
      "grad_norm": 282.92254638671875,
      "learning_rate": 9.998666666666667e-05,
      "loss": 33.3133,
      "step": 60
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 543.4373779296875,
      "learning_rate": 9.998444444444445e-05,
      "loss": 27.5569,
      "step": 70
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 303.37213134765625,
      "learning_rate": 9.998222222222222e-05,
      "loss": 22.4439,
      "step": 80
    },
    {
      "epoch": 0.012,
      "grad_norm": 539.587890625,
      "learning_rate": 9.998e-05,
      "loss": 16.1368,
      "step": 90
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 268.92803955078125,
      "learning_rate": 9.997777777777778e-05,
      "loss": 12.5233,
      "step": 100
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 60.6203727722168,
      "learning_rate": 9.997555555555556e-05,
      "loss": 7.7199,
      "step": 110
    },
    {
      "epoch": 0.016,
      "grad_norm": 131.5472869873047,
      "learning_rate": 9.997333333333335e-05,
      "loss": 5.2028,
      "step": 120
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 29.193546295166016,
      "learning_rate": 9.997111111111111e-05,
      "loss": 4.3031,
      "step": 130
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 38.0200309753418,
      "learning_rate": 9.996888888888889e-05,
      "loss": 3.6286,
      "step": 140
    },
    {
      "epoch": 0.02,
      "grad_norm": 36.632598876953125,
      "learning_rate": 9.996666666666668e-05,
      "loss": 3.1488,
      "step": 150
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 30.499208450317383,
      "learning_rate": 9.996444444444444e-05,
      "loss": 2.8067,
      "step": 160
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 30.156002044677734,
      "learning_rate": 9.996222222222222e-05,
      "loss": 2.3197,
      "step": 170
    },
    {
      "epoch": 0.024,
      "grad_norm": 22.188095092773438,
      "learning_rate": 9.996000000000001e-05,
      "loss": 1.8129,
      "step": 180
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 56.163326263427734,
      "learning_rate": 9.995777777777779e-05,
      "loss": 1.5635,
      "step": 190
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 12.668298721313477,
      "learning_rate": 9.995555555555555e-05,
      "loss": 1.2699,
      "step": 200
    },
    {
      "epoch": 0.028,
      "grad_norm": 10.006046295166016,
      "learning_rate": 9.995333333333334e-05,
      "loss": 0.9536,
      "step": 210
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 7.7957539558410645,
      "learning_rate": 9.995111111111112e-05,
      "loss": 0.8633,
      "step": 220
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 4.705864429473877,
      "learning_rate": 9.994888888888889e-05,
      "loss": 0.7216,
      "step": 230
    },
    {
      "epoch": 0.032,
      "grad_norm": 73.96143341064453,
      "learning_rate": 9.994666666666666e-05,
      "loss": 0.776,
      "step": 240
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 5.918646812438965,
      "learning_rate": 9.994444444444445e-05,
      "loss": 0.8036,
      "step": 250
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 7.200180530548096,
      "learning_rate": 9.994222222222223e-05,
      "loss": 0.5676,
      "step": 260
    },
    {
      "epoch": 0.036,
      "grad_norm": 1.3522658348083496,
      "learning_rate": 9.994e-05,
      "loss": 0.6469,
      "step": 270
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 1.0522799491882324,
      "learning_rate": 9.993777777777779e-05,
      "loss": 0.534,
      "step": 280
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 5.189919948577881,
      "learning_rate": 9.993555555555556e-05,
      "loss": 0.617,
      "step": 290
    },
    {
      "epoch": 0.04,
      "grad_norm": 1.1553244590759277,
      "learning_rate": 9.993333333333334e-05,
      "loss": 0.4699,
      "step": 300
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 1.1595462560653687,
      "learning_rate": 9.993111111111112e-05,
      "loss": 0.5753,
      "step": 310
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 0.8183878660202026,
      "learning_rate": 9.99288888888889e-05,
      "loss": 0.54,
      "step": 320
    },
    {
      "epoch": 0.044,
      "grad_norm": 1.2679260969161987,
      "learning_rate": 9.992666666666667e-05,
      "loss": 0.5443,
      "step": 330
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 1.6208503246307373,
      "learning_rate": 9.992444444444445e-05,
      "loss": 0.5553,
      "step": 340
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 1.4687594175338745,
      "learning_rate": 9.992222222222223e-05,
      "loss": 0.471,
      "step": 350
    },
    {
      "epoch": 0.048,
      "grad_norm": 13.78636646270752,
      "learning_rate": 9.992e-05,
      "loss": 0.4357,
      "step": 360
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 0.9309961199760437,
      "learning_rate": 9.991777777777778e-05,
      "loss": 0.4064,
      "step": 370
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 2.0518438816070557,
      "learning_rate": 9.991555555555556e-05,
      "loss": 0.3949,
      "step": 380
    },
    {
      "epoch": 0.052,
      "grad_norm": 1.276606798171997,
      "learning_rate": 9.991333333333334e-05,
      "loss": 0.3484,
      "step": 390
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 1.212518334388733,
      "learning_rate": 9.991111111111112e-05,
      "loss": 0.4111,
      "step": 400
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 1.9561119079589844,
      "learning_rate": 9.990888888888889e-05,
      "loss": 0.5481,
      "step": 410
    },
    {
      "epoch": 0.056,
      "grad_norm": 6.50496244430542,
      "learning_rate": 9.990666666666667e-05,
      "loss": 0.4768,
      "step": 420
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 1.0126534700393677,
      "learning_rate": 9.990444444444445e-05,
      "loss": 0.3752,
      "step": 430
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 1.0062023401260376,
      "learning_rate": 9.990222222222222e-05,
      "loss": 0.3981,
      "step": 440
    },
    {
      "epoch": 0.06,
      "grad_norm": 1.993019938468933,
      "learning_rate": 9.99e-05,
      "loss": 0.4075,
      "step": 450
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 0.7017912864685059,
      "learning_rate": 9.989777777777778e-05,
      "loss": 0.3886,
      "step": 460
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 1.226698398590088,
      "learning_rate": 9.989555555555557e-05,
      "loss": 0.3476,
      "step": 470
    },
    {
      "epoch": 0.064,
      "grad_norm": 2.467430591583252,
      "learning_rate": 9.989333333333333e-05,
      "loss": 0.3934,
      "step": 480
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 1.2171974182128906,
      "learning_rate": 9.989111111111111e-05,
      "loss": 0.3845,
      "step": 490
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 2.4799113273620605,
      "learning_rate": 9.98888888888889e-05,
      "loss": 0.3919,
      "step": 500
    },
    {
      "epoch": 0.068,
      "grad_norm": 1.4064533710479736,
      "learning_rate": 9.988666666666667e-05,
      "loss": 0.3473,
      "step": 510
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 1.1805033683776855,
      "learning_rate": 9.988444444444444e-05,
      "loss": 0.3686,
      "step": 520
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 1.9809982776641846,
      "learning_rate": 9.988222222222222e-05,
      "loss": 0.3692,
      "step": 530
    },
    {
      "epoch": 0.072,
      "grad_norm": 1.4900237321853638,
      "learning_rate": 9.988000000000001e-05,
      "loss": 0.4051,
      "step": 540
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 0.8470429182052612,
      "learning_rate": 9.987777777777778e-05,
      "loss": 0.3134,
      "step": 550
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 2.1576414108276367,
      "learning_rate": 9.987555555555555e-05,
      "loss": 0.3978,
      "step": 560
    },
    {
      "epoch": 0.076,
      "grad_norm": 3.343813419342041,
      "learning_rate": 9.987333333333334e-05,
      "loss": 0.3401,
      "step": 570
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 2.7203590869903564,
      "learning_rate": 9.987111111111111e-05,
      "loss": 0.3452,
      "step": 580
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 2.020695209503174,
      "learning_rate": 9.986888888888889e-05,
      "loss": 0.3238,
      "step": 590
    },
    {
      "epoch": 0.08,
      "grad_norm": 1.1481877565383911,
      "learning_rate": 9.986666666666668e-05,
      "loss": 0.2894,
      "step": 600
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 1.8800915479660034,
      "learning_rate": 9.986444444444445e-05,
      "loss": 0.2772,
      "step": 610
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 1.1239655017852783,
      "learning_rate": 9.986222222222222e-05,
      "loss": 0.374,
      "step": 620
    },
    {
      "epoch": 0.084,
      "grad_norm": 0.9757822751998901,
      "learning_rate": 9.986000000000001e-05,
      "loss": 0.2924,
      "step": 630
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 1.9336644411087036,
      "learning_rate": 9.985777777777779e-05,
      "loss": 0.3183,
      "step": 640
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 3.4862375259399414,
      "learning_rate": 9.985555555555556e-05,
      "loss": 0.3353,
      "step": 650
    },
    {
      "epoch": 0.088,
      "grad_norm": 2.2850825786590576,
      "learning_rate": 9.985333333333334e-05,
      "loss": 0.3441,
      "step": 660
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 1.7051788568496704,
      "learning_rate": 9.985111111111112e-05,
      "loss": 0.2674,
      "step": 670
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 7.311218738555908,
      "learning_rate": 9.98488888888889e-05,
      "loss": 0.34,
      "step": 680
    },
    {
      "epoch": 0.092,
      "grad_norm": 1.7641947269439697,
      "learning_rate": 9.984666666666666e-05,
      "loss": 0.3212,
      "step": 690
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 1.6844667196273804,
      "learning_rate": 9.984444444444445e-05,
      "loss": 0.2709,
      "step": 700
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 2.008802890777588,
      "learning_rate": 9.984222222222223e-05,
      "loss": 0.2921,
      "step": 710
    },
    {
      "epoch": 0.096,
      "grad_norm": 8.957221984863281,
      "learning_rate": 9.984e-05,
      "loss": 0.2596,
      "step": 720
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 1.4512990713119507,
      "learning_rate": 9.983777777777778e-05,
      "loss": 0.2453,
      "step": 730
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 1.6375576257705688,
      "learning_rate": 9.983555555555556e-05,
      "loss": 0.261,
      "step": 740
    },
    {
      "epoch": 0.1,
      "grad_norm": 1.1246591806411743,
      "learning_rate": 9.983333333333334e-05,
      "loss": 0.2914,
      "step": 750
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 7.637399196624756,
      "learning_rate": 9.983111111111112e-05,
      "loss": 0.2791,
      "step": 760
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 9.071393013000488,
      "learning_rate": 9.98288888888889e-05,
      "loss": 0.3197,
      "step": 770
    },
    {
      "epoch": 0.104,
      "grad_norm": 3.87341570854187,
      "learning_rate": 9.982666666666667e-05,
      "loss": 0.267,
      "step": 780
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 3.8083086013793945,
      "learning_rate": 9.982444444444445e-05,
      "loss": 0.253,
      "step": 790
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 1.0755115747451782,
      "learning_rate": 9.982222222222223e-05,
      "loss": 0.2164,
      "step": 800
    },
    {
      "epoch": 0.108,
      "grad_norm": 1.5015873908996582,
      "learning_rate": 9.982e-05,
      "loss": 0.2949,
      "step": 810
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 4.7438788414001465,
      "learning_rate": 9.98177777777778e-05,
      "loss": 0.2257,
      "step": 820
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 1.4867182970046997,
      "learning_rate": 9.981555555555556e-05,
      "loss": 0.2438,
      "step": 830
    },
    {
      "epoch": 0.112,
      "grad_norm": 761.6627197265625,
      "learning_rate": 9.981333333333334e-05,
      "loss": 0.2388,
      "step": 840
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 2.0033411979675293,
      "learning_rate": 9.981111111111111e-05,
      "loss": 0.2241,
      "step": 850
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 1.2385225296020508,
      "learning_rate": 9.980888888888889e-05,
      "loss": 0.2006,
      "step": 860
    },
    {
      "epoch": 0.116,
      "grad_norm": 2.374208927154541,
      "learning_rate": 9.980666666666667e-05,
      "loss": 0.2349,
      "step": 870
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 5.141919136047363,
      "learning_rate": 9.980444444444445e-05,
      "loss": 0.249,
      "step": 880
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 1.2985870838165283,
      "learning_rate": 9.980222222222224e-05,
      "loss": 0.1965,
      "step": 890
    },
    {
      "epoch": 0.12,
      "grad_norm": 1.2996095418930054,
      "learning_rate": 9.98e-05,
      "loss": 0.2075,
      "step": 900
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 1.5967950820922852,
      "learning_rate": 9.979777777777778e-05,
      "loss": 0.2307,
      "step": 910
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 2.1334333419799805,
      "learning_rate": 9.979555555555557e-05,
      "loss": 0.1839,
      "step": 920
    },
    {
      "epoch": 0.124,
      "grad_norm": 1.9342498779296875,
      "learning_rate": 9.979333333333333e-05,
      "loss": 0.2295,
      "step": 930
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 2.5898690223693848,
      "learning_rate": 9.979111111111111e-05,
      "loss": 0.2212,
      "step": 940
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 2.91871976852417,
      "learning_rate": 9.97888888888889e-05,
      "loss": 0.1889,
      "step": 950
    },
    {
      "epoch": 0.128,
      "grad_norm": 2.922077178955078,
      "learning_rate": 9.978666666666668e-05,
      "loss": 0.2115,
      "step": 960
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 1.6906682252883911,
      "learning_rate": 9.978444444444444e-05,
      "loss": 0.2122,
      "step": 970
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 1.7114973068237305,
      "learning_rate": 9.978222222222223e-05,
      "loss": 0.2359,
      "step": 980
    },
    {
      "epoch": 0.132,
      "grad_norm": 2.9273183345794678,
      "learning_rate": 9.978000000000001e-05,
      "loss": 0.198,
      "step": 990
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 1.9429441690444946,
      "learning_rate": 9.977777777777779e-05,
      "loss": 0.2009,
      "step": 1000
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 1.9750436544418335,
      "learning_rate": 9.977555555555555e-05,
      "loss": 0.2061,
      "step": 1010
    },
    {
      "epoch": 0.136,
      "grad_norm": 1.8530522584915161,
      "learning_rate": 9.977333333333334e-05,
      "loss": 0.2138,
      "step": 1020
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 2.4796245098114014,
      "learning_rate": 9.977111111111112e-05,
      "loss": 0.2323,
      "step": 1030
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 1.1692463159561157,
      "learning_rate": 9.976888888888888e-05,
      "loss": 0.2598,
      "step": 1040
    },
    {
      "epoch": 0.14,
      "grad_norm": 34.965877532958984,
      "learning_rate": 9.976666666666667e-05,
      "loss": 0.1577,
      "step": 1050
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 2.1717095375061035,
      "learning_rate": 9.976444444444445e-05,
      "loss": 0.1785,
      "step": 1060
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 2.3595833778381348,
      "learning_rate": 9.976222222222223e-05,
      "loss": 0.171,
      "step": 1070
    },
    {
      "epoch": 0.144,
      "grad_norm": 2.2334887981414795,
      "learning_rate": 9.976000000000001e-05,
      "loss": 0.1629,
      "step": 1080
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 8.881460189819336,
      "learning_rate": 9.975777777777778e-05,
      "loss": 0.2061,
      "step": 1090
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 1.5989000797271729,
      "learning_rate": 9.975555555555556e-05,
      "loss": 0.1898,
      "step": 1100
    },
    {
      "epoch": 0.148,
      "grad_norm": 0.9964730143547058,
      "learning_rate": 9.975333333333334e-05,
      "loss": 0.2012,
      "step": 1110
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 47.69103240966797,
      "learning_rate": 9.975111111111112e-05,
      "loss": 0.178,
      "step": 1120
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 3.2077300548553467,
      "learning_rate": 9.97488888888889e-05,
      "loss": 0.1421,
      "step": 1130
    },
    {
      "epoch": 0.152,
      "grad_norm": 2.734050989151001,
      "learning_rate": 9.974666666666667e-05,
      "loss": 0.1901,
      "step": 1140
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 1.8479307889938354,
      "learning_rate": 9.974444444444445e-05,
      "loss": 0.2101,
      "step": 1150
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 3.678224563598633,
      "learning_rate": 9.974222222222223e-05,
      "loss": 0.1885,
      "step": 1160
    },
    {
      "epoch": 0.156,
      "grad_norm": 2.1787171363830566,
      "learning_rate": 9.974e-05,
      "loss": 0.2481,
      "step": 1170
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 1.3119834661483765,
      "learning_rate": 9.973777777777778e-05,
      "loss": 0.1661,
      "step": 1180
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 1.8690754175186157,
      "learning_rate": 9.973555555555556e-05,
      "loss": 0.173,
      "step": 1190
    },
    {
      "epoch": 0.16,
      "grad_norm": 1.1632918119430542,
      "learning_rate": 9.973333333333334e-05,
      "loss": 0.1684,
      "step": 1200
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 72.05709838867188,
      "learning_rate": 9.973111111111111e-05,
      "loss": 0.1809,
      "step": 1210
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 3.2981224060058594,
      "learning_rate": 9.972888888888889e-05,
      "loss": 0.2117,
      "step": 1220
    },
    {
      "epoch": 0.164,
      "grad_norm": 0.8597052097320557,
      "learning_rate": 9.972666666666667e-05,
      "loss": 0.1334,
      "step": 1230
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 0.9904216527938843,
      "learning_rate": 9.972444444444446e-05,
      "loss": 0.1667,
      "step": 1240
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 2.0362789630889893,
      "learning_rate": 9.972222222222222e-05,
      "loss": 0.1669,
      "step": 1250
    },
    {
      "epoch": 0.168,
      "grad_norm": 1.5949220657348633,
      "learning_rate": 9.972e-05,
      "loss": 0.2049,
      "step": 1260
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 0.9735347628593445,
      "learning_rate": 9.971777777777779e-05,
      "loss": 0.1715,
      "step": 1270
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 1.26549232006073,
      "learning_rate": 9.971555555555556e-05,
      "loss": 0.1311,
      "step": 1280
    },
    {
      "epoch": 0.172,
      "grad_norm": 1.8144887685775757,
      "learning_rate": 9.971333333333333e-05,
      "loss": 0.1523,
      "step": 1290
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 1.501533031463623,
      "learning_rate": 9.971111111111111e-05,
      "loss": 0.1734,
      "step": 1300
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 0.8215624094009399,
      "learning_rate": 9.97088888888889e-05,
      "loss": 0.1771,
      "step": 1310
    },
    {
      "epoch": 0.176,
      "grad_norm": 2.659200429916382,
      "learning_rate": 9.970666666666667e-05,
      "loss": 0.153,
      "step": 1320
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 2.01182222366333,
      "learning_rate": 9.970444444444444e-05,
      "loss": 0.1634,
      "step": 1330
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 1.1422717571258545,
      "learning_rate": 9.970222222222223e-05,
      "loss": 0.1582,
      "step": 1340
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.874214768409729,
      "learning_rate": 9.970000000000001e-05,
      "loss": 0.1885,
      "step": 1350
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 2.827357769012451,
      "learning_rate": 9.969777777777777e-05,
      "loss": 0.1757,
      "step": 1360
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 1.9502471685409546,
      "learning_rate": 9.969555555555557e-05,
      "loss": 0.1537,
      "step": 1370
    },
    {
      "epoch": 0.184,
      "grad_norm": 0.9066708087921143,
      "learning_rate": 9.969333333333334e-05,
      "loss": 0.1476,
      "step": 1380
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 1.3705289363861084,
      "learning_rate": 9.969111111111111e-05,
      "loss": 0.1533,
      "step": 1390
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 1.3972631692886353,
      "learning_rate": 9.96888888888889e-05,
      "loss": 0.1752,
      "step": 1400
    },
    {
      "epoch": 0.188,
      "grad_norm": 1.7367396354675293,
      "learning_rate": 9.968666666666668e-05,
      "loss": 0.1398,
      "step": 1410
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 3.4309022426605225,
      "learning_rate": 9.968444444444445e-05,
      "loss": 0.1512,
      "step": 1420
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 1.0143147706985474,
      "learning_rate": 9.968222222222223e-05,
      "loss": 0.1583,
      "step": 1430
    },
    {
      "epoch": 0.192,
      "grad_norm": 1.940889835357666,
      "learning_rate": 9.968000000000001e-05,
      "loss": 0.2008,
      "step": 1440
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 1.8753997087478638,
      "learning_rate": 9.967777777777779e-05,
      "loss": 0.1466,
      "step": 1450
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 0.9956440925598145,
      "learning_rate": 9.967555555555555e-05,
      "loss": 0.1538,
      "step": 1460
    },
    {
      "epoch": 0.196,
      "grad_norm": 0.7262989282608032,
      "learning_rate": 9.967333333333334e-05,
      "loss": 0.1232,
      "step": 1470
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 2.5807814598083496,
      "learning_rate": 9.967111111111112e-05,
      "loss": 0.1646,
      "step": 1480
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 1.9059300422668457,
      "learning_rate": 9.96688888888889e-05,
      "loss": 0.1536,
      "step": 1490
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.9085664749145508,
      "learning_rate": 9.966666666666667e-05,
      "loss": 0.1196,
      "step": 1500
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 1.0480775833129883,
      "learning_rate": 9.966444444444445e-05,
      "loss": 0.16,
      "step": 1510
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 5.2919840812683105,
      "learning_rate": 9.966222222222223e-05,
      "loss": 0.1901,
      "step": 1520
    },
    {
      "epoch": 0.204,
      "grad_norm": 0.7002419233322144,
      "learning_rate": 9.966e-05,
      "loss": 0.1386,
      "step": 1530
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 2.3351080417633057,
      "learning_rate": 9.965777777777778e-05,
      "loss": 0.1278,
      "step": 1540
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 2.871659994125366,
      "learning_rate": 9.965555555555556e-05,
      "loss": 0.1332,
      "step": 1550
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.9048170447349548,
      "learning_rate": 9.965333333333334e-05,
      "loss": 0.1587,
      "step": 1560
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 5.974566459655762,
      "learning_rate": 9.965111111111111e-05,
      "loss": 0.106,
      "step": 1570
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 0.9849401712417603,
      "learning_rate": 9.964888888888889e-05,
      "loss": 0.1426,
      "step": 1580
    },
    {
      "epoch": 0.212,
      "grad_norm": 6.293999671936035,
      "learning_rate": 9.964666666666667e-05,
      "loss": 0.1366,
      "step": 1590
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.0878790616989136,
      "learning_rate": 9.964444444444445e-05,
      "loss": 0.172,
      "step": 1600
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 0.5933660864830017,
      "learning_rate": 9.964222222222222e-05,
      "loss": 0.1114,
      "step": 1610
    },
    {
      "epoch": 0.216,
      "grad_norm": 3.6409339904785156,
      "learning_rate": 9.964e-05,
      "loss": 0.174,
      "step": 1620
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 1.5022145509719849,
      "learning_rate": 9.963777777777778e-05,
      "loss": 0.149,
      "step": 1630
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 0.5056701302528381,
      "learning_rate": 9.963555555555556e-05,
      "loss": 0.119,
      "step": 1640
    },
    {
      "epoch": 0.22,
      "grad_norm": 1.3479782342910767,
      "learning_rate": 9.963333333333333e-05,
      "loss": 0.1599,
      "step": 1650
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 4.002425670623779,
      "learning_rate": 9.963111111111112e-05,
      "loss": 0.1541,
      "step": 1660
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 28.425153732299805,
      "learning_rate": 9.962888888888889e-05,
      "loss": 0.1451,
      "step": 1670
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.8771553635597229,
      "learning_rate": 9.962666666666667e-05,
      "loss": 0.1451,
      "step": 1680
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 1.369503140449524,
      "learning_rate": 9.962444444444446e-05,
      "loss": 0.185,
      "step": 1690
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 1.3378965854644775,
      "learning_rate": 9.962222222222223e-05,
      "loss": 0.1582,
      "step": 1700
    },
    {
      "epoch": 0.228,
      "grad_norm": 1.47008216381073,
      "learning_rate": 9.962e-05,
      "loss": 0.1307,
      "step": 1710
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 0.8329353332519531,
      "learning_rate": 9.961777777777779e-05,
      "loss": 0.1199,
      "step": 1720
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 1.5721184015274048,
      "learning_rate": 9.961555555555557e-05,
      "loss": 0.1529,
      "step": 1730
    },
    {
      "epoch": 0.232,
      "grad_norm": 1.1424623727798462,
      "learning_rate": 9.961333333333333e-05,
      "loss": 0.1828,
      "step": 1740
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 1.033277153968811,
      "learning_rate": 9.961111111111111e-05,
      "loss": 0.1376,
      "step": 1750
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 0.6235146522521973,
      "learning_rate": 9.96088888888889e-05,
      "loss": 0.1346,
      "step": 1760
    },
    {
      "epoch": 0.236,
      "grad_norm": 0.9914849996566772,
      "learning_rate": 9.960666666666668e-05,
      "loss": 0.162,
      "step": 1770
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 0.7720547318458557,
      "learning_rate": 9.960444444444444e-05,
      "loss": 0.1248,
      "step": 1780
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 1.5507235527038574,
      "learning_rate": 9.960222222222223e-05,
      "loss": 0.1483,
      "step": 1790
    },
    {
      "epoch": 0.24,
      "grad_norm": 1.759764552116394,
      "learning_rate": 9.960000000000001e-05,
      "loss": 0.1388,
      "step": 1800
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 0.622764527797699,
      "learning_rate": 9.959777777777777e-05,
      "loss": 0.146,
      "step": 1810
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 3.995176076889038,
      "learning_rate": 9.959555555555556e-05,
      "loss": 0.1372,
      "step": 1820
    },
    {
      "epoch": 0.244,
      "grad_norm": 1.8949146270751953,
      "learning_rate": 9.959333333333334e-05,
      "loss": 0.1543,
      "step": 1830
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 1.2075309753417969,
      "learning_rate": 9.959111111111112e-05,
      "loss": 0.1411,
      "step": 1840
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 1.7179207801818848,
      "learning_rate": 9.95888888888889e-05,
      "loss": 0.1262,
      "step": 1850
    },
    {
      "epoch": 0.248,
      "grad_norm": 1.4926851987838745,
      "learning_rate": 9.958666666666667e-05,
      "loss": 0.1498,
      "step": 1860
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 1.3235785961151123,
      "learning_rate": 9.958444444444445e-05,
      "loss": 0.1701,
      "step": 1870
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 1.72166907787323,
      "learning_rate": 9.958222222222223e-05,
      "loss": 0.1296,
      "step": 1880
    },
    {
      "epoch": 0.252,
      "grad_norm": 0.8567764163017273,
      "learning_rate": 9.958e-05,
      "loss": 0.1151,
      "step": 1890
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 3.045321226119995,
      "learning_rate": 9.957777777777778e-05,
      "loss": 0.133,
      "step": 1900
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 0.9985342621803284,
      "learning_rate": 9.957555555555556e-05,
      "loss": 0.1351,
      "step": 1910
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.8683931231498718,
      "learning_rate": 9.957333333333334e-05,
      "loss": 0.132,
      "step": 1920
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 3.561652183532715,
      "learning_rate": 9.957111111111112e-05,
      "loss": 0.1269,
      "step": 1930
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 0.572606086730957,
      "learning_rate": 9.956888888888889e-05,
      "loss": 0.1343,
      "step": 1940
    },
    {
      "epoch": 0.26,
      "grad_norm": 0.8883646130561829,
      "learning_rate": 9.956666666666667e-05,
      "loss": 0.1104,
      "step": 1950
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 1.5562406778335571,
      "learning_rate": 9.956444444444445e-05,
      "loss": 0.1276,
      "step": 1960
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 1.0379314422607422,
      "learning_rate": 9.956222222222222e-05,
      "loss": 0.1231,
      "step": 1970
    },
    {
      "epoch": 0.264,
      "grad_norm": 1.0527405738830566,
      "learning_rate": 9.956e-05,
      "loss": 0.1219,
      "step": 1980
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 1.8494832515716553,
      "learning_rate": 9.955777777777778e-05,
      "loss": 0.1132,
      "step": 1990
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.420232892036438,
      "learning_rate": 9.955555555555556e-05,
      "loss": 0.1294,
      "step": 2000
    },
    {
      "epoch": 0.268,
      "grad_norm": 2.345614194869995,
      "learning_rate": 9.955333333333335e-05,
      "loss": 0.1402,
      "step": 2010
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 2.3309099674224854,
      "learning_rate": 9.955111111111111e-05,
      "loss": 0.1161,
      "step": 2020
    },
    {
      "epoch": 0.27066666666666667,
      "grad_norm": 2.4254777431488037,
      "learning_rate": 9.954888888888889e-05,
      "loss": 0.1766,
      "step": 2030
    },
    {
      "epoch": 0.272,
      "grad_norm": 3.0962488651275635,
      "learning_rate": 9.954666666666668e-05,
      "loss": 0.1316,
      "step": 2040
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 1.186449646949768,
      "learning_rate": 9.954444444444446e-05,
      "loss": 0.1342,
      "step": 2050
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 1.0839707851409912,
      "learning_rate": 9.954222222222222e-05,
      "loss": 0.1165,
      "step": 2060
    },
    {
      "epoch": 0.276,
      "grad_norm": 1.0068668127059937,
      "learning_rate": 9.954e-05,
      "loss": 0.1049,
      "step": 2070
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 0.9108576774597168,
      "learning_rate": 9.953777777777779e-05,
      "loss": 0.0975,
      "step": 2080
    },
    {
      "epoch": 0.2786666666666667,
      "grad_norm": 0.892208456993103,
      "learning_rate": 9.953555555555555e-05,
      "loss": 0.1141,
      "step": 2090
    },
    {
      "epoch": 0.28,
      "grad_norm": 2.306703567504883,
      "learning_rate": 9.953333333333333e-05,
      "loss": 0.1359,
      "step": 2100
    },
    {
      "epoch": 0.2813333333333333,
      "grad_norm": 21.0176944732666,
      "learning_rate": 9.953111111111112e-05,
      "loss": 0.1646,
      "step": 2110
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 1.3351187705993652,
      "learning_rate": 9.95288888888889e-05,
      "loss": 0.118,
      "step": 2120
    },
    {
      "epoch": 0.284,
      "grad_norm": 0.8102360963821411,
      "learning_rate": 9.952666666666666e-05,
      "loss": 0.1167,
      "step": 2130
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 1.6995667219161987,
      "learning_rate": 9.952444444444445e-05,
      "loss": 0.1243,
      "step": 2140
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 0.8293558955192566,
      "learning_rate": 9.952222222222223e-05,
      "loss": 0.1034,
      "step": 2150
    },
    {
      "epoch": 0.288,
      "grad_norm": 2.5201315879821777,
      "learning_rate": 9.952e-05,
      "loss": 0.1458,
      "step": 2160
    },
    {
      "epoch": 0.28933333333333333,
      "grad_norm": 0.7733249068260193,
      "learning_rate": 9.951777777777779e-05,
      "loss": 0.1175,
      "step": 2170
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 1.05697500705719,
      "learning_rate": 9.951555555555556e-05,
      "loss": 0.1278,
      "step": 2180
    },
    {
      "epoch": 0.292,
      "grad_norm": 1.9276376962661743,
      "learning_rate": 9.951333333333334e-05,
      "loss": 0.1165,
      "step": 2190
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 1.1145371198654175,
      "learning_rate": 9.95111111111111e-05,
      "loss": 0.1186,
      "step": 2200
    },
    {
      "epoch": 0.2946666666666667,
      "grad_norm": 1.531700611114502,
      "learning_rate": 9.95088888888889e-05,
      "loss": 0.1081,
      "step": 2210
    },
    {
      "epoch": 0.296,
      "grad_norm": 0.9369827508926392,
      "learning_rate": 9.950666666666667e-05,
      "loss": 0.1021,
      "step": 2220
    },
    {
      "epoch": 0.29733333333333334,
      "grad_norm": 0.8102583289146423,
      "learning_rate": 9.950444444444445e-05,
      "loss": 0.1138,
      "step": 2230
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 1.2840420007705688,
      "learning_rate": 9.950222222222223e-05,
      "loss": 0.1475,
      "step": 2240
    },
    {
      "epoch": 0.3,
      "grad_norm": 1.1523257493972778,
      "learning_rate": 9.95e-05,
      "loss": 0.1173,
      "step": 2250
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 1.0251861810684204,
      "learning_rate": 9.949777777777778e-05,
      "loss": 0.1261,
      "step": 2260
    },
    {
      "epoch": 0.30266666666666664,
      "grad_norm": 3.2754220962524414,
      "learning_rate": 9.949555555555556e-05,
      "loss": 0.1494,
      "step": 2270
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.9991390109062195,
      "learning_rate": 9.949333333333334e-05,
      "loss": 0.1293,
      "step": 2280
    },
    {
      "epoch": 0.30533333333333335,
      "grad_norm": 1.1020125150680542,
      "learning_rate": 9.949111111111112e-05,
      "loss": 0.1071,
      "step": 2290
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 1.5092949867248535,
      "learning_rate": 9.94888888888889e-05,
      "loss": 0.114,
      "step": 2300
    },
    {
      "epoch": 0.308,
      "grad_norm": 1.7258703708648682,
      "learning_rate": 9.948666666666667e-05,
      "loss": 0.1307,
      "step": 2310
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 0.4955563545227051,
      "learning_rate": 9.948444444444445e-05,
      "loss": 0.1144,
      "step": 2320
    },
    {
      "epoch": 0.31066666666666665,
      "grad_norm": 0.9883385896682739,
      "learning_rate": 9.948222222222223e-05,
      "loss": 0.0912,
      "step": 2330
    },
    {
      "epoch": 0.312,
      "grad_norm": 1.298918604850769,
      "learning_rate": 9.948e-05,
      "loss": 0.1018,
      "step": 2340
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 0.5091150999069214,
      "learning_rate": 9.947777777777778e-05,
      "loss": 0.1118,
      "step": 2350
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 1.247857928276062,
      "learning_rate": 9.947555555555556e-05,
      "loss": 0.1139,
      "step": 2360
    },
    {
      "epoch": 0.316,
      "grad_norm": 0.8716659545898438,
      "learning_rate": 9.947333333333334e-05,
      "loss": 0.1361,
      "step": 2370
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 0.5679542422294617,
      "learning_rate": 9.947111111111111e-05,
      "loss": 0.1215,
      "step": 2380
    },
    {
      "epoch": 0.31866666666666665,
      "grad_norm": 1.0093055963516235,
      "learning_rate": 9.946888888888889e-05,
      "loss": 0.1212,
      "step": 2390
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.48686683177948,
      "learning_rate": 9.946666666666668e-05,
      "loss": 0.1156,
      "step": 2400
    },
    {
      "epoch": 0.32133333333333336,
      "grad_norm": 0.8071702718734741,
      "learning_rate": 9.946444444444444e-05,
      "loss": 0.1159,
      "step": 2410
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 3.8345015048980713,
      "learning_rate": 9.946222222222222e-05,
      "loss": 0.1137,
      "step": 2420
    },
    {
      "epoch": 0.324,
      "grad_norm": 0.8939406871795654,
      "learning_rate": 9.946000000000001e-05,
      "loss": 0.1188,
      "step": 2430
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 1.654077410697937,
      "learning_rate": 9.945777777777778e-05,
      "loss": 0.1325,
      "step": 2440
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 1.7924548387527466,
      "learning_rate": 9.945555555555555e-05,
      "loss": 0.121,
      "step": 2450
    },
    {
      "epoch": 0.328,
      "grad_norm": 0.66729736328125,
      "learning_rate": 9.945333333333335e-05,
      "loss": 0.1221,
      "step": 2460
    },
    {
      "epoch": 0.3293333333333333,
      "grad_norm": 1.2023180723190308,
      "learning_rate": 9.945111111111112e-05,
      "loss": 0.1189,
      "step": 2470
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 0.7080725431442261,
      "learning_rate": 9.944888888888889e-05,
      "loss": 0.1356,
      "step": 2480
    },
    {
      "epoch": 0.332,
      "grad_norm": 1.041055679321289,
      "learning_rate": 9.944666666666668e-05,
      "loss": 0.1109,
      "step": 2490
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.5642613768577576,
      "learning_rate": 9.944444444444446e-05,
      "loss": 0.1125,
      "step": 2500
    },
    {
      "epoch": 0.33466666666666667,
      "grad_norm": 1.0657894611358643,
      "learning_rate": 9.944222222222222e-05,
      "loss": 0.1068,
      "step": 2510
    },
    {
      "epoch": 0.336,
      "grad_norm": 1.4992218017578125,
      "learning_rate": 9.944e-05,
      "loss": 0.1018,
      "step": 2520
    },
    {
      "epoch": 0.3373333333333333,
      "grad_norm": 0.6208173036575317,
      "learning_rate": 9.943777777777779e-05,
      "loss": 0.1071,
      "step": 2530
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 1.713624358177185,
      "learning_rate": 9.943555555555556e-05,
      "loss": 0.1063,
      "step": 2540
    },
    {
      "epoch": 0.34,
      "grad_norm": 1.1516516208648682,
      "learning_rate": 9.943333333333333e-05,
      "loss": 0.1105,
      "step": 2550
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.8782042860984802,
      "learning_rate": 9.943111111111112e-05,
      "loss": 0.1022,
      "step": 2560
    },
    {
      "epoch": 0.3426666666666667,
      "grad_norm": 0.7202969789505005,
      "learning_rate": 9.94288888888889e-05,
      "loss": 0.1045,
      "step": 2570
    },
    {
      "epoch": 0.344,
      "grad_norm": 0.7107709050178528,
      "learning_rate": 9.942666666666667e-05,
      "loss": 0.1124,
      "step": 2580
    },
    {
      "epoch": 0.3453333333333333,
      "grad_norm": 1.7460206747055054,
      "learning_rate": 9.942444444444445e-05,
      "loss": 0.1264,
      "step": 2590
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.298695683479309,
      "learning_rate": 9.942222222222223e-05,
      "loss": 0.1055,
      "step": 2600
    },
    {
      "epoch": 0.348,
      "grad_norm": 0.798222005367279,
      "learning_rate": 9.942000000000001e-05,
      "loss": 0.105,
      "step": 2610
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 8.33980941772461,
      "learning_rate": 9.941777777777778e-05,
      "loss": 0.0925,
      "step": 2620
    },
    {
      "epoch": 0.3506666666666667,
      "grad_norm": 2.1547276973724365,
      "learning_rate": 9.941555555555556e-05,
      "loss": 0.0919,
      "step": 2630
    },
    {
      "epoch": 0.352,
      "grad_norm": 1.6626347303390503,
      "learning_rate": 9.941333333333334e-05,
      "loss": 0.1226,
      "step": 2640
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 0.9192138910293579,
      "learning_rate": 9.941111111111112e-05,
      "loss": 0.107,
      "step": 2650
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 1.775740385055542,
      "learning_rate": 9.94088888888889e-05,
      "loss": 0.1131,
      "step": 2660
    },
    {
      "epoch": 0.356,
      "grad_norm": 0.8491054177284241,
      "learning_rate": 9.940666666666667e-05,
      "loss": 0.1167,
      "step": 2670
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 0.8910161256790161,
      "learning_rate": 9.940444444444445e-05,
      "loss": 0.1149,
      "step": 2680
    },
    {
      "epoch": 0.3586666666666667,
      "grad_norm": 1.7990565299987793,
      "learning_rate": 9.940222222222223e-05,
      "loss": 0.0911,
      "step": 2690
    },
    {
      "epoch": 0.36,
      "grad_norm": 1.0295826196670532,
      "learning_rate": 9.94e-05,
      "loss": 0.125,
      "step": 2700
    },
    {
      "epoch": 0.36133333333333334,
      "grad_norm": 0.6805565357208252,
      "learning_rate": 9.939777777777778e-05,
      "loss": 0.1128,
      "step": 2710
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 0.9831758737564087,
      "learning_rate": 9.939555555555556e-05,
      "loss": 0.098,
      "step": 2720
    },
    {
      "epoch": 0.364,
      "grad_norm": 1.1854010820388794,
      "learning_rate": 9.939333333333334e-05,
      "loss": 0.1213,
      "step": 2730
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 0.7071068286895752,
      "learning_rate": 9.939111111111111e-05,
      "loss": 0.0894,
      "step": 2740
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 1.9046598672866821,
      "learning_rate": 9.93888888888889e-05,
      "loss": 0.1072,
      "step": 2750
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.8206945061683655,
      "learning_rate": 9.938666666666667e-05,
      "loss": 0.0997,
      "step": 2760
    },
    {
      "epoch": 0.36933333333333335,
      "grad_norm": 0.6068432331085205,
      "learning_rate": 9.938444444444445e-05,
      "loss": 0.0877,
      "step": 2770
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 1.0231999158859253,
      "learning_rate": 9.938222222222224e-05,
      "loss": 0.1255,
      "step": 2780
    },
    {
      "epoch": 0.372,
      "grad_norm": 0.9197781085968018,
      "learning_rate": 9.938e-05,
      "loss": 0.0955,
      "step": 2790
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 1.718780279159546,
      "learning_rate": 9.937777777777778e-05,
      "loss": 0.0876,
      "step": 2800
    },
    {
      "epoch": 0.37466666666666665,
      "grad_norm": 1.3364413976669312,
      "learning_rate": 9.937555555555556e-05,
      "loss": 0.0845,
      "step": 2810
    },
    {
      "epoch": 0.376,
      "grad_norm": 1.872511386871338,
      "learning_rate": 9.937333333333335e-05,
      "loss": 0.1273,
      "step": 2820
    },
    {
      "epoch": 0.37733333333333335,
      "grad_norm": 1.113970160484314,
      "learning_rate": 9.937111111111111e-05,
      "loss": 0.1185,
      "step": 2830
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 0.44484978914260864,
      "learning_rate": 9.936888888888889e-05,
      "loss": 0.1048,
      "step": 2840
    },
    {
      "epoch": 0.38,
      "grad_norm": 1.079498291015625,
      "learning_rate": 9.936666666666668e-05,
      "loss": 0.1246,
      "step": 2850
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 2.0423152446746826,
      "learning_rate": 9.936444444444444e-05,
      "loss": 0.1395,
      "step": 2860
    },
    {
      "epoch": 0.38266666666666665,
      "grad_norm": 1.1840728521347046,
      "learning_rate": 9.936222222222222e-05,
      "loss": 0.11,
      "step": 2870
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.8897122740745544,
      "learning_rate": 9.936000000000001e-05,
      "loss": 0.1236,
      "step": 2880
    },
    {
      "epoch": 0.38533333333333336,
      "grad_norm": 1.1051719188690186,
      "learning_rate": 9.935777777777779e-05,
      "loss": 0.114,
      "step": 2890
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 1.1279494762420654,
      "learning_rate": 9.935555555555555e-05,
      "loss": 0.0967,
      "step": 2900
    },
    {
      "epoch": 0.388,
      "grad_norm": 1.0908057689666748,
      "learning_rate": 9.935333333333334e-05,
      "loss": 0.0792,
      "step": 2910
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 7.210697174072266,
      "learning_rate": 9.935111111111112e-05,
      "loss": 0.1217,
      "step": 2920
    },
    {
      "epoch": 0.39066666666666666,
      "grad_norm": 0.5638711452484131,
      "learning_rate": 9.93488888888889e-05,
      "loss": 0.0998,
      "step": 2930
    },
    {
      "epoch": 0.392,
      "grad_norm": 1.3134998083114624,
      "learning_rate": 9.934666666666668e-05,
      "loss": 0.0935,
      "step": 2940
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 1.4157061576843262,
      "learning_rate": 9.934444444444445e-05,
      "loss": 0.0995,
      "step": 2950
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 1.2417666912078857,
      "learning_rate": 9.934222222222223e-05,
      "loss": 0.1024,
      "step": 2960
    },
    {
      "epoch": 0.396,
      "grad_norm": 1.2434144020080566,
      "learning_rate": 9.934e-05,
      "loss": 0.1087,
      "step": 2970
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 0.9584165215492249,
      "learning_rate": 9.933777777777779e-05,
      "loss": 0.1135,
      "step": 2980
    },
    {
      "epoch": 0.39866666666666667,
      "grad_norm": 0.7711732983589172,
      "learning_rate": 9.933555555555556e-05,
      "loss": 0.1158,
      "step": 2990
    },
    {
      "epoch": 0.4,
      "grad_norm": 2.9095685482025146,
      "learning_rate": 9.933333333333334e-05,
      "loss": 0.1671,
      "step": 3000
    },
    {
      "epoch": 0.4013333333333333,
      "grad_norm": 1.9077868461608887,
      "learning_rate": 9.933111111111112e-05,
      "loss": 0.0934,
      "step": 3010
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 0.7859551310539246,
      "learning_rate": 9.93288888888889e-05,
      "loss": 0.1057,
      "step": 3020
    },
    {
      "epoch": 0.404,
      "grad_norm": 2.016464948654175,
      "learning_rate": 9.932666666666667e-05,
      "loss": 0.0976,
      "step": 3030
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 1.4487969875335693,
      "learning_rate": 9.932444444444445e-05,
      "loss": 0.0897,
      "step": 3040
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 1.478639841079712,
      "learning_rate": 9.932222222222223e-05,
      "loss": 0.0971,
      "step": 3050
    },
    {
      "epoch": 0.408,
      "grad_norm": 1.1708118915557861,
      "learning_rate": 9.932e-05,
      "loss": 0.1048,
      "step": 3060
    },
    {
      "epoch": 0.4093333333333333,
      "grad_norm": 0.8421456813812256,
      "learning_rate": 9.931777777777778e-05,
      "loss": 0.0981,
      "step": 3070
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 0.5959034562110901,
      "learning_rate": 9.931555555555556e-05,
      "loss": 0.0997,
      "step": 3080
    },
    {
      "epoch": 0.412,
      "grad_norm": 0.5151021480560303,
      "learning_rate": 9.931333333333334e-05,
      "loss": 0.1079,
      "step": 3090
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 1.8797527551651,
      "learning_rate": 9.931111111111111e-05,
      "loss": 0.1004,
      "step": 3100
    },
    {
      "epoch": 0.4146666666666667,
      "grad_norm": 2.05338454246521,
      "learning_rate": 9.930888888888889e-05,
      "loss": 0.1081,
      "step": 3110
    },
    {
      "epoch": 0.416,
      "grad_norm": 1.0753554105758667,
      "learning_rate": 9.930666666666667e-05,
      "loss": 0.1023,
      "step": 3120
    },
    {
      "epoch": 0.41733333333333333,
      "grad_norm": 1.569658637046814,
      "learning_rate": 9.930444444444445e-05,
      "loss": 0.0886,
      "step": 3130
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 0.7447003126144409,
      "learning_rate": 9.930222222222222e-05,
      "loss": 0.096,
      "step": 3140
    },
    {
      "epoch": 0.42,
      "grad_norm": 1.636244773864746,
      "learning_rate": 9.93e-05,
      "loss": 0.0892,
      "step": 3150
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 1.6114140748977661,
      "learning_rate": 9.929777777777778e-05,
      "loss": 0.0973,
      "step": 3160
    },
    {
      "epoch": 0.4226666666666667,
      "grad_norm": 0.4219900071620941,
      "learning_rate": 9.929555555555557e-05,
      "loss": 0.1015,
      "step": 3170
    },
    {
      "epoch": 0.424,
      "grad_norm": 1.0078729391098022,
      "learning_rate": 9.929333333333333e-05,
      "loss": 0.1067,
      "step": 3180
    },
    {
      "epoch": 0.42533333333333334,
      "grad_norm": 1.1329030990600586,
      "learning_rate": 9.929111111111111e-05,
      "loss": 0.1093,
      "step": 3190
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.9277294874191284,
      "learning_rate": 9.92888888888889e-05,
      "loss": 0.1045,
      "step": 3200
    },
    {
      "epoch": 0.428,
      "grad_norm": 0.44355538487434387,
      "learning_rate": 9.928666666666667e-05,
      "loss": 0.1257,
      "step": 3210
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 0.49653300642967224,
      "learning_rate": 9.928444444444444e-05,
      "loss": 0.0771,
      "step": 3220
    },
    {
      "epoch": 0.43066666666666664,
      "grad_norm": 1.585363745689392,
      "learning_rate": 9.928222222222223e-05,
      "loss": 0.0824,
      "step": 3230
    },
    {
      "epoch": 0.432,
      "grad_norm": 1.2164541482925415,
      "learning_rate": 9.928000000000001e-05,
      "loss": 0.0949,
      "step": 3240
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 0.8850192427635193,
      "learning_rate": 9.927777777777778e-05,
      "loss": 0.0914,
      "step": 3250
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 1.3141812086105347,
      "learning_rate": 9.927555555555555e-05,
      "loss": 0.0956,
      "step": 3260
    },
    {
      "epoch": 0.436,
      "grad_norm": 1.7607249021530151,
      "learning_rate": 9.927333333333334e-05,
      "loss": 0.0889,
      "step": 3270
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 0.5584086179733276,
      "learning_rate": 9.927111111111112e-05,
      "loss": 0.1265,
      "step": 3280
    },
    {
      "epoch": 0.43866666666666665,
      "grad_norm": 29.92966079711914,
      "learning_rate": 9.926888888888889e-05,
      "loss": 0.1301,
      "step": 3290
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.553676187992096,
      "learning_rate": 9.926666666666668e-05,
      "loss": 0.0975,
      "step": 3300
    },
    {
      "epoch": 0.44133333333333336,
      "grad_norm": 2.0179483890533447,
      "learning_rate": 9.926444444444445e-05,
      "loss": 0.1222,
      "step": 3310
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 1.0711275339126587,
      "learning_rate": 9.926222222222222e-05,
      "loss": 0.081,
      "step": 3320
    },
    {
      "epoch": 0.444,
      "grad_norm": 1.1256773471832275,
      "learning_rate": 9.926000000000001e-05,
      "loss": 0.1035,
      "step": 3330
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 1.1552091836929321,
      "learning_rate": 9.925777777777779e-05,
      "loss": 0.0815,
      "step": 3340
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 1.2391788959503174,
      "learning_rate": 9.925555555555556e-05,
      "loss": 0.0912,
      "step": 3350
    },
    {
      "epoch": 0.448,
      "grad_norm": 1.465631127357483,
      "learning_rate": 9.925333333333334e-05,
      "loss": 0.0858,
      "step": 3360
    },
    {
      "epoch": 0.4493333333333333,
      "grad_norm": 2.1897242069244385,
      "learning_rate": 9.925111111111112e-05,
      "loss": 0.0927,
      "step": 3370
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 2.676957607269287,
      "learning_rate": 9.92488888888889e-05,
      "loss": 0.1003,
      "step": 3380
    },
    {
      "epoch": 0.452,
      "grad_norm": 1.3922430276870728,
      "learning_rate": 9.924666666666667e-05,
      "loss": 0.1012,
      "step": 3390
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.2120903730392456,
      "learning_rate": 9.924444444444445e-05,
      "loss": 0.1094,
      "step": 3400
    },
    {
      "epoch": 0.45466666666666666,
      "grad_norm": 0.646141767501831,
      "learning_rate": 9.924222222222223e-05,
      "loss": 0.0816,
      "step": 3410
    },
    {
      "epoch": 0.456,
      "grad_norm": 1.447167158126831,
      "learning_rate": 9.924e-05,
      "loss": 0.0883,
      "step": 3420
    },
    {
      "epoch": 0.4573333333333333,
      "grad_norm": 0.5088254809379578,
      "learning_rate": 9.923777777777778e-05,
      "loss": 0.1023,
      "step": 3430
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 1.4637246131896973,
      "learning_rate": 9.923555555555556e-05,
      "loss": 0.0728,
      "step": 3440
    },
    {
      "epoch": 0.46,
      "grad_norm": 1.0883424282073975,
      "learning_rate": 9.923333333333334e-05,
      "loss": 0.0786,
      "step": 3450
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 1.2861618995666504,
      "learning_rate": 9.923111111111111e-05,
      "loss": 0.1126,
      "step": 3460
    },
    {
      "epoch": 0.46266666666666667,
      "grad_norm": 1.1956671476364136,
      "learning_rate": 9.922888888888889e-05,
      "loss": 0.0748,
      "step": 3470
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.8144236207008362,
      "learning_rate": 9.922666666666667e-05,
      "loss": 0.0912,
      "step": 3480
    },
    {
      "epoch": 0.4653333333333333,
      "grad_norm": 2.1807861328125,
      "learning_rate": 9.922444444444445e-05,
      "loss": 0.0902,
      "step": 3490
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 1.3751320838928223,
      "learning_rate": 9.922222222222222e-05,
      "loss": 0.1077,
      "step": 3500
    },
    {
      "epoch": 0.468,
      "grad_norm": 1.6140652894973755,
      "learning_rate": 9.922e-05,
      "loss": 0.0801,
      "step": 3510
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.6685134172439575,
      "learning_rate": 9.921777777777779e-05,
      "loss": 0.0843,
      "step": 3520
    },
    {
      "epoch": 0.4706666666666667,
      "grad_norm": 1.7181510925292969,
      "learning_rate": 9.921555555555556e-05,
      "loss": 0.0849,
      "step": 3530
    },
    {
      "epoch": 0.472,
      "grad_norm": 1.6907360553741455,
      "learning_rate": 9.921333333333333e-05,
      "loss": 0.1145,
      "step": 3540
    },
    {
      "epoch": 0.47333333333333333,
      "grad_norm": 0.6039943099021912,
      "learning_rate": 9.921111111111113e-05,
      "loss": 0.0838,
      "step": 3550
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 1.6950740814208984,
      "learning_rate": 9.920888888888889e-05,
      "loss": 0.0666,
      "step": 3560
    },
    {
      "epoch": 0.476,
      "grad_norm": 1.0283665657043457,
      "learning_rate": 9.920666666666667e-05,
      "loss": 0.0829,
      "step": 3570
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 0.9918019771575928,
      "learning_rate": 9.920444444444444e-05,
      "loss": 0.0778,
      "step": 3580
    },
    {
      "epoch": 0.4786666666666667,
      "grad_norm": 3.9762635231018066,
      "learning_rate": 9.920222222222224e-05,
      "loss": 0.1161,
      "step": 3590
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.6293671131134033,
      "learning_rate": 9.92e-05,
      "loss": 0.1014,
      "step": 3600
    },
    {
      "epoch": 0.48133333333333334,
      "grad_norm": 0.798527717590332,
      "learning_rate": 9.919777777777778e-05,
      "loss": 0.152,
      "step": 3610
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 0.4268362522125244,
      "learning_rate": 9.919555555555557e-05,
      "loss": 0.0844,
      "step": 3620
    },
    {
      "epoch": 0.484,
      "grad_norm": 1.2350057363510132,
      "learning_rate": 9.919333333333334e-05,
      "loss": 0.0875,
      "step": 3630
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 0.8914694786071777,
      "learning_rate": 9.919111111111111e-05,
      "loss": 0.0916,
      "step": 3640
    },
    {
      "epoch": 0.4866666666666667,
      "grad_norm": 1.7474536895751953,
      "learning_rate": 9.91888888888889e-05,
      "loss": 0.0892,
      "step": 3650
    },
    {
      "epoch": 0.488,
      "grad_norm": 1.1896493434906006,
      "learning_rate": 9.918666666666668e-05,
      "loss": 0.0754,
      "step": 3660
    },
    {
      "epoch": 0.48933333333333334,
      "grad_norm": 0.6124624013900757,
      "learning_rate": 9.918444444444444e-05,
      "loss": 0.0699,
      "step": 3670
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 1.3033945560455322,
      "learning_rate": 9.918222222222223e-05,
      "loss": 0.0674,
      "step": 3680
    },
    {
      "epoch": 0.492,
      "grad_norm": 1.4921709299087524,
      "learning_rate": 9.918000000000001e-05,
      "loss": 0.0902,
      "step": 3690
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 0.7547575235366821,
      "learning_rate": 9.917777777777779e-05,
      "loss": 0.0937,
      "step": 3700
    },
    {
      "epoch": 0.49466666666666664,
      "grad_norm": 1.6538538932800293,
      "learning_rate": 9.917555555555555e-05,
      "loss": 0.0934,
      "step": 3710
    },
    {
      "epoch": 0.496,
      "grad_norm": 3.6821482181549072,
      "learning_rate": 9.917333333333334e-05,
      "loss": 0.1438,
      "step": 3720
    },
    {
      "epoch": 0.49733333333333335,
      "grad_norm": 0.8925426602363586,
      "learning_rate": 9.917111111111112e-05,
      "loss": 0.1023,
      "step": 3730
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 0.901928186416626,
      "learning_rate": 9.916888888888888e-05,
      "loss": 0.102,
      "step": 3740
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.8272173404693604,
      "learning_rate": 9.916666666666667e-05,
      "loss": 0.0917,
      "step": 3750
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 1.6781134605407715,
      "learning_rate": 9.916444444444445e-05,
      "loss": 0.1018,
      "step": 3760
    },
    {
      "epoch": 0.5026666666666667,
      "grad_norm": 1.250504970550537,
      "learning_rate": 9.916222222222223e-05,
      "loss": 0.1122,
      "step": 3770
    },
    {
      "epoch": 0.504,
      "grad_norm": 2.0496816635131836,
      "learning_rate": 9.916e-05,
      "loss": 0.0864,
      "step": 3780
    },
    {
      "epoch": 0.5053333333333333,
      "grad_norm": 1.4105262756347656,
      "learning_rate": 9.915777777777778e-05,
      "loss": 0.0793,
      "step": 3790
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.8541769981384277,
      "learning_rate": 9.915555555555556e-05,
      "loss": 0.1027,
      "step": 3800
    },
    {
      "epoch": 0.508,
      "grad_norm": 1.3333899974822998,
      "learning_rate": 9.915333333333334e-05,
      "loss": 0.0814,
      "step": 3810
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 1.1127281188964844,
      "learning_rate": 9.915111111111112e-05,
      "loss": 0.0874,
      "step": 3820
    },
    {
      "epoch": 0.5106666666666667,
      "grad_norm": 2.0175838470458984,
      "learning_rate": 9.914888888888889e-05,
      "loss": 0.081,
      "step": 3830
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.9904997944831848,
      "learning_rate": 9.914666666666667e-05,
      "loss": 0.0909,
      "step": 3840
    },
    {
      "epoch": 0.5133333333333333,
      "grad_norm": 0.7246854305267334,
      "learning_rate": 9.914444444444445e-05,
      "loss": 0.0778,
      "step": 3850
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 1.3408793210983276,
      "learning_rate": 9.914222222222223e-05,
      "loss": 0.0904,
      "step": 3860
    },
    {
      "epoch": 0.516,
      "grad_norm": 1.2313319444656372,
      "learning_rate": 9.914e-05,
      "loss": 0.0872,
      "step": 3870
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 11.056621551513672,
      "learning_rate": 9.913777777777778e-05,
      "loss": 0.0769,
      "step": 3880
    },
    {
      "epoch": 0.5186666666666667,
      "grad_norm": 1.0168440341949463,
      "learning_rate": 9.913555555555556e-05,
      "loss": 0.0817,
      "step": 3890
    },
    {
      "epoch": 0.52,
      "grad_norm": 1.4095379114151,
      "learning_rate": 9.913333333333334e-05,
      "loss": 0.0777,
      "step": 3900
    },
    {
      "epoch": 0.5213333333333333,
      "grad_norm": 1.7230075597763062,
      "learning_rate": 9.913111111111111e-05,
      "loss": 0.0758,
      "step": 3910
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 0.9007907509803772,
      "learning_rate": 9.912888888888889e-05,
      "loss": 0.0809,
      "step": 3920
    },
    {
      "epoch": 0.524,
      "grad_norm": 0.7360517382621765,
      "learning_rate": 9.912666666666667e-05,
      "loss": 0.0784,
      "step": 3930
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 1.250002145767212,
      "learning_rate": 9.912444444444446e-05,
      "loss": 0.0851,
      "step": 3940
    },
    {
      "epoch": 0.5266666666666666,
      "grad_norm": 1.3596278429031372,
      "learning_rate": 9.912222222222222e-05,
      "loss": 0.0678,
      "step": 3950
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.9536986947059631,
      "learning_rate": 9.912e-05,
      "loss": 0.0878,
      "step": 3960
    },
    {
      "epoch": 0.5293333333333333,
      "grad_norm": 1.8203736543655396,
      "learning_rate": 9.911777777777779e-05,
      "loss": 0.0935,
      "step": 3970
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 1.0500279664993286,
      "learning_rate": 9.911555555555557e-05,
      "loss": 0.0743,
      "step": 3980
    },
    {
      "epoch": 0.532,
      "grad_norm": 4.265785217285156,
      "learning_rate": 9.911333333333333e-05,
      "loss": 0.0691,
      "step": 3990
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.2189041376113892,
      "learning_rate": 9.911111111111112e-05,
      "loss": 0.0839,
      "step": 4000
    },
    {
      "epoch": 0.5346666666666666,
      "grad_norm": 0.814054012298584,
      "learning_rate": 9.91088888888889e-05,
      "loss": 0.0859,
      "step": 4010
    },
    {
      "epoch": 0.536,
      "grad_norm": 1.451371669769287,
      "learning_rate": 9.910666666666666e-05,
      "loss": 0.0752,
      "step": 4020
    },
    {
      "epoch": 0.5373333333333333,
      "grad_norm": 1.6973726749420166,
      "learning_rate": 9.910444444444444e-05,
      "loss": 0.0849,
      "step": 4030
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 1.116235613822937,
      "learning_rate": 9.910222222222223e-05,
      "loss": 0.097,
      "step": 4040
    },
    {
      "epoch": 0.54,
      "grad_norm": 0.8130321502685547,
      "learning_rate": 9.910000000000001e-05,
      "loss": 0.1026,
      "step": 4050
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 1.1089866161346436,
      "learning_rate": 9.909777777777777e-05,
      "loss": 0.0818,
      "step": 4060
    },
    {
      "epoch": 0.5426666666666666,
      "grad_norm": 0.9201578497886658,
      "learning_rate": 9.909555555555556e-05,
      "loss": 0.1161,
      "step": 4070
    },
    {
      "epoch": 0.544,
      "grad_norm": 1.0992608070373535,
      "learning_rate": 9.909333333333334e-05,
      "loss": 0.065,
      "step": 4080
    },
    {
      "epoch": 0.5453333333333333,
      "grad_norm": 1.213595986366272,
      "learning_rate": 9.90911111111111e-05,
      "loss": 0.0742,
      "step": 4090
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 1.0088045597076416,
      "learning_rate": 9.90888888888889e-05,
      "loss": 0.088,
      "step": 4100
    },
    {
      "epoch": 0.548,
      "grad_norm": 0.9481711387634277,
      "learning_rate": 9.908666666666667e-05,
      "loss": 0.0754,
      "step": 4110
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 1.1252915859222412,
      "learning_rate": 9.908444444444445e-05,
      "loss": 0.0698,
      "step": 4120
    },
    {
      "epoch": 0.5506666666666666,
      "grad_norm": 0.40855276584625244,
      "learning_rate": 9.908222222222223e-05,
      "loss": 0.0971,
      "step": 4130
    },
    {
      "epoch": 0.552,
      "grad_norm": 1.2411531209945679,
      "learning_rate": 9.908000000000001e-05,
      "loss": 0.0712,
      "step": 4140
    },
    {
      "epoch": 0.5533333333333333,
      "grad_norm": 1.6249353885650635,
      "learning_rate": 9.907777777777778e-05,
      "loss": 0.0846,
      "step": 4150
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 1.0335073471069336,
      "learning_rate": 9.907555555555555e-05,
      "loss": 0.067,
      "step": 4160
    },
    {
      "epoch": 0.556,
      "grad_norm": 0.44787973165512085,
      "learning_rate": 9.907333333333334e-05,
      "loss": 0.0805,
      "step": 4170
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 0.8303493857383728,
      "learning_rate": 9.907111111111112e-05,
      "loss": 0.0979,
      "step": 4180
    },
    {
      "epoch": 0.5586666666666666,
      "grad_norm": 0.6254079937934875,
      "learning_rate": 9.90688888888889e-05,
      "loss": 0.0672,
      "step": 4190
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.6740964651107788,
      "learning_rate": 9.906666666666667e-05,
      "loss": 0.0622,
      "step": 4200
    },
    {
      "epoch": 0.5613333333333334,
      "grad_norm": 1.4325916767120361,
      "learning_rate": 9.906444444444445e-05,
      "loss": 0.0828,
      "step": 4210
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 0.7374334931373596,
      "learning_rate": 9.906222222222223e-05,
      "loss": 0.0876,
      "step": 4220
    },
    {
      "epoch": 0.564,
      "grad_norm": 4.864293098449707,
      "learning_rate": 9.906e-05,
      "loss": 0.084,
      "step": 4230
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 14.621661186218262,
      "learning_rate": 9.905777777777778e-05,
      "loss": 0.0788,
      "step": 4240
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 5.181298732757568,
      "learning_rate": 9.905555555555556e-05,
      "loss": 0.0624,
      "step": 4250
    },
    {
      "epoch": 0.568,
      "grad_norm": 1.3947412967681885,
      "learning_rate": 9.905333333333334e-05,
      "loss": 0.0936,
      "step": 4260
    },
    {
      "epoch": 0.5693333333333334,
      "grad_norm": 0.5279024243354797,
      "learning_rate": 9.905111111111111e-05,
      "loss": 0.0773,
      "step": 4270
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 0.7283459305763245,
      "learning_rate": 9.904888888888889e-05,
      "loss": 0.063,
      "step": 4280
    },
    {
      "epoch": 0.572,
      "grad_norm": 0.888583779335022,
      "learning_rate": 9.904666666666668e-05,
      "loss": 0.0693,
      "step": 4290
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 6.518558979034424,
      "learning_rate": 9.904444444444445e-05,
      "loss": 0.0786,
      "step": 4300
    },
    {
      "epoch": 0.5746666666666667,
      "grad_norm": 0.6592569351196289,
      "learning_rate": 9.904222222222222e-05,
      "loss": 0.0805,
      "step": 4310
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.9643176198005676,
      "learning_rate": 9.904e-05,
      "loss": 0.0842,
      "step": 4320
    },
    {
      "epoch": 0.5773333333333334,
      "grad_norm": 0.7435392141342163,
      "learning_rate": 9.903777777777779e-05,
      "loss": 0.0761,
      "step": 4330
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 0.8536357283592224,
      "learning_rate": 9.903555555555556e-05,
      "loss": 0.0742,
      "step": 4340
    },
    {
      "epoch": 0.58,
      "grad_norm": 0.8575109243392944,
      "learning_rate": 9.903333333333333e-05,
      "loss": 0.0977,
      "step": 4350
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 0.8496761322021484,
      "learning_rate": 9.903111111111112e-05,
      "loss": 0.081,
      "step": 4360
    },
    {
      "epoch": 0.5826666666666667,
      "grad_norm": 1.9941563606262207,
      "learning_rate": 9.902888888888889e-05,
      "loss": 0.0714,
      "step": 4370
    },
    {
      "epoch": 0.584,
      "grad_norm": 1.0885767936706543,
      "learning_rate": 9.902666666666666e-05,
      "loss": 0.0744,
      "step": 4380
    },
    {
      "epoch": 0.5853333333333334,
      "grad_norm": 0.6355303525924683,
      "learning_rate": 9.902444444444446e-05,
      "loss": 0.0809,
      "step": 4390
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.8830181360244751,
      "learning_rate": 9.902222222222223e-05,
      "loss": 0.0809,
      "step": 4400
    },
    {
      "epoch": 0.588,
      "grad_norm": 7.2263946533203125,
      "learning_rate": 9.902e-05,
      "loss": 0.086,
      "step": 4410
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 1.0608127117156982,
      "learning_rate": 9.901777777777779e-05,
      "loss": 0.0792,
      "step": 4420
    },
    {
      "epoch": 0.5906666666666667,
      "grad_norm": 0.5051277279853821,
      "learning_rate": 9.901555555555557e-05,
      "loss": 0.099,
      "step": 4430
    },
    {
      "epoch": 0.592,
      "grad_norm": 2.1515567302703857,
      "learning_rate": 9.901333333333333e-05,
      "loss": 0.0912,
      "step": 4440
    },
    {
      "epoch": 0.5933333333333334,
      "grad_norm": 1.0216975212097168,
      "learning_rate": 9.901111111111112e-05,
      "loss": 0.0827,
      "step": 4450
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 1.6986591815948486,
      "learning_rate": 9.90088888888889e-05,
      "loss": 0.0709,
      "step": 4460
    },
    {
      "epoch": 0.596,
      "grad_norm": 1.2355376482009888,
      "learning_rate": 9.900666666666668e-05,
      "loss": 0.0562,
      "step": 4470
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 1.3656949996948242,
      "learning_rate": 9.900444444444444e-05,
      "loss": 0.0778,
      "step": 4480
    },
    {
      "epoch": 0.5986666666666667,
      "grad_norm": 0.7028817534446716,
      "learning_rate": 9.900222222222223e-05,
      "loss": 0.0717,
      "step": 4490
    },
    {
      "epoch": 0.6,
      "grad_norm": 1.1450334787368774,
      "learning_rate": 9.900000000000001e-05,
      "loss": 0.0816,
      "step": 4500
    },
    {
      "epoch": 0.6013333333333334,
      "grad_norm": 1.108025074005127,
      "learning_rate": 9.899777777777777e-05,
      "loss": 0.0567,
      "step": 4510
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 1.0815520286560059,
      "learning_rate": 9.899555555555556e-05,
      "loss": 0.0601,
      "step": 4520
    },
    {
      "epoch": 0.604,
      "grad_norm": 0.7741544246673584,
      "learning_rate": 9.899333333333334e-05,
      "loss": 0.0794,
      "step": 4530
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 1.7468352317810059,
      "learning_rate": 9.899111111111112e-05,
      "loss": 0.0585,
      "step": 4540
    },
    {
      "epoch": 0.6066666666666667,
      "grad_norm": 0.702154815196991,
      "learning_rate": 9.89888888888889e-05,
      "loss": 0.0831,
      "step": 4550
    },
    {
      "epoch": 0.608,
      "grad_norm": 1.6386610269546509,
      "learning_rate": 9.898666666666667e-05,
      "loss": 0.0755,
      "step": 4560
    },
    {
      "epoch": 0.6093333333333333,
      "grad_norm": 0.9497695565223694,
      "learning_rate": 9.898444444444445e-05,
      "loss": 0.0684,
      "step": 4570
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 0.5371299386024475,
      "learning_rate": 9.898222222222223e-05,
      "loss": 0.0879,
      "step": 4580
    },
    {
      "epoch": 0.612,
      "grad_norm": 0.7561661601066589,
      "learning_rate": 9.898e-05,
      "loss": 0.094,
      "step": 4590
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 1.083823561668396,
      "learning_rate": 9.897777777777778e-05,
      "loss": 0.0797,
      "step": 4600
    },
    {
      "epoch": 0.6146666666666667,
      "grad_norm": 1.0161411762237549,
      "learning_rate": 9.897555555555556e-05,
      "loss": 0.0694,
      "step": 4610
    },
    {
      "epoch": 0.616,
      "grad_norm": 0.6583910584449768,
      "learning_rate": 9.897333333333334e-05,
      "loss": 0.0543,
      "step": 4620
    },
    {
      "epoch": 0.6173333333333333,
      "grad_norm": 1.055956244468689,
      "learning_rate": 9.897111111111111e-05,
      "loss": 0.076,
      "step": 4630
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 0.5072523951530457,
      "learning_rate": 9.896888888888889e-05,
      "loss": 0.063,
      "step": 4640
    },
    {
      "epoch": 0.62,
      "grad_norm": 1.4609432220458984,
      "learning_rate": 9.896666666666667e-05,
      "loss": 0.0833,
      "step": 4650
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 1.2625014781951904,
      "learning_rate": 9.896444444444445e-05,
      "loss": 0.0822,
      "step": 4660
    },
    {
      "epoch": 0.6226666666666667,
      "grad_norm": 1.662933349609375,
      "learning_rate": 9.896222222222222e-05,
      "loss": 0.0538,
      "step": 4670
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.7844873070716858,
      "learning_rate": 9.896000000000001e-05,
      "loss": 0.0619,
      "step": 4680
    },
    {
      "epoch": 0.6253333333333333,
      "grad_norm": 3.5532381534576416,
      "learning_rate": 9.895777777777778e-05,
      "loss": 0.0803,
      "step": 4690
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 0.9843984246253967,
      "learning_rate": 9.895555555555556e-05,
      "loss": 0.0804,
      "step": 4700
    },
    {
      "epoch": 0.628,
      "grad_norm": 0.5253404378890991,
      "learning_rate": 9.895333333333335e-05,
      "loss": 0.0669,
      "step": 4710
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 1.24461030960083,
      "learning_rate": 9.895111111111111e-05,
      "loss": 0.0957,
      "step": 4720
    },
    {
      "epoch": 0.6306666666666667,
      "grad_norm": 7.229315757751465,
      "learning_rate": 9.894888888888889e-05,
      "loss": 0.089,
      "step": 4730
    },
    {
      "epoch": 0.632,
      "grad_norm": 0.6598519682884216,
      "learning_rate": 9.894666666666668e-05,
      "loss": 0.0591,
      "step": 4740
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 1.0435656309127808,
      "learning_rate": 9.894444444444446e-05,
      "loss": 0.0821,
      "step": 4750
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 0.5706807971000671,
      "learning_rate": 9.894222222222222e-05,
      "loss": 0.0712,
      "step": 4760
    },
    {
      "epoch": 0.636,
      "grad_norm": 0.6817865371704102,
      "learning_rate": 9.894e-05,
      "loss": 0.0672,
      "step": 4770
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 0.7903177738189697,
      "learning_rate": 9.893777777777779e-05,
      "loss": 0.0812,
      "step": 4780
    },
    {
      "epoch": 0.6386666666666667,
      "grad_norm": 1.5816242694854736,
      "learning_rate": 9.893555555555555e-05,
      "loss": 0.065,
      "step": 4790
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.6889087557792664,
      "learning_rate": 9.893333333333333e-05,
      "loss": 0.0591,
      "step": 4800
    },
    {
      "epoch": 0.6413333333333333,
      "grad_norm": 1.7661824226379395,
      "learning_rate": 9.893111111111112e-05,
      "loss": 0.0604,
      "step": 4810
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 1.5524704456329346,
      "learning_rate": 9.89288888888889e-05,
      "loss": 0.0702,
      "step": 4820
    },
    {
      "epoch": 0.644,
      "grad_norm": 1.2467689514160156,
      "learning_rate": 9.892666666666666e-05,
      "loss": 0.0723,
      "step": 4830
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 1.8355852365493774,
      "learning_rate": 9.892444444444445e-05,
      "loss": 0.0848,
      "step": 4840
    },
    {
      "epoch": 0.6466666666666666,
      "grad_norm": 0.7943950295448303,
      "learning_rate": 9.892222222222223e-05,
      "loss": 0.0561,
      "step": 4850
    },
    {
      "epoch": 0.648,
      "grad_norm": 0.8009276986122131,
      "learning_rate": 9.892e-05,
      "loss": 0.0712,
      "step": 4860
    },
    {
      "epoch": 0.6493333333333333,
      "grad_norm": 1.7242614030838013,
      "learning_rate": 9.891777777777779e-05,
      "loss": 0.0719,
      "step": 4870
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 1.0532200336456299,
      "learning_rate": 9.891555555555556e-05,
      "loss": 0.0553,
      "step": 4880
    },
    {
      "epoch": 0.652,
      "grad_norm": 0.5502980351448059,
      "learning_rate": 9.891333333333334e-05,
      "loss": 0.0758,
      "step": 4890
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 0.8780155181884766,
      "learning_rate": 9.891111111111112e-05,
      "loss": 0.0636,
      "step": 4900
    },
    {
      "epoch": 0.6546666666666666,
      "grad_norm": 1.198667049407959,
      "learning_rate": 9.89088888888889e-05,
      "loss": 0.0704,
      "step": 4910
    },
    {
      "epoch": 0.656,
      "grad_norm": 1.7296254634857178,
      "learning_rate": 9.890666666666667e-05,
      "loss": 0.0546,
      "step": 4920
    },
    {
      "epoch": 0.6573333333333333,
      "grad_norm": 0.7506304979324341,
      "learning_rate": 9.890444444444445e-05,
      "loss": 0.0701,
      "step": 4930
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 1.6364182233810425,
      "learning_rate": 9.890222222222223e-05,
      "loss": 0.0865,
      "step": 4940
    },
    {
      "epoch": 0.66,
      "grad_norm": 1.3800963163375854,
      "learning_rate": 9.89e-05,
      "loss": 0.0729,
      "step": 4950
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 0.8999227285385132,
      "learning_rate": 9.889777777777778e-05,
      "loss": 0.0516,
      "step": 4960
    },
    {
      "epoch": 0.6626666666666666,
      "grad_norm": 1.2454010248184204,
      "learning_rate": 9.889555555555556e-05,
      "loss": 0.0701,
      "step": 4970
    },
    {
      "epoch": 0.664,
      "grad_norm": 0.825029194355011,
      "learning_rate": 9.889333333333334e-05,
      "loss": 0.0825,
      "step": 4980
    },
    {
      "epoch": 0.6653333333333333,
      "grad_norm": 0.8503385782241821,
      "learning_rate": 9.889111111111111e-05,
      "loss": 0.0623,
      "step": 4990
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.4830940365791321,
      "learning_rate": 9.888888888888889e-05,
      "loss": 0.0662,
      "step": 5000
    },
    {
      "epoch": 0.668,
      "grad_norm": 1.1571002006530762,
      "learning_rate": 9.888666666666667e-05,
      "loss": 0.0723,
      "step": 5010
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 0.8973990082740784,
      "learning_rate": 9.888444444444445e-05,
      "loss": 0.0668,
      "step": 5020
    },
    {
      "epoch": 0.6706666666666666,
      "grad_norm": 0.7198801636695862,
      "learning_rate": 9.888222222222224e-05,
      "loss": 0.0659,
      "step": 5030
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.877153217792511,
      "learning_rate": 9.888e-05,
      "loss": 0.0847,
      "step": 5040
    },
    {
      "epoch": 0.6733333333333333,
      "grad_norm": 1.9808460474014282,
      "learning_rate": 9.887777777777778e-05,
      "loss": 0.0751,
      "step": 5050
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 2.863579750061035,
      "learning_rate": 9.887555555555557e-05,
      "loss": 0.0611,
      "step": 5060
    },
    {
      "epoch": 0.676,
      "grad_norm": 1.0237244367599487,
      "learning_rate": 9.887333333333333e-05,
      "loss": 0.0661,
      "step": 5070
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 1.5544228553771973,
      "learning_rate": 9.887111111111111e-05,
      "loss": 0.0738,
      "step": 5080
    },
    {
      "epoch": 0.6786666666666666,
      "grad_norm": 0.5475855469703674,
      "learning_rate": 9.886888888888889e-05,
      "loss": 0.075,
      "step": 5090
    },
    {
      "epoch": 0.68,
      "grad_norm": 1.6521382331848145,
      "learning_rate": 9.886666666666668e-05,
      "loss": 0.072,
      "step": 5100
    },
    {
      "epoch": 0.6813333333333333,
      "grad_norm": 0.909203827381134,
      "learning_rate": 9.886444444444444e-05,
      "loss": 0.068,
      "step": 5110
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 1.3592585325241089,
      "learning_rate": 9.886222222222222e-05,
      "loss": 0.0547,
      "step": 5120
    },
    {
      "epoch": 0.684,
      "grad_norm": 1.1830296516418457,
      "learning_rate": 9.886000000000001e-05,
      "loss": 0.072,
      "step": 5130
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 0.5222303867340088,
      "learning_rate": 9.885777777777778e-05,
      "loss": 0.0733,
      "step": 5140
    },
    {
      "epoch": 0.6866666666666666,
      "grad_norm": 2.8174941539764404,
      "learning_rate": 9.885555555555555e-05,
      "loss": 0.0965,
      "step": 5150
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.8058691024780273,
      "learning_rate": 9.885333333333334e-05,
      "loss": 0.0774,
      "step": 5160
    },
    {
      "epoch": 0.6893333333333334,
      "grad_norm": 1.046369194984436,
      "learning_rate": 9.885111111111112e-05,
      "loss": 0.0704,
      "step": 5170
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 0.6565622687339783,
      "learning_rate": 9.884888888888889e-05,
      "loss": 0.0829,
      "step": 5180
    },
    {
      "epoch": 0.692,
      "grad_norm": 2.173336982727051,
      "learning_rate": 9.884666666666668e-05,
      "loss": 0.0678,
      "step": 5190
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.9100716710090637,
      "learning_rate": 9.884444444444445e-05,
      "loss": 0.0537,
      "step": 5200
    },
    {
      "epoch": 0.6946666666666667,
      "grad_norm": 0.8691010475158691,
      "learning_rate": 9.884222222222223e-05,
      "loss": 0.0568,
      "step": 5210
    },
    {
      "epoch": 0.696,
      "grad_norm": 0.8698582649230957,
      "learning_rate": 9.884e-05,
      "loss": 0.0737,
      "step": 5220
    },
    {
      "epoch": 0.6973333333333334,
      "grad_norm": 3.788917064666748,
      "learning_rate": 9.883777777777779e-05,
      "loss": 0.0941,
      "step": 5230
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 1.2058990001678467,
      "learning_rate": 9.883555555555556e-05,
      "loss": 0.0672,
      "step": 5240
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.7346974015235901,
      "learning_rate": 9.883333333333333e-05,
      "loss": 0.0641,
      "step": 5250
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 0.48781198263168335,
      "learning_rate": 9.883111111111112e-05,
      "loss": 0.0894,
      "step": 5260
    },
    {
      "epoch": 0.7026666666666667,
      "grad_norm": 0.9177504181861877,
      "learning_rate": 9.88288888888889e-05,
      "loss": 0.0464,
      "step": 5270
    },
    {
      "epoch": 0.704,
      "grad_norm": 1.58726966381073,
      "learning_rate": 9.882666666666667e-05,
      "loss": 0.057,
      "step": 5280
    },
    {
      "epoch": 0.7053333333333334,
      "grad_norm": 0.7603155970573425,
      "learning_rate": 9.882444444444445e-05,
      "loss": 0.066,
      "step": 5290
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 0.717605471611023,
      "learning_rate": 9.882222222222223e-05,
      "loss": 0.0607,
      "step": 5300
    },
    {
      "epoch": 0.708,
      "grad_norm": 2.7885138988494873,
      "learning_rate": 9.882e-05,
      "loss": 0.0746,
      "step": 5310
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 0.37282025814056396,
      "learning_rate": 9.881777777777778e-05,
      "loss": 0.0575,
      "step": 5320
    },
    {
      "epoch": 0.7106666666666667,
      "grad_norm": 0.765295147895813,
      "learning_rate": 9.881555555555556e-05,
      "loss": 0.0562,
      "step": 5330
    },
    {
      "epoch": 0.712,
      "grad_norm": 0.5653209686279297,
      "learning_rate": 9.881333333333334e-05,
      "loss": 0.0741,
      "step": 5340
    },
    {
      "epoch": 0.7133333333333334,
      "grad_norm": 0.6780301928520203,
      "learning_rate": 9.881111111111112e-05,
      "loss": 0.0658,
      "step": 5350
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 0.5745540261268616,
      "learning_rate": 9.880888888888889e-05,
      "loss": 0.0662,
      "step": 5360
    },
    {
      "epoch": 0.716,
      "grad_norm": 1.1168861389160156,
      "learning_rate": 9.880666666666667e-05,
      "loss": 0.0495,
      "step": 5370
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 1.072089672088623,
      "learning_rate": 9.880444444444445e-05,
      "loss": 0.0572,
      "step": 5380
    },
    {
      "epoch": 0.7186666666666667,
      "grad_norm": 0.9769105315208435,
      "learning_rate": 9.880222222222223e-05,
      "loss": 0.0525,
      "step": 5390
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.8072600960731506,
      "learning_rate": 9.88e-05,
      "loss": 0.0785,
      "step": 5400
    },
    {
      "epoch": 0.7213333333333334,
      "grad_norm": 0.964853048324585,
      "learning_rate": 9.879777777777778e-05,
      "loss": 0.0622,
      "step": 5410
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 2.0811147689819336,
      "learning_rate": 9.879555555555556e-05,
      "loss": 0.0917,
      "step": 5420
    },
    {
      "epoch": 0.724,
      "grad_norm": 1.7631922960281372,
      "learning_rate": 9.879333333333333e-05,
      "loss": 0.0723,
      "step": 5430
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.6106953024864197,
      "learning_rate": 9.879111111111111e-05,
      "loss": 0.059,
      "step": 5440
    },
    {
      "epoch": 0.7266666666666667,
      "grad_norm": 0.8579338788986206,
      "learning_rate": 9.87888888888889e-05,
      "loss": 0.0572,
      "step": 5450
    },
    {
      "epoch": 0.728,
      "grad_norm": 2.308440923690796,
      "learning_rate": 9.878666666666667e-05,
      "loss": 0.0827,
      "step": 5460
    },
    {
      "epoch": 0.7293333333333333,
      "grad_norm": 2.2464394569396973,
      "learning_rate": 9.878444444444444e-05,
      "loss": 0.0711,
      "step": 5470
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 0.8636484742164612,
      "learning_rate": 9.878222222222224e-05,
      "loss": 0.0901,
      "step": 5480
    },
    {
      "epoch": 0.732,
      "grad_norm": 0.8369218111038208,
      "learning_rate": 9.878e-05,
      "loss": 0.0602,
      "step": 5490
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.8613641858100891,
      "learning_rate": 9.877777777777778e-05,
      "loss": 0.0578,
      "step": 5500
    },
    {
      "epoch": 0.7346666666666667,
      "grad_norm": 0.5730868577957153,
      "learning_rate": 9.877555555555557e-05,
      "loss": 0.0626,
      "step": 5510
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.6139687299728394,
      "learning_rate": 9.877333333333335e-05,
      "loss": 0.0753,
      "step": 5520
    },
    {
      "epoch": 0.7373333333333333,
      "grad_norm": 1.0819271802902222,
      "learning_rate": 9.877111111111111e-05,
      "loss": 0.0812,
      "step": 5530
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 2.707962989807129,
      "learning_rate": 9.876888888888889e-05,
      "loss": 0.0715,
      "step": 5540
    },
    {
      "epoch": 0.74,
      "grad_norm": 0.9940930604934692,
      "learning_rate": 9.876666666666668e-05,
      "loss": 0.0782,
      "step": 5550
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 0.9053407907485962,
      "learning_rate": 9.876444444444446e-05,
      "loss": 0.078,
      "step": 5560
    },
    {
      "epoch": 0.7426666666666667,
      "grad_norm": 0.7637030482292175,
      "learning_rate": 9.876222222222222e-05,
      "loss": 0.0671,
      "step": 5570
    },
    {
      "epoch": 0.744,
      "grad_norm": 2.7224855422973633,
      "learning_rate": 9.876000000000001e-05,
      "loss": 0.0779,
      "step": 5580
    },
    {
      "epoch": 0.7453333333333333,
      "grad_norm": 1.574887752532959,
      "learning_rate": 9.875777777777779e-05,
      "loss": 0.0905,
      "step": 5590
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.9994457960128784,
      "learning_rate": 9.875555555555555e-05,
      "loss": 0.0541,
      "step": 5600
    },
    {
      "epoch": 0.748,
      "grad_norm": 1.4675953388214111,
      "learning_rate": 9.875333333333334e-05,
      "loss": 0.0598,
      "step": 5610
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 0.7994102239608765,
      "learning_rate": 9.875111111111112e-05,
      "loss": 0.0596,
      "step": 5620
    },
    {
      "epoch": 0.7506666666666667,
      "grad_norm": 1.4807850122451782,
      "learning_rate": 9.87488888888889e-05,
      "loss": 0.0568,
      "step": 5630
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.5595064759254456,
      "learning_rate": 9.874666666666667e-05,
      "loss": 0.0589,
      "step": 5640
    },
    {
      "epoch": 0.7533333333333333,
      "grad_norm": 0.3673890233039856,
      "learning_rate": 9.874444444444445e-05,
      "loss": 0.0581,
      "step": 5650
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 0.951647937297821,
      "learning_rate": 9.874222222222223e-05,
      "loss": 0.0632,
      "step": 5660
    },
    {
      "epoch": 0.756,
      "grad_norm": 1.7092108726501465,
      "learning_rate": 9.874e-05,
      "loss": 0.0718,
      "step": 5670
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 0.7027957439422607,
      "learning_rate": 9.873777777777778e-05,
      "loss": 0.0693,
      "step": 5680
    },
    {
      "epoch": 0.7586666666666667,
      "grad_norm": 0.47198915481567383,
      "learning_rate": 9.873555555555556e-05,
      "loss": 0.0588,
      "step": 5690
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.8302251100540161,
      "learning_rate": 9.873333333333334e-05,
      "loss": 0.0636,
      "step": 5700
    },
    {
      "epoch": 0.7613333333333333,
      "grad_norm": 0.588591456413269,
      "learning_rate": 9.873111111111112e-05,
      "loss": 0.0666,
      "step": 5710
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 0.5101396441459656,
      "learning_rate": 9.87288888888889e-05,
      "loss": 0.0543,
      "step": 5720
    },
    {
      "epoch": 0.764,
      "grad_norm": 0.9356469511985779,
      "learning_rate": 9.872666666666667e-05,
      "loss": 0.0624,
      "step": 5730
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 0.9336811900138855,
      "learning_rate": 9.872444444444445e-05,
      "loss": 0.062,
      "step": 5740
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 0.6762475967407227,
      "learning_rate": 9.872222222222223e-05,
      "loss": 0.0642,
      "step": 5750
    },
    {
      "epoch": 0.768,
      "grad_norm": 1.3250956535339355,
      "learning_rate": 9.872e-05,
      "loss": 0.0483,
      "step": 5760
    },
    {
      "epoch": 0.7693333333333333,
      "grad_norm": 1.426467776298523,
      "learning_rate": 9.871777777777778e-05,
      "loss": 0.0768,
      "step": 5770
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 1.6899110078811646,
      "learning_rate": 9.871555555555556e-05,
      "loss": 0.065,
      "step": 5780
    },
    {
      "epoch": 0.772,
      "grad_norm": 0.6879839897155762,
      "learning_rate": 9.871333333333334e-05,
      "loss": 0.0563,
      "step": 5790
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.8785215616226196,
      "learning_rate": 9.871111111111113e-05,
      "loss": 0.0698,
      "step": 5800
    },
    {
      "epoch": 0.7746666666666666,
      "grad_norm": 2.689979314804077,
      "learning_rate": 9.870888888888889e-05,
      "loss": 0.0573,
      "step": 5810
    },
    {
      "epoch": 0.776,
      "grad_norm": 1.2295033931732178,
      "learning_rate": 9.870666666666667e-05,
      "loss": 0.0599,
      "step": 5820
    },
    {
      "epoch": 0.7773333333333333,
      "grad_norm": 1.2309980392456055,
      "learning_rate": 9.870444444444445e-05,
      "loss": 0.0472,
      "step": 5830
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 0.9267867803573608,
      "learning_rate": 9.870222222222222e-05,
      "loss": 0.0833,
      "step": 5840
    },
    {
      "epoch": 0.78,
      "grad_norm": 0.8853642344474792,
      "learning_rate": 9.87e-05,
      "loss": 0.0604,
      "step": 5850
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 1.0983855724334717,
      "learning_rate": 9.869777777777778e-05,
      "loss": 0.1079,
      "step": 5860
    },
    {
      "epoch": 0.7826666666666666,
      "grad_norm": 0.8791067004203796,
      "learning_rate": 9.869555555555557e-05,
      "loss": 0.0719,
      "step": 5870
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.7648160457611084,
      "learning_rate": 9.869333333333333e-05,
      "loss": 0.0618,
      "step": 5880
    },
    {
      "epoch": 0.7853333333333333,
      "grad_norm": 0.6152623295783997,
      "learning_rate": 9.869111111111111e-05,
      "loss": 0.0558,
      "step": 5890
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 1.5877913236618042,
      "learning_rate": 9.86888888888889e-05,
      "loss": 0.0651,
      "step": 5900
    },
    {
      "epoch": 0.788,
      "grad_norm": 1.2912688255310059,
      "learning_rate": 9.868666666666668e-05,
      "loss": 0.0797,
      "step": 5910
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 0.7552198171615601,
      "learning_rate": 9.868444444444444e-05,
      "loss": 0.0736,
      "step": 5920
    },
    {
      "epoch": 0.7906666666666666,
      "grad_norm": 1.6171302795410156,
      "learning_rate": 9.868222222222223e-05,
      "loss": 0.0743,
      "step": 5930
    },
    {
      "epoch": 0.792,
      "grad_norm": 0.8742033243179321,
      "learning_rate": 9.868000000000001e-05,
      "loss": 0.0692,
      "step": 5940
    },
    {
      "epoch": 0.7933333333333333,
      "grad_norm": 0.876222550868988,
      "learning_rate": 9.867777777777777e-05,
      "loss": 0.0671,
      "step": 5950
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 1.2361457347869873,
      "learning_rate": 9.867555555555557e-05,
      "loss": 0.055,
      "step": 5960
    },
    {
      "epoch": 0.796,
      "grad_norm": 1.0163750648498535,
      "learning_rate": 9.867333333333334e-05,
      "loss": 0.0647,
      "step": 5970
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 1.7339577674865723,
      "learning_rate": 9.867111111111112e-05,
      "loss": 0.0733,
      "step": 5980
    },
    {
      "epoch": 0.7986666666666666,
      "grad_norm": 1.2708498239517212,
      "learning_rate": 9.866888888888888e-05,
      "loss": 0.0632,
      "step": 5990
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.37402135133743286,
      "learning_rate": 9.866666666666668e-05,
      "loss": 0.0756,
      "step": 6000
    },
    {
      "epoch": 0.8013333333333333,
      "grad_norm": 1.1199795007705688,
      "learning_rate": 9.866444444444445e-05,
      "loss": 0.0594,
      "step": 6010
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 2.3634517192840576,
      "learning_rate": 9.866222222222222e-05,
      "loss": 0.0702,
      "step": 6020
    },
    {
      "epoch": 0.804,
      "grad_norm": 0.4015788733959198,
      "learning_rate": 9.866000000000001e-05,
      "loss": 0.0551,
      "step": 6030
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 0.4998219311237335,
      "learning_rate": 9.865777777777778e-05,
      "loss": 0.0602,
      "step": 6040
    },
    {
      "epoch": 0.8066666666666666,
      "grad_norm": 0.8702686429023743,
      "learning_rate": 9.865555555555556e-05,
      "loss": 0.0496,
      "step": 6050
    },
    {
      "epoch": 0.808,
      "grad_norm": 0.7873335480690002,
      "learning_rate": 9.865333333333334e-05,
      "loss": 0.0764,
      "step": 6060
    },
    {
      "epoch": 0.8093333333333333,
      "grad_norm": 0.6399177312850952,
      "learning_rate": 9.865111111111112e-05,
      "loss": 0.0808,
      "step": 6070
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.8677879571914673,
      "learning_rate": 9.86488888888889e-05,
      "loss": 0.0657,
      "step": 6080
    },
    {
      "epoch": 0.812,
      "grad_norm": 0.5648167133331299,
      "learning_rate": 9.864666666666667e-05,
      "loss": 0.0421,
      "step": 6090
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 1.4619224071502686,
      "learning_rate": 9.864444444444445e-05,
      "loss": 0.0491,
      "step": 6100
    },
    {
      "epoch": 0.8146666666666667,
      "grad_norm": 2.5290932655334473,
      "learning_rate": 9.864222222222223e-05,
      "loss": 0.0564,
      "step": 6110
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.6273274421691895,
      "learning_rate": 9.864e-05,
      "loss": 0.0606,
      "step": 6120
    },
    {
      "epoch": 0.8173333333333334,
      "grad_norm": 0.895876407623291,
      "learning_rate": 9.863777777777778e-05,
      "loss": 0.0547,
      "step": 6130
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 0.35408902168273926,
      "learning_rate": 9.863555555555556e-05,
      "loss": 0.0588,
      "step": 6140
    },
    {
      "epoch": 0.82,
      "grad_norm": 0.5010413527488708,
      "learning_rate": 9.863333333333334e-05,
      "loss": 0.0685,
      "step": 6150
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 1.220892310142517,
      "learning_rate": 9.863111111111111e-05,
      "loss": 0.0563,
      "step": 6160
    },
    {
      "epoch": 0.8226666666666667,
      "grad_norm": 1.0552693605422974,
      "learning_rate": 9.862888888888889e-05,
      "loss": 0.0687,
      "step": 6170
    },
    {
      "epoch": 0.824,
      "grad_norm": 1.0474936962127686,
      "learning_rate": 9.862666666666667e-05,
      "loss": 0.0545,
      "step": 6180
    },
    {
      "epoch": 0.8253333333333334,
      "grad_norm": 0.6353195309638977,
      "learning_rate": 9.862444444444445e-05,
      "loss": 0.0505,
      "step": 6190
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 1.1819454431533813,
      "learning_rate": 9.862222222222222e-05,
      "loss": 0.0681,
      "step": 6200
    },
    {
      "epoch": 0.828,
      "grad_norm": 0.5029417276382446,
      "learning_rate": 9.862e-05,
      "loss": 0.071,
      "step": 6210
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 0.8663005828857422,
      "learning_rate": 9.861777777777779e-05,
      "loss": 0.0849,
      "step": 6220
    },
    {
      "epoch": 0.8306666666666667,
      "grad_norm": 1.6044185161590576,
      "learning_rate": 9.861555555555556e-05,
      "loss": 0.0686,
      "step": 6230
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.4182596206665039,
      "learning_rate": 9.861333333333333e-05,
      "loss": 0.0502,
      "step": 6240
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.6093095541000366,
      "learning_rate": 9.861111111111112e-05,
      "loss": 0.0662,
      "step": 6250
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 0.8251099586486816,
      "learning_rate": 9.86088888888889e-05,
      "loss": 0.0668,
      "step": 6260
    },
    {
      "epoch": 0.836,
      "grad_norm": 0.7759464383125305,
      "learning_rate": 9.860666666666667e-05,
      "loss": 0.0662,
      "step": 6270
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 1.0464812517166138,
      "learning_rate": 9.860444444444444e-05,
      "loss": 0.0617,
      "step": 6280
    },
    {
      "epoch": 0.8386666666666667,
      "grad_norm": 1.1008474826812744,
      "learning_rate": 9.860222222222223e-05,
      "loss": 0.0668,
      "step": 6290
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.7193501591682434,
      "learning_rate": 9.86e-05,
      "loss": 0.0625,
      "step": 6300
    },
    {
      "epoch": 0.8413333333333334,
      "grad_norm": 0.6621279120445251,
      "learning_rate": 9.859777777777778e-05,
      "loss": 0.0746,
      "step": 6310
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 0.5257405042648315,
      "learning_rate": 9.859555555555557e-05,
      "loss": 0.0549,
      "step": 6320
    },
    {
      "epoch": 0.844,
      "grad_norm": 0.9884015917778015,
      "learning_rate": 9.859333333333334e-05,
      "loss": 0.064,
      "step": 6330
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 1.2019555568695068,
      "learning_rate": 9.859111111111111e-05,
      "loss": 0.0549,
      "step": 6340
    },
    {
      "epoch": 0.8466666666666667,
      "grad_norm": 1.4643871784210205,
      "learning_rate": 9.85888888888889e-05,
      "loss": 0.0686,
      "step": 6350
    },
    {
      "epoch": 0.848,
      "grad_norm": 1.1731646060943604,
      "learning_rate": 9.858666666666668e-05,
      "loss": 0.0486,
      "step": 6360
    },
    {
      "epoch": 0.8493333333333334,
      "grad_norm": 0.8609593510627747,
      "learning_rate": 9.858444444444444e-05,
      "loss": 0.0547,
      "step": 6370
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 1.5331296920776367,
      "learning_rate": 9.858222222222223e-05,
      "loss": 0.0776,
      "step": 6380
    },
    {
      "epoch": 0.852,
      "grad_norm": 2.180598735809326,
      "learning_rate": 9.858000000000001e-05,
      "loss": 0.0676,
      "step": 6390
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.3869646191596985,
      "learning_rate": 9.857777777777779e-05,
      "loss": 0.0476,
      "step": 6400
    },
    {
      "epoch": 0.8546666666666667,
      "grad_norm": 1.3034604787826538,
      "learning_rate": 9.857555555555556e-05,
      "loss": 0.058,
      "step": 6410
    },
    {
      "epoch": 0.856,
      "grad_norm": 0.8045080900192261,
      "learning_rate": 9.857333333333334e-05,
      "loss": 0.0827,
      "step": 6420
    },
    {
      "epoch": 0.8573333333333333,
      "grad_norm": 0.788218080997467,
      "learning_rate": 9.857111111111112e-05,
      "loss": 0.0508,
      "step": 6430
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 0.6627380847930908,
      "learning_rate": 9.856888888888888e-05,
      "loss": 0.0513,
      "step": 6440
    },
    {
      "epoch": 0.86,
      "grad_norm": 0.6337271332740784,
      "learning_rate": 9.856666666666667e-05,
      "loss": 0.0542,
      "step": 6450
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 0.7825196385383606,
      "learning_rate": 9.856444444444445e-05,
      "loss": 0.0675,
      "step": 6460
    },
    {
      "epoch": 0.8626666666666667,
      "grad_norm": 1.4625539779663086,
      "learning_rate": 9.856222222222223e-05,
      "loss": 0.0744,
      "step": 6470
    },
    {
      "epoch": 0.864,
      "grad_norm": 1.1397839784622192,
      "learning_rate": 9.856e-05,
      "loss": 0.0644,
      "step": 6480
    },
    {
      "epoch": 0.8653333333333333,
      "grad_norm": 0.5695032477378845,
      "learning_rate": 9.855777777777778e-05,
      "loss": 0.0535,
      "step": 6490
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 0.7450246214866638,
      "learning_rate": 9.855555555555556e-05,
      "loss": 0.0567,
      "step": 6500
    },
    {
      "epoch": 0.868,
      "grad_norm": 0.8986635208129883,
      "learning_rate": 9.855333333333334e-05,
      "loss": 0.0648,
      "step": 6510
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 0.4113905727863312,
      "learning_rate": 9.855111111111111e-05,
      "loss": 0.0473,
      "step": 6520
    },
    {
      "epoch": 0.8706666666666667,
      "grad_norm": 0.829496443271637,
      "learning_rate": 9.854888888888889e-05,
      "loss": 0.064,
      "step": 6530
    },
    {
      "epoch": 0.872,
      "grad_norm": 0.7620068192481995,
      "learning_rate": 9.854666666666667e-05,
      "loss": 0.0399,
      "step": 6540
    },
    {
      "epoch": 0.8733333333333333,
      "grad_norm": 0.7429971694946289,
      "learning_rate": 9.854444444444445e-05,
      "loss": 0.0486,
      "step": 6550
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 0.4061455726623535,
      "learning_rate": 9.854222222222222e-05,
      "loss": 0.049,
      "step": 6560
    },
    {
      "epoch": 0.876,
      "grad_norm": 0.415304958820343,
      "learning_rate": 9.854000000000002e-05,
      "loss": 0.0553,
      "step": 6570
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 0.7656009793281555,
      "learning_rate": 9.853777777777778e-05,
      "loss": 0.0687,
      "step": 6580
    },
    {
      "epoch": 0.8786666666666667,
      "grad_norm": 0.7481276392936707,
      "learning_rate": 9.853555555555556e-05,
      "loss": 0.0582,
      "step": 6590
    },
    {
      "epoch": 0.88,
      "grad_norm": 1.0916112661361694,
      "learning_rate": 9.853333333333333e-05,
      "loss": 0.0584,
      "step": 6600
    },
    {
      "epoch": 0.8813333333333333,
      "grad_norm": 0.7699665427207947,
      "learning_rate": 9.853111111111113e-05,
      "loss": 0.0571,
      "step": 6610
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 0.5524680614471436,
      "learning_rate": 9.852888888888889e-05,
      "loss": 0.0734,
      "step": 6620
    },
    {
      "epoch": 0.884,
      "grad_norm": 0.6002663969993591,
      "learning_rate": 9.852666666666667e-05,
      "loss": 0.0612,
      "step": 6630
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 0.6384122967720032,
      "learning_rate": 9.852444444444446e-05,
      "loss": 0.0441,
      "step": 6640
    },
    {
      "epoch": 0.8866666666666667,
      "grad_norm": 0.4219525158405304,
      "learning_rate": 9.852222222222222e-05,
      "loss": 0.0549,
      "step": 6650
    },
    {
      "epoch": 0.888,
      "grad_norm": 0.9140029549598694,
      "learning_rate": 9.852e-05,
      "loss": 0.0602,
      "step": 6660
    },
    {
      "epoch": 0.8893333333333333,
      "grad_norm": 0.7238279581069946,
      "learning_rate": 9.851777777777779e-05,
      "loss": 0.0475,
      "step": 6670
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 0.9586266875267029,
      "learning_rate": 9.851555555555557e-05,
      "loss": 0.0516,
      "step": 6680
    },
    {
      "epoch": 0.892,
      "grad_norm": 0.874359130859375,
      "learning_rate": 9.851333333333333e-05,
      "loss": 0.0617,
      "step": 6690
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 0.8428328633308411,
      "learning_rate": 9.851111111111112e-05,
      "loss": 0.0602,
      "step": 6700
    },
    {
      "epoch": 0.8946666666666667,
      "grad_norm": 1.3078739643096924,
      "learning_rate": 9.85088888888889e-05,
      "loss": 0.0488,
      "step": 6710
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.821405291557312,
      "learning_rate": 9.850666666666666e-05,
      "loss": 0.0415,
      "step": 6720
    },
    {
      "epoch": 0.8973333333333333,
      "grad_norm": 1.7795953750610352,
      "learning_rate": 9.850444444444444e-05,
      "loss": 0.0792,
      "step": 6730
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 0.8547097444534302,
      "learning_rate": 9.850222222222223e-05,
      "loss": 0.0542,
      "step": 6740
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.7969554662704468,
      "learning_rate": 9.850000000000001e-05,
      "loss": 0.0637,
      "step": 6750
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 0.6570256948471069,
      "learning_rate": 9.849777777777777e-05,
      "loss": 0.0841,
      "step": 6760
    },
    {
      "epoch": 0.9026666666666666,
      "grad_norm": 0.5256232023239136,
      "learning_rate": 9.849555555555556e-05,
      "loss": 0.0433,
      "step": 6770
    },
    {
      "epoch": 0.904,
      "grad_norm": 0.7996987104415894,
      "learning_rate": 9.849333333333334e-05,
      "loss": 0.0674,
      "step": 6780
    },
    {
      "epoch": 0.9053333333333333,
      "grad_norm": 1.2504585981369019,
      "learning_rate": 9.84911111111111e-05,
      "loss": 0.0481,
      "step": 6790
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.9034204483032227,
      "learning_rate": 9.84888888888889e-05,
      "loss": 0.056,
      "step": 6800
    },
    {
      "epoch": 0.908,
      "grad_norm": 0.7902805805206299,
      "learning_rate": 9.848666666666667e-05,
      "loss": 0.0508,
      "step": 6810
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 0.9667857885360718,
      "learning_rate": 9.848444444444445e-05,
      "loss": 0.0791,
      "step": 6820
    },
    {
      "epoch": 0.9106666666666666,
      "grad_norm": 1.2828831672668457,
      "learning_rate": 9.848222222222223e-05,
      "loss": 0.0514,
      "step": 6830
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.8219507932662964,
      "learning_rate": 9.848e-05,
      "loss": 0.0445,
      "step": 6840
    },
    {
      "epoch": 0.9133333333333333,
      "grad_norm": 0.5428910255432129,
      "learning_rate": 9.847777777777778e-05,
      "loss": 0.0596,
      "step": 6850
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 1.0138866901397705,
      "learning_rate": 9.847555555555556e-05,
      "loss": 0.0556,
      "step": 6860
    },
    {
      "epoch": 0.916,
      "grad_norm": 1.4487863779067993,
      "learning_rate": 9.847333333333334e-05,
      "loss": 0.0534,
      "step": 6870
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 0.885435938835144,
      "learning_rate": 9.847111111111112e-05,
      "loss": 0.0618,
      "step": 6880
    },
    {
      "epoch": 0.9186666666666666,
      "grad_norm": 0.8985201120376587,
      "learning_rate": 9.846888888888889e-05,
      "loss": 0.0546,
      "step": 6890
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.5609067678451538,
      "learning_rate": 9.846666666666667e-05,
      "loss": 0.0419,
      "step": 6900
    },
    {
      "epoch": 0.9213333333333333,
      "grad_norm": 0.5837501287460327,
      "learning_rate": 9.846444444444445e-05,
      "loss": 0.0495,
      "step": 6910
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 1.003560185432434,
      "learning_rate": 9.846222222222223e-05,
      "loss": 0.0592,
      "step": 6920
    },
    {
      "epoch": 0.924,
      "grad_norm": 0.7675890326499939,
      "learning_rate": 9.846e-05,
      "loss": 0.0705,
      "step": 6930
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 1.1677954196929932,
      "learning_rate": 9.845777777777778e-05,
      "loss": 0.1004,
      "step": 6940
    },
    {
      "epoch": 0.9266666666666666,
      "grad_norm": 0.6533988118171692,
      "learning_rate": 9.845555555555556e-05,
      "loss": 0.0719,
      "step": 6950
    },
    {
      "epoch": 0.928,
      "grad_norm": 1.3849601745605469,
      "learning_rate": 9.845333333333335e-05,
      "loss": 0.0529,
      "step": 6960
    },
    {
      "epoch": 0.9293333333333333,
      "grad_norm": 0.6876839399337769,
      "learning_rate": 9.845111111111111e-05,
      "loss": 0.0631,
      "step": 6970
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 0.2978208661079407,
      "learning_rate": 9.844888888888889e-05,
      "loss": 0.0588,
      "step": 6980
    },
    {
      "epoch": 0.932,
      "grad_norm": 0.39399227499961853,
      "learning_rate": 9.844666666666668e-05,
      "loss": 0.0569,
      "step": 6990
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.1059856414794922,
      "learning_rate": 9.844444444444444e-05,
      "loss": 0.0684,
      "step": 7000
    },
    {
      "epoch": 0.9346666666666666,
      "grad_norm": 0.7385938167572021,
      "learning_rate": 9.844222222222222e-05,
      "loss": 0.0726,
      "step": 7010
    },
    {
      "epoch": 0.936,
      "grad_norm": 1.2140297889709473,
      "learning_rate": 9.844000000000001e-05,
      "loss": 0.0527,
      "step": 7020
    },
    {
      "epoch": 0.9373333333333334,
      "grad_norm": 0.9510343670845032,
      "learning_rate": 9.843777777777779e-05,
      "loss": 0.0691,
      "step": 7030
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.741799533367157,
      "learning_rate": 9.843555555555555e-05,
      "loss": 0.0487,
      "step": 7040
    },
    {
      "epoch": 0.94,
      "grad_norm": 1.0239315032958984,
      "learning_rate": 9.843333333333333e-05,
      "loss": 0.0633,
      "step": 7050
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 0.6473563313484192,
      "learning_rate": 9.843111111111112e-05,
      "loss": 0.0674,
      "step": 7060
    },
    {
      "epoch": 0.9426666666666667,
      "grad_norm": 0.8702437877655029,
      "learning_rate": 9.842888888888889e-05,
      "loss": 0.0732,
      "step": 7070
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.5985311269760132,
      "learning_rate": 9.842666666666666e-05,
      "loss": 0.0651,
      "step": 7080
    },
    {
      "epoch": 0.9453333333333334,
      "grad_norm": 1.0235899686813354,
      "learning_rate": 9.842444444444445e-05,
      "loss": 0.0477,
      "step": 7090
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 1.209450602531433,
      "learning_rate": 9.842222222222223e-05,
      "loss": 0.0775,
      "step": 7100
    },
    {
      "epoch": 0.948,
      "grad_norm": 1.7798069715499878,
      "learning_rate": 9.842e-05,
      "loss": 0.0818,
      "step": 7110
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 1.0256237983703613,
      "learning_rate": 9.841777777777779e-05,
      "loss": 0.0437,
      "step": 7120
    },
    {
      "epoch": 0.9506666666666667,
      "grad_norm": 0.9049556255340576,
      "learning_rate": 9.841555555555556e-05,
      "loss": 0.0474,
      "step": 7130
    },
    {
      "epoch": 0.952,
      "grad_norm": 0.8869029879570007,
      "learning_rate": 9.841333333333333e-05,
      "loss": 0.0548,
      "step": 7140
    },
    {
      "epoch": 0.9533333333333334,
      "grad_norm": 1.034080982208252,
      "learning_rate": 9.841111111111112e-05,
      "loss": 0.0578,
      "step": 7150
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 1.4889646768569946,
      "learning_rate": 9.84088888888889e-05,
      "loss": 0.0512,
      "step": 7160
    },
    {
      "epoch": 0.956,
      "grad_norm": 0.726830780506134,
      "learning_rate": 9.840666666666667e-05,
      "loss": 0.0675,
      "step": 7170
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 0.5862388610839844,
      "learning_rate": 9.840444444444445e-05,
      "loss": 0.0508,
      "step": 7180
    },
    {
      "epoch": 0.9586666666666667,
      "grad_norm": 0.7860233783721924,
      "learning_rate": 9.840222222222223e-05,
      "loss": 0.0624,
      "step": 7190
    },
    {
      "epoch": 0.96,
      "grad_norm": 1.5937598943710327,
      "learning_rate": 9.84e-05,
      "loss": 0.0472,
      "step": 7200
    },
    {
      "epoch": 0.9613333333333334,
      "grad_norm": 1.9867568016052246,
      "learning_rate": 9.839777777777778e-05,
      "loss": 0.0849,
      "step": 7210
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 1.0154733657836914,
      "learning_rate": 9.839555555555556e-05,
      "loss": 0.0427,
      "step": 7220
    },
    {
      "epoch": 0.964,
      "grad_norm": 0.3895399570465088,
      "learning_rate": 9.839333333333334e-05,
      "loss": 0.0556,
      "step": 7230
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 1.0107959508895874,
      "learning_rate": 9.839111111111112e-05,
      "loss": 0.0658,
      "step": 7240
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 0.5629663467407227,
      "learning_rate": 9.83888888888889e-05,
      "loss": 0.0455,
      "step": 7250
    },
    {
      "epoch": 0.968,
      "grad_norm": 1.214380145072937,
      "learning_rate": 9.838666666666667e-05,
      "loss": 0.0729,
      "step": 7260
    },
    {
      "epoch": 0.9693333333333334,
      "grad_norm": 0.4493236839771271,
      "learning_rate": 9.838444444444445e-05,
      "loss": 0.0593,
      "step": 7270
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 0.6549879908561707,
      "learning_rate": 9.838222222222223e-05,
      "loss": 0.0626,
      "step": 7280
    },
    {
      "epoch": 0.972,
      "grad_norm": 0.8239043354988098,
      "learning_rate": 9.838e-05,
      "loss": 0.0473,
      "step": 7290
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 1.0708125829696655,
      "learning_rate": 9.837777777777778e-05,
      "loss": 0.0604,
      "step": 7300
    },
    {
      "epoch": 0.9746666666666667,
      "grad_norm": 4.893433570861816,
      "learning_rate": 9.837555555555557e-05,
      "loss": 0.0586,
      "step": 7310
    },
    {
      "epoch": 0.976,
      "grad_norm": 2.048929214477539,
      "learning_rate": 9.837333333333334e-05,
      "loss": 0.0682,
      "step": 7320
    },
    {
      "epoch": 0.9773333333333334,
      "grad_norm": 1.511843204498291,
      "learning_rate": 9.837111111111111e-05,
      "loss": 0.0635,
      "step": 7330
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 0.4116039276123047,
      "learning_rate": 9.836888888888889e-05,
      "loss": 0.0463,
      "step": 7340
    },
    {
      "epoch": 0.98,
      "grad_norm": 0.6108120083808899,
      "learning_rate": 9.836666666666667e-05,
      "loss": 0.052,
      "step": 7350
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.5850901007652283,
      "learning_rate": 9.836444444444445e-05,
      "loss": 0.0506,
      "step": 7360
    },
    {
      "epoch": 0.9826666666666667,
      "grad_norm": 0.687752366065979,
      "learning_rate": 9.836222222222222e-05,
      "loss": 0.0483,
      "step": 7370
    },
    {
      "epoch": 0.984,
      "grad_norm": 1.1706470251083374,
      "learning_rate": 9.836000000000001e-05,
      "loss": 0.0563,
      "step": 7380
    },
    {
      "epoch": 0.9853333333333333,
      "grad_norm": 0.7664891481399536,
      "learning_rate": 9.835777777777778e-05,
      "loss": 0.0688,
      "step": 7390
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 2.05192494392395,
      "learning_rate": 9.835555555555556e-05,
      "loss": 0.0672,
      "step": 7400
    },
    {
      "epoch": 0.988,
      "grad_norm": 0.8845818042755127,
      "learning_rate": 9.835333333333335e-05,
      "loss": 0.051,
      "step": 7410
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 0.96323162317276,
      "learning_rate": 9.835111111111111e-05,
      "loss": 0.0411,
      "step": 7420
    },
    {
      "epoch": 0.9906666666666667,
      "grad_norm": 0.6073554754257202,
      "learning_rate": 9.834888888888889e-05,
      "loss": 0.0448,
      "step": 7430
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.8065997958183289,
      "learning_rate": 9.834666666666668e-05,
      "loss": 0.0609,
      "step": 7440
    },
    {
      "epoch": 0.9933333333333333,
      "grad_norm": 1.8339911699295044,
      "learning_rate": 9.834444444444446e-05,
      "loss": 0.0544,
      "step": 7450
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 1.2557024955749512,
      "learning_rate": 9.834222222222222e-05,
      "loss": 0.087,
      "step": 7460
    },
    {
      "epoch": 0.996,
      "grad_norm": 1.2945829629898071,
      "learning_rate": 9.834000000000001e-05,
      "loss": 0.0721,
      "step": 7470
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 1.3140655755996704,
      "learning_rate": 9.833777777777779e-05,
      "loss": 0.0553,
      "step": 7480
    },
    {
      "epoch": 0.9986666666666667,
      "grad_norm": 1.168907642364502,
      "learning_rate": 9.833555555555555e-05,
      "loss": 0.0534,
      "step": 7490
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.374748945236206,
      "learning_rate": 9.833333333333333e-05,
      "loss": 0.0568,
      "step": 7500
    },
    {
      "epoch": 1.0,
      "eval_loss": 0.0332803800702095,
      "eval_runtime": 37.0529,
      "eval_samples_per_second": 80.965,
      "eval_steps_per_second": 5.074,
      "step": 7500
    },
    {
      "epoch": 1.0013333333333334,
      "grad_norm": 1.2082730531692505,
      "learning_rate": 9.833111111111112e-05,
      "loss": 0.0535,
      "step": 7510
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 0.7476749420166016,
      "learning_rate": 9.83288888888889e-05,
      "loss": 0.0468,
      "step": 7520
    },
    {
      "epoch": 1.004,
      "grad_norm": 0.5322170257568359,
      "learning_rate": 9.832666666666666e-05,
      "loss": 0.0448,
      "step": 7530
    },
    {
      "epoch": 1.0053333333333334,
      "grad_norm": 1.29781973361969,
      "learning_rate": 9.832444444444445e-05,
      "loss": 0.0422,
      "step": 7540
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 0.3702026307582855,
      "learning_rate": 9.832222222222223e-05,
      "loss": 0.0477,
      "step": 7550
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.46852293610572815,
      "learning_rate": 9.832000000000001e-05,
      "loss": 0.0325,
      "step": 7560
    },
    {
      "epoch": 1.0093333333333334,
      "grad_norm": 1.257940649986267,
      "learning_rate": 9.831777777777778e-05,
      "loss": 0.0553,
      "step": 7570
    },
    {
      "epoch": 1.0106666666666666,
      "grad_norm": 1.943622350692749,
      "learning_rate": 9.831555555555556e-05,
      "loss": 0.0587,
      "step": 7580
    },
    {
      "epoch": 1.012,
      "grad_norm": 0.4665851593017578,
      "learning_rate": 9.831333333333334e-05,
      "loss": 0.0555,
      "step": 7590
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.0882797241210938,
      "learning_rate": 9.831111111111112e-05,
      "loss": 0.0324,
      "step": 7600
    },
    {
      "epoch": 1.0146666666666666,
      "grad_norm": 0.8883153200149536,
      "learning_rate": 9.83088888888889e-05,
      "loss": 0.0694,
      "step": 7610
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.6885460019111633,
      "learning_rate": 9.830666666666667e-05,
      "loss": 0.0621,
      "step": 7620
    },
    {
      "epoch": 1.0173333333333334,
      "grad_norm": 0.3483441174030304,
      "learning_rate": 9.830444444444445e-05,
      "loss": 0.0504,
      "step": 7630
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 0.9261232018470764,
      "learning_rate": 9.830222222222223e-05,
      "loss": 0.0588,
      "step": 7640
    },
    {
      "epoch": 1.02,
      "grad_norm": 0.5906420350074768,
      "learning_rate": 9.83e-05,
      "loss": 0.0622,
      "step": 7650
    },
    {
      "epoch": 1.0213333333333334,
      "grad_norm": 0.47075846791267395,
      "learning_rate": 9.829777777777778e-05,
      "loss": 0.0523,
      "step": 7660
    },
    {
      "epoch": 1.0226666666666666,
      "grad_norm": 0.5062331557273865,
      "learning_rate": 9.829555555555556e-05,
      "loss": 0.0496,
      "step": 7670
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.7220860719680786,
      "learning_rate": 9.829333333333334e-05,
      "loss": 0.0564,
      "step": 7680
    },
    {
      "epoch": 1.0253333333333334,
      "grad_norm": 1.2403556108474731,
      "learning_rate": 9.829111111111111e-05,
      "loss": 0.0418,
      "step": 7690
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 0.5477593541145325,
      "learning_rate": 9.828888888888889e-05,
      "loss": 0.0616,
      "step": 7700
    },
    {
      "epoch": 1.028,
      "grad_norm": 0.6116520762443542,
      "learning_rate": 9.828666666666667e-05,
      "loss": 0.0451,
      "step": 7710
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 1.4442213773727417,
      "learning_rate": 9.828444444444445e-05,
      "loss": 0.0637,
      "step": 7720
    },
    {
      "epoch": 1.0306666666666666,
      "grad_norm": 1.3779327869415283,
      "learning_rate": 9.828222222222224e-05,
      "loss": 0.0477,
      "step": 7730
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.3553372621536255,
      "learning_rate": 9.828e-05,
      "loss": 0.0446,
      "step": 7740
    },
    {
      "epoch": 1.0333333333333334,
      "grad_norm": 0.5459017753601074,
      "learning_rate": 9.827777777777778e-05,
      "loss": 0.0952,
      "step": 7750
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 0.489277720451355,
      "learning_rate": 9.827555555555557e-05,
      "loss": 0.0557,
      "step": 7760
    },
    {
      "epoch": 1.036,
      "grad_norm": 1.1170483827590942,
      "learning_rate": 9.827333333333333e-05,
      "loss": 0.0613,
      "step": 7770
    },
    {
      "epoch": 1.0373333333333334,
      "grad_norm": 0.7484023571014404,
      "learning_rate": 9.827111111111111e-05,
      "loss": 0.0361,
      "step": 7780
    },
    {
      "epoch": 1.0386666666666666,
      "grad_norm": 1.4125735759735107,
      "learning_rate": 9.826888888888889e-05,
      "loss": 0.0759,
      "step": 7790
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.8616326451301575,
      "learning_rate": 9.826666666666668e-05,
      "loss": 0.0604,
      "step": 7800
    },
    {
      "epoch": 1.0413333333333332,
      "grad_norm": 1.607162356376648,
      "learning_rate": 9.826444444444444e-05,
      "loss": 0.0474,
      "step": 7810
    },
    {
      "epoch": 1.0426666666666666,
      "grad_norm": 0.6531069874763489,
      "learning_rate": 9.826222222222222e-05,
      "loss": 0.08,
      "step": 7820
    },
    {
      "epoch": 1.044,
      "grad_norm": 0.7082009315490723,
      "learning_rate": 9.826000000000001e-05,
      "loss": 0.058,
      "step": 7830
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 0.392471045255661,
      "learning_rate": 9.825777777777778e-05,
      "loss": 0.0508,
      "step": 7840
    },
    {
      "epoch": 1.0466666666666666,
      "grad_norm": 0.6748190522193909,
      "learning_rate": 9.825555555555555e-05,
      "loss": 0.0439,
      "step": 7850
    },
    {
      "epoch": 1.048,
      "grad_norm": 1.524016261100769,
      "learning_rate": 9.825333333333334e-05,
      "loss": 0.0419,
      "step": 7860
    },
    {
      "epoch": 1.0493333333333332,
      "grad_norm": 1.0998728275299072,
      "learning_rate": 9.825111111111112e-05,
      "loss": 0.0818,
      "step": 7870
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 0.9104360342025757,
      "learning_rate": 9.824888888888888e-05,
      "loss": 0.0826,
      "step": 7880
    },
    {
      "epoch": 1.052,
      "grad_norm": 0.7330800890922546,
      "learning_rate": 9.824666666666668e-05,
      "loss": 0.0437,
      "step": 7890
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 0.5466089844703674,
      "learning_rate": 9.824444444444445e-05,
      "loss": 0.043,
      "step": 7900
    },
    {
      "epoch": 1.0546666666666666,
      "grad_norm": 1.1526703834533691,
      "learning_rate": 9.824222222222223e-05,
      "loss": 0.0728,
      "step": 7910
    },
    {
      "epoch": 1.056,
      "grad_norm": 1.144545316696167,
      "learning_rate": 9.824000000000001e-05,
      "loss": 0.061,
      "step": 7920
    },
    {
      "epoch": 1.0573333333333332,
      "grad_norm": 0.9959012269973755,
      "learning_rate": 9.823777777777779e-05,
      "loss": 0.0493,
      "step": 7930
    },
    {
      "epoch": 1.0586666666666666,
      "grad_norm": 0.4609745442867279,
      "learning_rate": 9.823555555555556e-05,
      "loss": 0.0403,
      "step": 7940
    },
    {
      "epoch": 1.06,
      "grad_norm": 0.6648832559585571,
      "learning_rate": 9.823333333333333e-05,
      "loss": 0.0555,
      "step": 7950
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 0.5754709839820862,
      "learning_rate": 9.823111111111112e-05,
      "loss": 0.0521,
      "step": 7960
    },
    {
      "epoch": 1.0626666666666666,
      "grad_norm": 0.8444583415985107,
      "learning_rate": 9.82288888888889e-05,
      "loss": 0.0435,
      "step": 7970
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.8974265456199646,
      "learning_rate": 9.822666666666667e-05,
      "loss": 0.0703,
      "step": 7980
    },
    {
      "epoch": 1.0653333333333332,
      "grad_norm": 0.6491085886955261,
      "learning_rate": 9.822444444444445e-05,
      "loss": 0.0454,
      "step": 7990
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 1.19990873336792,
      "learning_rate": 9.822222222222223e-05,
      "loss": 0.0512,
      "step": 8000
    },
    {
      "epoch": 1.068,
      "grad_norm": 0.69749516248703,
      "learning_rate": 9.822e-05,
      "loss": 0.0618,
      "step": 8010
    },
    {
      "epoch": 1.0693333333333332,
      "grad_norm": 0.9997531175613403,
      "learning_rate": 9.821777777777778e-05,
      "loss": 0.0455,
      "step": 8020
    },
    {
      "epoch": 1.0706666666666667,
      "grad_norm": 0.4588607847690582,
      "learning_rate": 9.821555555555556e-05,
      "loss": 0.0492,
      "step": 8030
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.9120027422904968,
      "learning_rate": 9.821333333333334e-05,
      "loss": 0.0496,
      "step": 8040
    },
    {
      "epoch": 1.0733333333333333,
      "grad_norm": 1.058925986289978,
      "learning_rate": 9.821111111111111e-05,
      "loss": 0.0558,
      "step": 8050
    },
    {
      "epoch": 1.0746666666666667,
      "grad_norm": 9.589146614074707,
      "learning_rate": 9.820888888888889e-05,
      "loss": 0.0582,
      "step": 8060
    },
    {
      "epoch": 1.076,
      "grad_norm": 0.6728095412254333,
      "learning_rate": 9.820666666666667e-05,
      "loss": 0.0563,
      "step": 8070
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 0.6822817325592041,
      "learning_rate": 9.820444444444446e-05,
      "loss": 0.0416,
      "step": 8080
    },
    {
      "epoch": 1.0786666666666667,
      "grad_norm": 2.2475240230560303,
      "learning_rate": 9.820222222222222e-05,
      "loss": 0.0596,
      "step": 8090
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.7283602952957153,
      "learning_rate": 9.82e-05,
      "loss": 0.0462,
      "step": 8100
    },
    {
      "epoch": 1.0813333333333333,
      "grad_norm": 0.9553191065788269,
      "learning_rate": 9.819777777777778e-05,
      "loss": 0.0421,
      "step": 8110
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 0.6504790782928467,
      "learning_rate": 9.819555555555556e-05,
      "loss": 0.0435,
      "step": 8120
    },
    {
      "epoch": 1.084,
      "grad_norm": 0.49485841393470764,
      "learning_rate": 9.819333333333333e-05,
      "loss": 0.0365,
      "step": 8130
    },
    {
      "epoch": 1.0853333333333333,
      "grad_norm": 0.5792504549026489,
      "learning_rate": 9.819111111111111e-05,
      "loss": 0.0511,
      "step": 8140
    },
    {
      "epoch": 1.0866666666666667,
      "grad_norm": 1.3188589811325073,
      "learning_rate": 9.81888888888889e-05,
      "loss": 0.0505,
      "step": 8150
    },
    {
      "epoch": 1.088,
      "grad_norm": 0.9007806777954102,
      "learning_rate": 9.818666666666667e-05,
      "loss": 0.0551,
      "step": 8160
    },
    {
      "epoch": 1.0893333333333333,
      "grad_norm": 0.4510380029678345,
      "learning_rate": 9.818444444444444e-05,
      "loss": 0.0473,
      "step": 8170
    },
    {
      "epoch": 1.0906666666666667,
      "grad_norm": 0.9758928418159485,
      "learning_rate": 9.818222222222223e-05,
      "loss": 0.0485,
      "step": 8180
    },
    {
      "epoch": 1.092,
      "grad_norm": 0.4161930978298187,
      "learning_rate": 9.818000000000001e-05,
      "loss": 0.0464,
      "step": 8190
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 0.6858192086219788,
      "learning_rate": 9.817777777777778e-05,
      "loss": 0.0501,
      "step": 8200
    },
    {
      "epoch": 1.0946666666666667,
      "grad_norm": 0.33236703276634216,
      "learning_rate": 9.817555555555557e-05,
      "loss": 0.0475,
      "step": 8210
    },
    {
      "epoch": 1.096,
      "grad_norm": 0.6676431894302368,
      "learning_rate": 9.817333333333334e-05,
      "loss": 0.0513,
      "step": 8220
    },
    {
      "epoch": 1.0973333333333333,
      "grad_norm": 0.5946024656295776,
      "learning_rate": 9.817111111111111e-05,
      "loss": 0.0614,
      "step": 8230
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 0.5732895135879517,
      "learning_rate": 9.81688888888889e-05,
      "loss": 0.0451,
      "step": 8240
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.8067439198493958,
      "learning_rate": 9.816666666666668e-05,
      "loss": 0.0569,
      "step": 8250
    },
    {
      "epoch": 1.1013333333333333,
      "grad_norm": 0.8324154019355774,
      "learning_rate": 9.816444444444445e-05,
      "loss": 0.0473,
      "step": 8260
    },
    {
      "epoch": 1.1026666666666667,
      "grad_norm": 0.7713639736175537,
      "learning_rate": 9.816222222222222e-05,
      "loss": 0.0345,
      "step": 8270
    },
    {
      "epoch": 1.104,
      "grad_norm": 1.7986130714416504,
      "learning_rate": 9.816000000000001e-05,
      "loss": 0.0489,
      "step": 8280
    },
    {
      "epoch": 1.1053333333333333,
      "grad_norm": 1.1817142963409424,
      "learning_rate": 9.815777777777779e-05,
      "loss": 0.0506,
      "step": 8290
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 1.6040031909942627,
      "learning_rate": 9.815555555555555e-05,
      "loss": 0.0464,
      "step": 8300
    },
    {
      "epoch": 1.108,
      "grad_norm": 1.016440987586975,
      "learning_rate": 9.815333333333334e-05,
      "loss": 0.0561,
      "step": 8310
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 0.9519509077072144,
      "learning_rate": 9.815111111111112e-05,
      "loss": 0.042,
      "step": 8320
    },
    {
      "epoch": 1.1106666666666667,
      "grad_norm": 0.7196094393730164,
      "learning_rate": 9.81488888888889e-05,
      "loss": 0.0505,
      "step": 8330
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.46475502848625183,
      "learning_rate": 9.814666666666667e-05,
      "loss": 0.0627,
      "step": 8340
    },
    {
      "epoch": 1.1133333333333333,
      "grad_norm": 0.49558037519454956,
      "learning_rate": 9.814444444444445e-05,
      "loss": 0.0536,
      "step": 8350
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 0.4661470055580139,
      "learning_rate": 9.814222222222223e-05,
      "loss": 0.0569,
      "step": 8360
    },
    {
      "epoch": 1.116,
      "grad_norm": 0.5923239588737488,
      "learning_rate": 9.814e-05,
      "loss": 0.0381,
      "step": 8370
    },
    {
      "epoch": 1.1173333333333333,
      "grad_norm": 0.9413095116615295,
      "learning_rate": 9.813777777777778e-05,
      "loss": 0.0555,
      "step": 8380
    },
    {
      "epoch": 1.1186666666666667,
      "grad_norm": 0.366294801235199,
      "learning_rate": 9.813555555555556e-05,
      "loss": 0.0389,
      "step": 8390
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.36890652775764465,
      "learning_rate": 9.813333333333334e-05,
      "loss": 0.0475,
      "step": 8400
    },
    {
      "epoch": 1.1213333333333333,
      "grad_norm": 1.6054147481918335,
      "learning_rate": 9.813111111111112e-05,
      "loss": 0.0577,
      "step": 8410
    },
    {
      "epoch": 1.1226666666666667,
      "grad_norm": 0.5342079997062683,
      "learning_rate": 9.812888888888889e-05,
      "loss": 0.0643,
      "step": 8420
    },
    {
      "epoch": 1.124,
      "grad_norm": 0.8365785479545593,
      "learning_rate": 9.812666666666667e-05,
      "loss": 0.0416,
      "step": 8430
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 0.3117028474807739,
      "learning_rate": 9.812444444444445e-05,
      "loss": 0.0484,
      "step": 8440
    },
    {
      "epoch": 1.1266666666666667,
      "grad_norm": 0.6557479500770569,
      "learning_rate": 9.812222222222223e-05,
      "loss": 0.0589,
      "step": 8450
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 1.1081253290176392,
      "learning_rate": 9.812e-05,
      "loss": 0.0422,
      "step": 8460
    },
    {
      "epoch": 1.1293333333333333,
      "grad_norm": 0.7945002317428589,
      "learning_rate": 9.811777777777778e-05,
      "loss": 0.0388,
      "step": 8470
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 0.6135393381118774,
      "learning_rate": 9.811555555555556e-05,
      "loss": 0.0364,
      "step": 8480
    },
    {
      "epoch": 1.1320000000000001,
      "grad_norm": 0.7180660367012024,
      "learning_rate": 9.811333333333333e-05,
      "loss": 0.0418,
      "step": 8490
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.7114206552505493,
      "learning_rate": 9.811111111111113e-05,
      "loss": 0.0491,
      "step": 8500
    },
    {
      "epoch": 1.1346666666666667,
      "grad_norm": 0.6990856528282166,
      "learning_rate": 9.810888888888889e-05,
      "loss": 0.0414,
      "step": 8510
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.7214775681495667,
      "learning_rate": 9.810666666666667e-05,
      "loss": 0.0357,
      "step": 8520
    },
    {
      "epoch": 1.1373333333333333,
      "grad_norm": 1.0629504919052124,
      "learning_rate": 9.810444444444446e-05,
      "loss": 0.0561,
      "step": 8530
    },
    {
      "epoch": 1.1386666666666667,
      "grad_norm": 0.31997546553611755,
      "learning_rate": 9.810222222222224e-05,
      "loss": 0.0499,
      "step": 8540
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 2.0269241333007812,
      "learning_rate": 9.81e-05,
      "loss": 0.0638,
      "step": 8550
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 0.6554064750671387,
      "learning_rate": 9.809777777777778e-05,
      "loss": 0.0407,
      "step": 8560
    },
    {
      "epoch": 1.1426666666666667,
      "grad_norm": 0.7599751949310303,
      "learning_rate": 9.809555555555557e-05,
      "loss": 0.0385,
      "step": 8570
    },
    {
      "epoch": 1.144,
      "grad_norm": 0.7867686152458191,
      "learning_rate": 9.809333333333333e-05,
      "loss": 0.043,
      "step": 8580
    },
    {
      "epoch": 1.1453333333333333,
      "grad_norm": 0.5911650061607361,
      "learning_rate": 9.809111111111111e-05,
      "loss": 0.0328,
      "step": 8590
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 0.9370360970497131,
      "learning_rate": 9.80888888888889e-05,
      "loss": 0.0413,
      "step": 8600
    },
    {
      "epoch": 1.148,
      "grad_norm": 0.8364652991294861,
      "learning_rate": 9.808666666666668e-05,
      "loss": 0.0461,
      "step": 8610
    },
    {
      "epoch": 1.1493333333333333,
      "grad_norm": 0.4825080633163452,
      "learning_rate": 9.808444444444444e-05,
      "loss": 0.0316,
      "step": 8620
    },
    {
      "epoch": 1.1506666666666667,
      "grad_norm": 0.49851348996162415,
      "learning_rate": 9.808222222222223e-05,
      "loss": 0.0586,
      "step": 8630
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.9189861416816711,
      "learning_rate": 9.808000000000001e-05,
      "loss": 0.034,
      "step": 8640
    },
    {
      "epoch": 1.1533333333333333,
      "grad_norm": 0.15916167199611664,
      "learning_rate": 9.807777777777777e-05,
      "loss": 0.0478,
      "step": 8650
    },
    {
      "epoch": 1.1546666666666667,
      "grad_norm": 0.8630664944648743,
      "learning_rate": 9.807555555555556e-05,
      "loss": 0.0566,
      "step": 8660
    },
    {
      "epoch": 1.156,
      "grad_norm": 1.0914303064346313,
      "learning_rate": 9.807333333333334e-05,
      "loss": 0.0598,
      "step": 8670
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 0.48019444942474365,
      "learning_rate": 9.807111111111112e-05,
      "loss": 0.0413,
      "step": 8680
    },
    {
      "epoch": 1.1586666666666667,
      "grad_norm": 0.7360893487930298,
      "learning_rate": 9.80688888888889e-05,
      "loss": 0.0414,
      "step": 8690
    },
    {
      "epoch": 1.16,
      "grad_norm": 2.370424270629883,
      "learning_rate": 9.806666666666667e-05,
      "loss": 0.0413,
      "step": 8700
    },
    {
      "epoch": 1.1613333333333333,
      "grad_norm": 0.5333515405654907,
      "learning_rate": 9.806444444444445e-05,
      "loss": 0.0463,
      "step": 8710
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 0.4509480595588684,
      "learning_rate": 9.806222222222222e-05,
      "loss": 0.0561,
      "step": 8720
    },
    {
      "epoch": 1.164,
      "grad_norm": 1.0807753801345825,
      "learning_rate": 9.806e-05,
      "loss": 0.0532,
      "step": 8730
    },
    {
      "epoch": 1.1653333333333333,
      "grad_norm": 0.8222978711128235,
      "learning_rate": 9.805777777777778e-05,
      "loss": 0.0571,
      "step": 8740
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 0.8197139501571655,
      "learning_rate": 9.805555555555556e-05,
      "loss": 0.0412,
      "step": 8750
    },
    {
      "epoch": 1.168,
      "grad_norm": 1.1674379110336304,
      "learning_rate": 9.805333333333334e-05,
      "loss": 0.0511,
      "step": 8760
    },
    {
      "epoch": 1.1693333333333333,
      "grad_norm": 0.5552994012832642,
      "learning_rate": 9.805111111111112e-05,
      "loss": 0.0618,
      "step": 8770
    },
    {
      "epoch": 1.1706666666666667,
      "grad_norm": 0.7008764743804932,
      "learning_rate": 9.80488888888889e-05,
      "loss": 0.0422,
      "step": 8780
    },
    {
      "epoch": 1.172,
      "grad_norm": 0.5855499505996704,
      "learning_rate": 9.804666666666667e-05,
      "loss": 0.0364,
      "step": 8790
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 0.6803079843521118,
      "learning_rate": 9.804444444444445e-05,
      "loss": 0.0566,
      "step": 8800
    },
    {
      "epoch": 1.1746666666666667,
      "grad_norm": 0.43551531434059143,
      "learning_rate": 9.804222222222223e-05,
      "loss": 0.0512,
      "step": 8810
    },
    {
      "epoch": 1.176,
      "grad_norm": 1.473017930984497,
      "learning_rate": 9.804e-05,
      "loss": 0.0507,
      "step": 8820
    },
    {
      "epoch": 1.1773333333333333,
      "grad_norm": 0.6983222365379333,
      "learning_rate": 9.803777777777778e-05,
      "loss": 0.0433,
      "step": 8830
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 1.7675515413284302,
      "learning_rate": 9.803555555555556e-05,
      "loss": 0.05,
      "step": 8840
    },
    {
      "epoch": 1.18,
      "grad_norm": 0.5636600852012634,
      "learning_rate": 9.803333333333334e-05,
      "loss": 0.0446,
      "step": 8850
    },
    {
      "epoch": 1.1813333333333333,
      "grad_norm": 1.574252963066101,
      "learning_rate": 9.803111111111111e-05,
      "loss": 0.0387,
      "step": 8860
    },
    {
      "epoch": 1.1826666666666668,
      "grad_norm": 0.8962711691856384,
      "learning_rate": 9.802888888888889e-05,
      "loss": 0.0448,
      "step": 8870
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.6452099084854126,
      "learning_rate": 9.802666666666667e-05,
      "loss": 0.0456,
      "step": 8880
    },
    {
      "epoch": 1.1853333333333333,
      "grad_norm": 1.4068955183029175,
      "learning_rate": 9.802444444444446e-05,
      "loss": 0.0407,
      "step": 8890
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 1.7600018978118896,
      "learning_rate": 9.802222222222222e-05,
      "loss": 0.0536,
      "step": 8900
    },
    {
      "epoch": 1.188,
      "grad_norm": 0.8695300817489624,
      "learning_rate": 9.802e-05,
      "loss": 0.0428,
      "step": 8910
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 1.012143850326538,
      "learning_rate": 9.801777777777779e-05,
      "loss": 0.0429,
      "step": 8920
    },
    {
      "epoch": 1.1906666666666668,
      "grad_norm": 0.22412672638893127,
      "learning_rate": 9.801555555555555e-05,
      "loss": 0.0413,
      "step": 8930
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.8715906739234924,
      "learning_rate": 9.801333333333333e-05,
      "loss": 0.0381,
      "step": 8940
    },
    {
      "epoch": 1.1933333333333334,
      "grad_norm": 0.35103723406791687,
      "learning_rate": 9.801111111111112e-05,
      "loss": 0.0445,
      "step": 8950
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 1.3989650011062622,
      "learning_rate": 9.80088888888889e-05,
      "loss": 0.0524,
      "step": 8960
    },
    {
      "epoch": 1.196,
      "grad_norm": 1.167037844657898,
      "learning_rate": 9.800666666666666e-05,
      "loss": 0.0556,
      "step": 8970
    },
    {
      "epoch": 1.1973333333333334,
      "grad_norm": 1.2409451007843018,
      "learning_rate": 9.800444444444446e-05,
      "loss": 0.0482,
      "step": 8980
    },
    {
      "epoch": 1.1986666666666665,
      "grad_norm": 0.6112341284751892,
      "learning_rate": 9.800222222222223e-05,
      "loss": 0.0525,
      "step": 8990
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.7574793100357056,
      "learning_rate": 9.8e-05,
      "loss": 0.0462,
      "step": 9000
    },
    {
      "epoch": 1.2013333333333334,
      "grad_norm": 0.7686020135879517,
      "learning_rate": 9.799777777777777e-05,
      "loss": 0.0515,
      "step": 9010
    },
    {
      "epoch": 1.2026666666666666,
      "grad_norm": 0.7616062760353088,
      "learning_rate": 9.799555555555557e-05,
      "loss": 0.041,
      "step": 9020
    },
    {
      "epoch": 1.204,
      "grad_norm": 0.4461015462875366,
      "learning_rate": 9.799333333333334e-05,
      "loss": 0.0432,
      "step": 9030
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 0.736389696598053,
      "learning_rate": 9.79911111111111e-05,
      "loss": 0.043,
      "step": 9040
    },
    {
      "epoch": 1.2066666666666666,
      "grad_norm": 0.6053535342216492,
      "learning_rate": 9.79888888888889e-05,
      "loss": 0.0457,
      "step": 9050
    },
    {
      "epoch": 1.208,
      "grad_norm": 0.6945793032646179,
      "learning_rate": 9.798666666666667e-05,
      "loss": 0.0403,
      "step": 9060
    },
    {
      "epoch": 1.2093333333333334,
      "grad_norm": 0.5903154015541077,
      "learning_rate": 9.798444444444444e-05,
      "loss": 0.0507,
      "step": 9070
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 1.3217562437057495,
      "learning_rate": 9.798222222222223e-05,
      "loss": 0.051,
      "step": 9080
    },
    {
      "epoch": 1.212,
      "grad_norm": 0.9625356197357178,
      "learning_rate": 9.798000000000001e-05,
      "loss": 0.0559,
      "step": 9090
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 0.5608991384506226,
      "learning_rate": 9.797777777777778e-05,
      "loss": 0.0439,
      "step": 9100
    },
    {
      "epoch": 1.2146666666666666,
      "grad_norm": 0.716122031211853,
      "learning_rate": 9.797555555555556e-05,
      "loss": 0.0428,
      "step": 9110
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.9197945594787598,
      "learning_rate": 9.797333333333334e-05,
      "loss": 0.0455,
      "step": 9120
    },
    {
      "epoch": 1.2173333333333334,
      "grad_norm": 0.8700023889541626,
      "learning_rate": 9.797111111111112e-05,
      "loss": 0.0564,
      "step": 9130
    },
    {
      "epoch": 1.2186666666666666,
      "grad_norm": 0.3421676456928253,
      "learning_rate": 9.79688888888889e-05,
      "loss": 0.037,
      "step": 9140
    },
    {
      "epoch": 1.22,
      "grad_norm": 0.7996587157249451,
      "learning_rate": 9.796666666666667e-05,
      "loss": 0.0647,
      "step": 9150
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 0.6394308805465698,
      "learning_rate": 9.796444444444445e-05,
      "loss": 0.0395,
      "step": 9160
    },
    {
      "epoch": 1.2226666666666666,
      "grad_norm": 0.9239229559898376,
      "learning_rate": 9.796222222222223e-05,
      "loss": 0.0503,
      "step": 9170
    },
    {
      "epoch": 1.224,
      "grad_norm": 0.8214027881622314,
      "learning_rate": 9.796e-05,
      "loss": 0.0587,
      "step": 9180
    },
    {
      "epoch": 1.2253333333333334,
      "grad_norm": 0.5251531004905701,
      "learning_rate": 9.795777777777778e-05,
      "loss": 0.0408,
      "step": 9190
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 0.40320029854774475,
      "learning_rate": 9.795555555555556e-05,
      "loss": 0.043,
      "step": 9200
    },
    {
      "epoch": 1.228,
      "grad_norm": 2.242475748062134,
      "learning_rate": 9.795333333333334e-05,
      "loss": 0.055,
      "step": 9210
    },
    {
      "epoch": 1.2293333333333334,
      "grad_norm": 1.461083173751831,
      "learning_rate": 9.795111111111111e-05,
      "loss": 0.039,
      "step": 9220
    },
    {
      "epoch": 1.2306666666666666,
      "grad_norm": 0.9399189949035645,
      "learning_rate": 9.794888888888889e-05,
      "loss": 0.042,
      "step": 9230
    },
    {
      "epoch": 1.232,
      "grad_norm": 1.72615647315979,
      "learning_rate": 9.794666666666668e-05,
      "loss": 0.0428,
      "step": 9240
    },
    {
      "epoch": 1.2333333333333334,
      "grad_norm": 0.3741137683391571,
      "learning_rate": 9.794444444444445e-05,
      "loss": 0.0347,
      "step": 9250
    },
    {
      "epoch": 1.2346666666666666,
      "grad_norm": 0.7163243889808655,
      "learning_rate": 9.794222222222222e-05,
      "loss": 0.0422,
      "step": 9260
    },
    {
      "epoch": 1.236,
      "grad_norm": 0.31123223900794983,
      "learning_rate": 9.794000000000001e-05,
      "loss": 0.0338,
      "step": 9270
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 0.31743061542510986,
      "learning_rate": 9.793777777777778e-05,
      "loss": 0.0589,
      "step": 9280
    },
    {
      "epoch": 1.2386666666666666,
      "grad_norm": 1.0640747547149658,
      "learning_rate": 9.793555555555556e-05,
      "loss": 0.0591,
      "step": 9290
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.4904068410396576,
      "learning_rate": 9.793333333333333e-05,
      "loss": 0.0495,
      "step": 9300
    },
    {
      "epoch": 1.2413333333333334,
      "grad_norm": 0.4831009805202484,
      "learning_rate": 9.793111111111112e-05,
      "loss": 0.0533,
      "step": 9310
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 2.5692310333251953,
      "learning_rate": 9.792888888888889e-05,
      "loss": 0.0422,
      "step": 9320
    },
    {
      "epoch": 1.244,
      "grad_norm": 1.289688229560852,
      "learning_rate": 9.792666666666667e-05,
      "loss": 0.0565,
      "step": 9330
    },
    {
      "epoch": 1.2453333333333334,
      "grad_norm": 0.26969727873802185,
      "learning_rate": 9.792444444444446e-05,
      "loss": 0.0567,
      "step": 9340
    },
    {
      "epoch": 1.2466666666666666,
      "grad_norm": 0.5294532179832458,
      "learning_rate": 9.792222222222222e-05,
      "loss": 0.0536,
      "step": 9350
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.9065533876419067,
      "learning_rate": 9.792e-05,
      "loss": 0.0354,
      "step": 9360
    },
    {
      "epoch": 1.2493333333333334,
      "grad_norm": 0.898812472820282,
      "learning_rate": 9.791777777777779e-05,
      "loss": 0.0365,
      "step": 9370
    },
    {
      "epoch": 1.2506666666666666,
      "grad_norm": 1.9648172855377197,
      "learning_rate": 9.791555555555557e-05,
      "loss": 0.0461,
      "step": 9380
    },
    {
      "epoch": 1.252,
      "grad_norm": 0.8298425674438477,
      "learning_rate": 9.791333333333333e-05,
      "loss": 0.0451,
      "step": 9390
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 0.6968161463737488,
      "learning_rate": 9.791111111111112e-05,
      "loss": 0.0595,
      "step": 9400
    },
    {
      "epoch": 1.2546666666666666,
      "grad_norm": 0.6171115040779114,
      "learning_rate": 9.79088888888889e-05,
      "loss": 0.0425,
      "step": 9410
    },
    {
      "epoch": 1.256,
      "grad_norm": 0.7106355428695679,
      "learning_rate": 9.790666666666666e-05,
      "loss": 0.0525,
      "step": 9420
    },
    {
      "epoch": 1.2573333333333334,
      "grad_norm": 0.8814090490341187,
      "learning_rate": 9.790444444444445e-05,
      "loss": 0.0548,
      "step": 9430
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 0.5891090631484985,
      "learning_rate": 9.790222222222223e-05,
      "loss": 0.0602,
      "step": 9440
    },
    {
      "epoch": 1.26,
      "grad_norm": 1.2885034084320068,
      "learning_rate": 9.790000000000001e-05,
      "loss": 0.038,
      "step": 9450
    },
    {
      "epoch": 1.2613333333333334,
      "grad_norm": 1.0072709321975708,
      "learning_rate": 9.789777777777777e-05,
      "loss": 0.0412,
      "step": 9460
    },
    {
      "epoch": 1.2626666666666666,
      "grad_norm": 1.8800259828567505,
      "learning_rate": 9.789555555555556e-05,
      "loss": 0.0448,
      "step": 9470
    },
    {
      "epoch": 1.264,
      "grad_norm": 1.405038833618164,
      "learning_rate": 9.789333333333334e-05,
      "loss": 0.0378,
      "step": 9480
    },
    {
      "epoch": 1.2653333333333334,
      "grad_norm": 0.48764920234680176,
      "learning_rate": 9.789111111111112e-05,
      "loss": 0.0545,
      "step": 9490
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 1.0266523361206055,
      "learning_rate": 9.78888888888889e-05,
      "loss": 0.0341,
      "step": 9500
    },
    {
      "epoch": 1.268,
      "grad_norm": 1.0600167512893677,
      "learning_rate": 9.788666666666667e-05,
      "loss": 0.0564,
      "step": 9510
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 0.7410970330238342,
      "learning_rate": 9.788444444444445e-05,
      "loss": 0.0637,
      "step": 9520
    },
    {
      "epoch": 1.2706666666666666,
      "grad_norm": 0.9114136695861816,
      "learning_rate": 9.788222222222223e-05,
      "loss": 0.0403,
      "step": 9530
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.4365360140800476,
      "learning_rate": 9.788e-05,
      "loss": 0.04,
      "step": 9540
    },
    {
      "epoch": 1.2733333333333334,
      "grad_norm": 1.1663036346435547,
      "learning_rate": 9.787777777777778e-05,
      "loss": 0.0507,
      "step": 9550
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 0.4862734377384186,
      "learning_rate": 9.787555555555556e-05,
      "loss": 0.054,
      "step": 9560
    },
    {
      "epoch": 1.276,
      "grad_norm": 0.6323462128639221,
      "learning_rate": 9.787333333333334e-05,
      "loss": 0.0361,
      "step": 9570
    },
    {
      "epoch": 1.2773333333333334,
      "grad_norm": 1.6381049156188965,
      "learning_rate": 9.787111111111111e-05,
      "loss": 0.0636,
      "step": 9580
    },
    {
      "epoch": 1.2786666666666666,
      "grad_norm": 1.6808512210845947,
      "learning_rate": 9.78688888888889e-05,
      "loss": 0.068,
      "step": 9590
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.8806697726249695,
      "learning_rate": 9.786666666666667e-05,
      "loss": 0.0685,
      "step": 9600
    },
    {
      "epoch": 1.2813333333333334,
      "grad_norm": 0.5014989376068115,
      "learning_rate": 9.786444444444445e-05,
      "loss": 0.0462,
      "step": 9610
    },
    {
      "epoch": 1.2826666666666666,
      "grad_norm": 0.7954228520393372,
      "learning_rate": 9.786222222222222e-05,
      "loss": 0.0674,
      "step": 9620
    },
    {
      "epoch": 1.284,
      "grad_norm": 0.488647997379303,
      "learning_rate": 9.786e-05,
      "loss": 0.041,
      "step": 9630
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.702581524848938,
      "learning_rate": 9.785777777777778e-05,
      "loss": 0.0568,
      "step": 9640
    },
    {
      "epoch": 1.2866666666666666,
      "grad_norm": 1.259894609451294,
      "learning_rate": 9.785555555555556e-05,
      "loss": 0.0421,
      "step": 9650
    },
    {
      "epoch": 1.288,
      "grad_norm": 0.7746155858039856,
      "learning_rate": 9.785333333333335e-05,
      "loss": 0.0426,
      "step": 9660
    },
    {
      "epoch": 1.2893333333333334,
      "grad_norm": 0.39059290289878845,
      "learning_rate": 9.785111111111111e-05,
      "loss": 0.0373,
      "step": 9670
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 0.3941512703895569,
      "learning_rate": 9.784888888888889e-05,
      "loss": 0.0343,
      "step": 9680
    },
    {
      "epoch": 1.292,
      "grad_norm": 2.1592605113983154,
      "learning_rate": 9.784666666666668e-05,
      "loss": 0.051,
      "step": 9690
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 0.5533666610717773,
      "learning_rate": 9.784444444444444e-05,
      "loss": 0.0531,
      "step": 9700
    },
    {
      "epoch": 1.2946666666666666,
      "grad_norm": 0.4481334984302521,
      "learning_rate": 9.784222222222222e-05,
      "loss": 0.065,
      "step": 9710
    },
    {
      "epoch": 1.296,
      "grad_norm": 1.5120015144348145,
      "learning_rate": 9.784000000000001e-05,
      "loss": 0.0464,
      "step": 9720
    },
    {
      "epoch": 1.2973333333333334,
      "grad_norm": 0.3989355266094208,
      "learning_rate": 9.783777777777779e-05,
      "loss": 0.0534,
      "step": 9730
    },
    {
      "epoch": 1.2986666666666666,
      "grad_norm": 0.3462103307247162,
      "learning_rate": 9.783555555555555e-05,
      "loss": 0.0429,
      "step": 9740
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.5514076948165894,
      "learning_rate": 9.783333333333334e-05,
      "loss": 0.0409,
      "step": 9750
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 0.5179997682571411,
      "learning_rate": 9.783111111111112e-05,
      "loss": 0.0513,
      "step": 9760
    },
    {
      "epoch": 1.3026666666666666,
      "grad_norm": 0.5074266195297241,
      "learning_rate": 9.782888888888889e-05,
      "loss": 0.08,
      "step": 9770
    },
    {
      "epoch": 1.304,
      "grad_norm": 0.8463642597198486,
      "learning_rate": 9.782666666666666e-05,
      "loss": 0.0501,
      "step": 9780
    },
    {
      "epoch": 1.3053333333333335,
      "grad_norm": 1.154494047164917,
      "learning_rate": 9.782444444444445e-05,
      "loss": 0.0394,
      "step": 9790
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 1.1604275703430176,
      "learning_rate": 9.782222222222223e-05,
      "loss": 0.0451,
      "step": 9800
    },
    {
      "epoch": 1.308,
      "grad_norm": 0.2437620609998703,
      "learning_rate": 9.782e-05,
      "loss": 0.036,
      "step": 9810
    },
    {
      "epoch": 1.3093333333333335,
      "grad_norm": 0.6610987186431885,
      "learning_rate": 9.781777777777779e-05,
      "loss": 0.0421,
      "step": 9820
    },
    {
      "epoch": 1.3106666666666666,
      "grad_norm": 0.5845462083816528,
      "learning_rate": 9.781555555555556e-05,
      "loss": 0.0504,
      "step": 9830
    },
    {
      "epoch": 1.312,
      "grad_norm": 1.9644246101379395,
      "learning_rate": 9.781333333333334e-05,
      "loss": 0.0483,
      "step": 9840
    },
    {
      "epoch": 1.3133333333333335,
      "grad_norm": 0.7009211182594299,
      "learning_rate": 9.781111111111112e-05,
      "loss": 0.0392,
      "step": 9850
    },
    {
      "epoch": 1.3146666666666667,
      "grad_norm": 1.1387977600097656,
      "learning_rate": 9.78088888888889e-05,
      "loss": 0.0346,
      "step": 9860
    },
    {
      "epoch": 1.316,
      "grad_norm": 1.0656887292861938,
      "learning_rate": 9.780666666666667e-05,
      "loss": 0.0475,
      "step": 9870
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 1.290427327156067,
      "learning_rate": 9.780444444444445e-05,
      "loss": 0.0436,
      "step": 9880
    },
    {
      "epoch": 1.3186666666666667,
      "grad_norm": 0.41455990076065063,
      "learning_rate": 9.780222222222223e-05,
      "loss": 0.0545,
      "step": 9890
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.30426523089408875,
      "learning_rate": 9.78e-05,
      "loss": 0.0453,
      "step": 9900
    },
    {
      "epoch": 1.3213333333333335,
      "grad_norm": 0.7391688823699951,
      "learning_rate": 9.779777777777778e-05,
      "loss": 0.0673,
      "step": 9910
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 0.47566238045692444,
      "learning_rate": 9.779555555555556e-05,
      "loss": 0.0708,
      "step": 9920
    },
    {
      "epoch": 1.324,
      "grad_norm": 0.5495650768280029,
      "learning_rate": 9.779333333333334e-05,
      "loss": 0.0468,
      "step": 9930
    },
    {
      "epoch": 1.3253333333333333,
      "grad_norm": 1.5952609777450562,
      "learning_rate": 9.779111111111112e-05,
      "loss": 0.051,
      "step": 9940
    },
    {
      "epoch": 1.3266666666666667,
      "grad_norm": 0.5586755275726318,
      "learning_rate": 9.778888888888889e-05,
      "loss": 0.0392,
      "step": 9950
    },
    {
      "epoch": 1.328,
      "grad_norm": 1.281481146812439,
      "learning_rate": 9.778666666666667e-05,
      "loss": 0.0548,
      "step": 9960
    },
    {
      "epoch": 1.3293333333333333,
      "grad_norm": 1.8820947408676147,
      "learning_rate": 9.778444444444445e-05,
      "loss": 0.0593,
      "step": 9970
    },
    {
      "epoch": 1.3306666666666667,
      "grad_norm": 1.2427703142166138,
      "learning_rate": 9.778222222222222e-05,
      "loss": 0.0354,
      "step": 9980
    },
    {
      "epoch": 1.332,
      "grad_norm": 1.45065438747406,
      "learning_rate": 9.778e-05,
      "loss": 0.0575,
      "step": 9990
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.5318569540977478,
      "learning_rate": 9.777777777777778e-05,
      "loss": 0.0421,
      "step": 10000
    },
    {
      "epoch": 1.3346666666666667,
      "grad_norm": 1.0376482009887695,
      "learning_rate": 9.777555555555557e-05,
      "loss": 0.0369,
      "step": 10010
    },
    {
      "epoch": 1.336,
      "grad_norm": 1.574534296989441,
      "learning_rate": 9.777333333333333e-05,
      "loss": 0.0488,
      "step": 10020
    },
    {
      "epoch": 1.3373333333333333,
      "grad_norm": 1.4119641780853271,
      "learning_rate": 9.777111111111111e-05,
      "loss": 0.0439,
      "step": 10030
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 3.0128862857818604,
      "learning_rate": 9.77688888888889e-05,
      "loss": 0.0415,
      "step": 10040
    },
    {
      "epoch": 1.34,
      "grad_norm": 0.5490385293960571,
      "learning_rate": 9.776666666666667e-05,
      "loss": 0.0343,
      "step": 10050
    },
    {
      "epoch": 1.3413333333333333,
      "grad_norm": 0.7902372479438782,
      "learning_rate": 9.776444444444444e-05,
      "loss": 0.0672,
      "step": 10060
    },
    {
      "epoch": 1.3426666666666667,
      "grad_norm": 1.2261968851089478,
      "learning_rate": 9.776222222222222e-05,
      "loss": 0.0596,
      "step": 10070
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.6933780908584595,
      "learning_rate": 9.776000000000001e-05,
      "loss": 0.0387,
      "step": 10080
    },
    {
      "epoch": 1.3453333333333333,
      "grad_norm": 0.26919063925743103,
      "learning_rate": 9.775777777777778e-05,
      "loss": 0.0482,
      "step": 10090
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 1.8790004253387451,
      "learning_rate": 9.775555555555555e-05,
      "loss": 0.0633,
      "step": 10100
    },
    {
      "epoch": 1.3479999999999999,
      "grad_norm": 0.2229151874780655,
      "learning_rate": 9.775333333333334e-05,
      "loss": 0.0408,
      "step": 10110
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 0.2589069902896881,
      "learning_rate": 9.775111111111111e-05,
      "loss": 0.0535,
      "step": 10120
    },
    {
      "epoch": 1.3506666666666667,
      "grad_norm": 0.48993727564811707,
      "learning_rate": 9.774888888888889e-05,
      "loss": 0.0489,
      "step": 10130
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.5401754379272461,
      "learning_rate": 9.774666666666668e-05,
      "loss": 0.0593,
      "step": 10140
    },
    {
      "epoch": 1.3533333333333333,
      "grad_norm": 0.3597528338432312,
      "learning_rate": 9.774444444444445e-05,
      "loss": 0.0362,
      "step": 10150
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 1.3392843008041382,
      "learning_rate": 9.774222222222222e-05,
      "loss": 0.058,
      "step": 10160
    },
    {
      "epoch": 1.3559999999999999,
      "grad_norm": 0.7916804552078247,
      "learning_rate": 9.774000000000001e-05,
      "loss": 0.0432,
      "step": 10170
    },
    {
      "epoch": 1.3573333333333333,
      "grad_norm": 0.9713249802589417,
      "learning_rate": 9.773777777777779e-05,
      "loss": 0.0549,
      "step": 10180
    },
    {
      "epoch": 1.3586666666666667,
      "grad_norm": 0.7875937819480896,
      "learning_rate": 9.773555555555556e-05,
      "loss": 0.0557,
      "step": 10190
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.4952574074268341,
      "learning_rate": 9.773333333333334e-05,
      "loss": 0.0303,
      "step": 10200
    },
    {
      "epoch": 1.3613333333333333,
      "grad_norm": 0.8498057126998901,
      "learning_rate": 9.773111111111112e-05,
      "loss": 0.0571,
      "step": 10210
    },
    {
      "epoch": 1.3626666666666667,
      "grad_norm": 0.672048032283783,
      "learning_rate": 9.77288888888889e-05,
      "loss": 0.0498,
      "step": 10220
    },
    {
      "epoch": 1.3639999999999999,
      "grad_norm": 1.4619778394699097,
      "learning_rate": 9.772666666666666e-05,
      "loss": 0.0419,
      "step": 10230
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 1.1603299379348755,
      "learning_rate": 9.772444444444445e-05,
      "loss": 0.0385,
      "step": 10240
    },
    {
      "epoch": 1.3666666666666667,
      "grad_norm": 0.27549687027931213,
      "learning_rate": 9.772222222222223e-05,
      "loss": 0.0568,
      "step": 10250
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 2.0836181640625,
      "learning_rate": 9.772e-05,
      "loss": 0.0573,
      "step": 10260
    },
    {
      "epoch": 1.3693333333333333,
      "grad_norm": 0.3671082854270935,
      "learning_rate": 9.771777777777778e-05,
      "loss": 0.0343,
      "step": 10270
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 2.3429553508758545,
      "learning_rate": 9.771555555555556e-05,
      "loss": 0.0581,
      "step": 10280
    },
    {
      "epoch": 1.3719999999999999,
      "grad_norm": 0.8596582412719727,
      "learning_rate": 9.771333333333334e-05,
      "loss": 0.0392,
      "step": 10290
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 0.6057899594306946,
      "learning_rate": 9.771111111111112e-05,
      "loss": 0.0518,
      "step": 10300
    },
    {
      "epoch": 1.3746666666666667,
      "grad_norm": 0.8859242796897888,
      "learning_rate": 9.77088888888889e-05,
      "loss": 0.0434,
      "step": 10310
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.8052318692207336,
      "learning_rate": 9.770666666666667e-05,
      "loss": 0.0468,
      "step": 10320
    },
    {
      "epoch": 1.3773333333333333,
      "grad_norm": 0.8692706823348999,
      "learning_rate": 9.770444444444445e-05,
      "loss": 0.0358,
      "step": 10330
    },
    {
      "epoch": 1.3786666666666667,
      "grad_norm": 0.6607494950294495,
      "learning_rate": 9.770222222222223e-05,
      "loss": 0.0496,
      "step": 10340
    },
    {
      "epoch": 1.38,
      "grad_norm": 1.953830599784851,
      "learning_rate": 9.77e-05,
      "loss": 0.0538,
      "step": 10350
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 0.6364997029304504,
      "learning_rate": 9.769777777777778e-05,
      "loss": 0.0546,
      "step": 10360
    },
    {
      "epoch": 1.3826666666666667,
      "grad_norm": 0.6190970540046692,
      "learning_rate": 9.769555555555556e-05,
      "loss": 0.0428,
      "step": 10370
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.6311433911323547,
      "learning_rate": 9.769333333333334e-05,
      "loss": 0.0615,
      "step": 10380
    },
    {
      "epoch": 1.3853333333333333,
      "grad_norm": 0.7645562291145325,
      "learning_rate": 9.769111111111111e-05,
      "loss": 0.0348,
      "step": 10390
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 1.5650811195373535,
      "learning_rate": 9.768888888888889e-05,
      "loss": 0.0511,
      "step": 10400
    },
    {
      "epoch": 1.388,
      "grad_norm": 0.8278535604476929,
      "learning_rate": 9.768666666666667e-05,
      "loss": 0.0546,
      "step": 10410
    },
    {
      "epoch": 1.3893333333333333,
      "grad_norm": 0.8376216888427734,
      "learning_rate": 9.768444444444445e-05,
      "loss": 0.048,
      "step": 10420
    },
    {
      "epoch": 1.3906666666666667,
      "grad_norm": 1.414673924446106,
      "learning_rate": 9.768222222222224e-05,
      "loss": 0.0395,
      "step": 10430
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.5384003520011902,
      "learning_rate": 9.768e-05,
      "loss": 0.0517,
      "step": 10440
    },
    {
      "epoch": 1.3933333333333333,
      "grad_norm": 1.0097663402557373,
      "learning_rate": 9.767777777777778e-05,
      "loss": 0.0436,
      "step": 10450
    },
    {
      "epoch": 1.3946666666666667,
      "grad_norm": 0.39289990067481995,
      "learning_rate": 9.767555555555557e-05,
      "loss": 0.0429,
      "step": 10460
    },
    {
      "epoch": 1.396,
      "grad_norm": 0.5742480158805847,
      "learning_rate": 9.767333333333333e-05,
      "loss": 0.0446,
      "step": 10470
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 1.2608760595321655,
      "learning_rate": 9.767111111111111e-05,
      "loss": 0.0524,
      "step": 10480
    },
    {
      "epoch": 1.3986666666666667,
      "grad_norm": 0.5137544274330139,
      "learning_rate": 9.76688888888889e-05,
      "loss": 0.0754,
      "step": 10490
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.548862099647522,
      "learning_rate": 9.766666666666668e-05,
      "loss": 0.0455,
      "step": 10500
    },
    {
      "epoch": 1.4013333333333333,
      "grad_norm": 0.6886299252510071,
      "learning_rate": 9.766444444444444e-05,
      "loss": 0.0542,
      "step": 10510
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 2.0686213970184326,
      "learning_rate": 9.766222222222222e-05,
      "loss": 0.0585,
      "step": 10520
    },
    {
      "epoch": 1.404,
      "grad_norm": 0.4197845160961151,
      "learning_rate": 9.766000000000001e-05,
      "loss": 0.0523,
      "step": 10530
    },
    {
      "epoch": 1.4053333333333333,
      "grad_norm": 0.6686054468154907,
      "learning_rate": 9.765777777777779e-05,
      "loss": 0.0472,
      "step": 10540
    },
    {
      "epoch": 1.4066666666666667,
      "grad_norm": 0.5949705243110657,
      "learning_rate": 9.765555555555555e-05,
      "loss": 0.0368,
      "step": 10550
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.7228628993034363,
      "learning_rate": 9.765333333333334e-05,
      "loss": 0.0372,
      "step": 10560
    },
    {
      "epoch": 1.4093333333333333,
      "grad_norm": 0.38527294993400574,
      "learning_rate": 9.765111111111112e-05,
      "loss": 0.03,
      "step": 10570
    },
    {
      "epoch": 1.4106666666666667,
      "grad_norm": 0.6564380526542664,
      "learning_rate": 9.764888888888888e-05,
      "loss": 0.0425,
      "step": 10580
    },
    {
      "epoch": 1.412,
      "grad_norm": 0.6881827116012573,
      "learning_rate": 9.764666666666667e-05,
      "loss": 0.0408,
      "step": 10590
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.6720611453056335,
      "learning_rate": 9.764444444444445e-05,
      "loss": 0.0465,
      "step": 10600
    },
    {
      "epoch": 1.4146666666666667,
      "grad_norm": 0.9426583647727966,
      "learning_rate": 9.764222222222223e-05,
      "loss": 0.0516,
      "step": 10610
    },
    {
      "epoch": 1.416,
      "grad_norm": 0.8622885942459106,
      "learning_rate": 9.764000000000001e-05,
      "loss": 0.0582,
      "step": 10620
    },
    {
      "epoch": 1.4173333333333333,
      "grad_norm": 0.7110143303871155,
      "learning_rate": 9.763777777777778e-05,
      "loss": 0.0354,
      "step": 10630
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 0.7549372911453247,
      "learning_rate": 9.763555555555556e-05,
      "loss": 0.0296,
      "step": 10640
    },
    {
      "epoch": 1.42,
      "grad_norm": 1.1122164726257324,
      "learning_rate": 9.763333333333334e-05,
      "loss": 0.0382,
      "step": 10650
    },
    {
      "epoch": 1.4213333333333333,
      "grad_norm": 0.5669108033180237,
      "learning_rate": 9.763111111111112e-05,
      "loss": 0.0396,
      "step": 10660
    },
    {
      "epoch": 1.4226666666666667,
      "grad_norm": 0.727308988571167,
      "learning_rate": 9.76288888888889e-05,
      "loss": 0.0388,
      "step": 10670
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.6944188475608826,
      "learning_rate": 9.762666666666667e-05,
      "loss": 0.0526,
      "step": 10680
    },
    {
      "epoch": 1.4253333333333333,
      "grad_norm": 0.502286434173584,
      "learning_rate": 9.762444444444445e-05,
      "loss": 0.0423,
      "step": 10690
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 0.8271933197975159,
      "learning_rate": 9.762222222222223e-05,
      "loss": 0.0466,
      "step": 10700
    },
    {
      "epoch": 1.428,
      "grad_norm": 0.6182698011398315,
      "learning_rate": 9.762e-05,
      "loss": 0.0298,
      "step": 10710
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 0.6034055948257446,
      "learning_rate": 9.761777777777778e-05,
      "loss": 0.0398,
      "step": 10720
    },
    {
      "epoch": 1.4306666666666668,
      "grad_norm": 0.2836580276489258,
      "learning_rate": 9.761555555555556e-05,
      "loss": 0.0297,
      "step": 10730
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.6343992948532104,
      "learning_rate": 9.761333333333334e-05,
      "loss": 0.038,
      "step": 10740
    },
    {
      "epoch": 1.4333333333333333,
      "grad_norm": 0.6941549777984619,
      "learning_rate": 9.761111111111111e-05,
      "loss": 0.0401,
      "step": 10750
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 0.8603251576423645,
      "learning_rate": 9.760888888888889e-05,
      "loss": 0.0421,
      "step": 10760
    },
    {
      "epoch": 1.436,
      "grad_norm": 0.7795286774635315,
      "learning_rate": 9.760666666666667e-05,
      "loss": 0.0426,
      "step": 10770
    },
    {
      "epoch": 1.4373333333333334,
      "grad_norm": 0.4396301805973053,
      "learning_rate": 9.760444444444446e-05,
      "loss": 0.0454,
      "step": 10780
    },
    {
      "epoch": 1.4386666666666668,
      "grad_norm": 0.47679874300956726,
      "learning_rate": 9.760222222222222e-05,
      "loss": 0.0546,
      "step": 10790
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.3878413140773773,
      "learning_rate": 9.76e-05,
      "loss": 0.0432,
      "step": 10800
    },
    {
      "epoch": 1.4413333333333334,
      "grad_norm": 1.0601861476898193,
      "learning_rate": 9.759777777777779e-05,
      "loss": 0.0397,
      "step": 10810
    },
    {
      "epoch": 1.4426666666666668,
      "grad_norm": 2.5667614936828613,
      "learning_rate": 9.759555555555557e-05,
      "loss": 0.0614,
      "step": 10820
    },
    {
      "epoch": 1.444,
      "grad_norm": 0.5894550085067749,
      "learning_rate": 9.759333333333333e-05,
      "loss": 0.0454,
      "step": 10830
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 1.3350454568862915,
      "learning_rate": 9.759111111111111e-05,
      "loss": 0.0503,
      "step": 10840
    },
    {
      "epoch": 1.4466666666666668,
      "grad_norm": 1.103113055229187,
      "learning_rate": 9.75888888888889e-05,
      "loss": 0.0413,
      "step": 10850
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.9976811408996582,
      "learning_rate": 9.758666666666667e-05,
      "loss": 0.0474,
      "step": 10860
    },
    {
      "epoch": 1.4493333333333334,
      "grad_norm": 0.5783788561820984,
      "learning_rate": 9.758444444444444e-05,
      "loss": 0.051,
      "step": 10870
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 2.2803797721862793,
      "learning_rate": 9.758222222222223e-05,
      "loss": 0.0546,
      "step": 10880
    },
    {
      "epoch": 1.452,
      "grad_norm": 0.6612178087234497,
      "learning_rate": 9.758000000000001e-05,
      "loss": 0.0501,
      "step": 10890
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 0.6552777290344238,
      "learning_rate": 9.757777777777777e-05,
      "loss": 0.0523,
      "step": 10900
    },
    {
      "epoch": 1.4546666666666668,
      "grad_norm": 0.6974169611930847,
      "learning_rate": 9.757555555555557e-05,
      "loss": 0.0472,
      "step": 10910
    },
    {
      "epoch": 1.456,
      "grad_norm": 1.0090309381484985,
      "learning_rate": 9.757333333333334e-05,
      "loss": 0.0652,
      "step": 10920
    },
    {
      "epoch": 1.4573333333333334,
      "grad_norm": 0.5050517320632935,
      "learning_rate": 9.757111111111111e-05,
      "loss": 0.0304,
      "step": 10930
    },
    {
      "epoch": 1.4586666666666668,
      "grad_norm": 0.5441057682037354,
      "learning_rate": 9.75688888888889e-05,
      "loss": 0.0589,
      "step": 10940
    },
    {
      "epoch": 1.46,
      "grad_norm": 0.7660716772079468,
      "learning_rate": 9.756666666666668e-05,
      "loss": 0.0352,
      "step": 10950
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 0.5034686326980591,
      "learning_rate": 9.756444444444445e-05,
      "loss": 0.0625,
      "step": 10960
    },
    {
      "epoch": 1.4626666666666668,
      "grad_norm": 0.8469844460487366,
      "learning_rate": 9.756222222222222e-05,
      "loss": 0.0398,
      "step": 10970
    },
    {
      "epoch": 1.464,
      "grad_norm": 1.1120145320892334,
      "learning_rate": 9.756000000000001e-05,
      "loss": 0.0385,
      "step": 10980
    },
    {
      "epoch": 1.4653333333333334,
      "grad_norm": 0.28204870223999023,
      "learning_rate": 9.755777777777779e-05,
      "loss": 0.039,
      "step": 10990
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.4625629782676697,
      "learning_rate": 9.755555555555555e-05,
      "loss": 0.0446,
      "step": 11000
    },
    {
      "epoch": 1.468,
      "grad_norm": 0.9899933338165283,
      "learning_rate": 9.755333333333334e-05,
      "loss": 0.0519,
      "step": 11010
    },
    {
      "epoch": 1.4693333333333334,
      "grad_norm": 1.1604535579681396,
      "learning_rate": 9.755111111111112e-05,
      "loss": 0.0434,
      "step": 11020
    },
    {
      "epoch": 1.4706666666666668,
      "grad_norm": 0.8022365570068359,
      "learning_rate": 9.75488888888889e-05,
      "loss": 0.0449,
      "step": 11030
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.8805333971977234,
      "learning_rate": 9.754666666666667e-05,
      "loss": 0.0382,
      "step": 11040
    },
    {
      "epoch": 1.4733333333333334,
      "grad_norm": 0.5662114024162292,
      "learning_rate": 9.754444444444445e-05,
      "loss": 0.0392,
      "step": 11050
    },
    {
      "epoch": 1.4746666666666668,
      "grad_norm": 0.5022901892662048,
      "learning_rate": 9.754222222222223e-05,
      "loss": 0.0448,
      "step": 11060
    },
    {
      "epoch": 1.476,
      "grad_norm": 0.4532228112220764,
      "learning_rate": 9.754e-05,
      "loss": 0.0367,
      "step": 11070
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 0.7084588408470154,
      "learning_rate": 9.753777777777778e-05,
      "loss": 0.0543,
      "step": 11080
    },
    {
      "epoch": 1.4786666666666668,
      "grad_norm": 0.48619064688682556,
      "learning_rate": 9.753555555555556e-05,
      "loss": 0.044,
      "step": 11090
    },
    {
      "epoch": 1.48,
      "grad_norm": 1.042454719543457,
      "learning_rate": 9.753333333333334e-05,
      "loss": 0.0364,
      "step": 11100
    },
    {
      "epoch": 1.4813333333333334,
      "grad_norm": 0.2644493579864502,
      "learning_rate": 9.753111111111111e-05,
      "loss": 0.0273,
      "step": 11110
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 0.3336498737335205,
      "learning_rate": 9.752888888888889e-05,
      "loss": 0.0415,
      "step": 11120
    },
    {
      "epoch": 1.484,
      "grad_norm": 1.9880971908569336,
      "learning_rate": 9.752666666666667e-05,
      "loss": 0.0554,
      "step": 11130
    },
    {
      "epoch": 1.4853333333333334,
      "grad_norm": 1.6432331800460815,
      "learning_rate": 9.752444444444445e-05,
      "loss": 0.0441,
      "step": 11140
    },
    {
      "epoch": 1.4866666666666668,
      "grad_norm": 1.0224136114120483,
      "learning_rate": 9.752222222222222e-05,
      "loss": 0.0457,
      "step": 11150
    },
    {
      "epoch": 1.488,
      "grad_norm": 1.1172024011611938,
      "learning_rate": 9.752e-05,
      "loss": 0.0573,
      "step": 11160
    },
    {
      "epoch": 1.4893333333333334,
      "grad_norm": 1.280135154724121,
      "learning_rate": 9.751777777777779e-05,
      "loss": 0.0443,
      "step": 11170
    },
    {
      "epoch": 1.4906666666666666,
      "grad_norm": 0.511613667011261,
      "learning_rate": 9.751555555555556e-05,
      "loss": 0.0514,
      "step": 11180
    },
    {
      "epoch": 1.492,
      "grad_norm": 0.6599892377853394,
      "learning_rate": 9.751333333333333e-05,
      "loss": 0.0493,
      "step": 11190
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 0.4849112033843994,
      "learning_rate": 9.751111111111112e-05,
      "loss": 0.0399,
      "step": 11200
    },
    {
      "epoch": 1.4946666666666666,
      "grad_norm": 1.5008331537246704,
      "learning_rate": 9.750888888888889e-05,
      "loss": 0.0439,
      "step": 11210
    },
    {
      "epoch": 1.496,
      "grad_norm": 1.0695030689239502,
      "learning_rate": 9.750666666666667e-05,
      "loss": 0.0398,
      "step": 11220
    },
    {
      "epoch": 1.4973333333333334,
      "grad_norm": 0.4579921066761017,
      "learning_rate": 9.750444444444446e-05,
      "loss": 0.047,
      "step": 11230
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 0.9647570848464966,
      "learning_rate": 9.750222222222223e-05,
      "loss": 0.0495,
      "step": 11240
    },
    {
      "epoch": 1.5,
      "grad_norm": 1.4173500537872314,
      "learning_rate": 9.75e-05,
      "loss": 0.0387,
      "step": 11250
    },
    {
      "epoch": 1.5013333333333332,
      "grad_norm": 1.5858056545257568,
      "learning_rate": 9.749777777777779e-05,
      "loss": 0.0537,
      "step": 11260
    },
    {
      "epoch": 1.5026666666666668,
      "grad_norm": 0.8035841584205627,
      "learning_rate": 9.749555555555557e-05,
      "loss": 0.0385,
      "step": 11270
    },
    {
      "epoch": 1.504,
      "grad_norm": 1.12962007522583,
      "learning_rate": 9.749333333333333e-05,
      "loss": 0.0436,
      "step": 11280
    },
    {
      "epoch": 1.5053333333333332,
      "grad_norm": 0.4609209895133972,
      "learning_rate": 9.749111111111111e-05,
      "loss": 0.0523,
      "step": 11290
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 1.1549484729766846,
      "learning_rate": 9.74888888888889e-05,
      "loss": 0.0468,
      "step": 11300
    },
    {
      "epoch": 1.508,
      "grad_norm": 0.8154516816139221,
      "learning_rate": 9.748666666666668e-05,
      "loss": 0.0268,
      "step": 11310
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 0.8062548637390137,
      "learning_rate": 9.748444444444444e-05,
      "loss": 0.0366,
      "step": 11320
    },
    {
      "epoch": 1.5106666666666668,
      "grad_norm": 0.7749231457710266,
      "learning_rate": 9.748222222222223e-05,
      "loss": 0.0387,
      "step": 11330
    },
    {
      "epoch": 1.512,
      "grad_norm": 0.8607217073440552,
      "learning_rate": 9.748000000000001e-05,
      "loss": 0.0358,
      "step": 11340
    },
    {
      "epoch": 1.5133333333333332,
      "grad_norm": 0.762130081653595,
      "learning_rate": 9.747777777777777e-05,
      "loss": 0.0441,
      "step": 11350
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 0.9024320840835571,
      "learning_rate": 9.747555555555556e-05,
      "loss": 0.0474,
      "step": 11360
    },
    {
      "epoch": 1.516,
      "grad_norm": 0.4035821259021759,
      "learning_rate": 9.747333333333334e-05,
      "loss": 0.045,
      "step": 11370
    },
    {
      "epoch": 1.5173333333333332,
      "grad_norm": 0.6959460377693176,
      "learning_rate": 9.747111111111112e-05,
      "loss": 0.0451,
      "step": 11380
    },
    {
      "epoch": 1.5186666666666668,
      "grad_norm": 0.3525223731994629,
      "learning_rate": 9.74688888888889e-05,
      "loss": 0.0323,
      "step": 11390
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.39474448561668396,
      "learning_rate": 9.746666666666667e-05,
      "loss": 0.0344,
      "step": 11400
    },
    {
      "epoch": 1.5213333333333332,
      "grad_norm": 0.4582034945487976,
      "learning_rate": 9.746444444444445e-05,
      "loss": 0.0453,
      "step": 11410
    },
    {
      "epoch": 1.5226666666666666,
      "grad_norm": 0.5284839868545532,
      "learning_rate": 9.746222222222223e-05,
      "loss": 0.0529,
      "step": 11420
    },
    {
      "epoch": 1.524,
      "grad_norm": 0.8187490701675415,
      "learning_rate": 9.746e-05,
      "loss": 0.0355,
      "step": 11430
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 0.5243908762931824,
      "learning_rate": 9.745777777777778e-05,
      "loss": 0.0422,
      "step": 11440
    },
    {
      "epoch": 1.5266666666666666,
      "grad_norm": 0.7381540536880493,
      "learning_rate": 9.745555555555556e-05,
      "loss": 0.0326,
      "step": 11450
    },
    {
      "epoch": 1.528,
      "grad_norm": 1.0133206844329834,
      "learning_rate": 9.745333333333334e-05,
      "loss": 0.049,
      "step": 11460
    },
    {
      "epoch": 1.5293333333333332,
      "grad_norm": 1.1372662782669067,
      "learning_rate": 9.745111111111112e-05,
      "loss": 0.0377,
      "step": 11470
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 0.4932626187801361,
      "learning_rate": 9.744888888888889e-05,
      "loss": 0.0375,
      "step": 11480
    },
    {
      "epoch": 1.532,
      "grad_norm": 0.7311980128288269,
      "learning_rate": 9.744666666666667e-05,
      "loss": 0.0421,
      "step": 11490
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.8304213881492615,
      "learning_rate": 9.744444444444445e-05,
      "loss": 0.0511,
      "step": 11500
    },
    {
      "epoch": 1.5346666666666666,
      "grad_norm": 1.0107579231262207,
      "learning_rate": 9.744222222222222e-05,
      "loss": 0.0495,
      "step": 11510
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.7486311793327332,
      "learning_rate": 9.744000000000002e-05,
      "loss": 0.0434,
      "step": 11520
    },
    {
      "epoch": 1.5373333333333332,
      "grad_norm": 2.418741464614868,
      "learning_rate": 9.743777777777778e-05,
      "loss": 0.0388,
      "step": 11530
    },
    {
      "epoch": 1.5386666666666666,
      "grad_norm": 0.758636474609375,
      "learning_rate": 9.743555555555556e-05,
      "loss": 0.0547,
      "step": 11540
    },
    {
      "epoch": 1.54,
      "grad_norm": 0.54107266664505,
      "learning_rate": 9.743333333333335e-05,
      "loss": 0.0494,
      "step": 11550
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 1.0184988975524902,
      "learning_rate": 9.743111111111111e-05,
      "loss": 0.047,
      "step": 11560
    },
    {
      "epoch": 1.5426666666666666,
      "grad_norm": 0.6633332967758179,
      "learning_rate": 9.742888888888889e-05,
      "loss": 0.0407,
      "step": 11570
    },
    {
      "epoch": 1.544,
      "grad_norm": 1.1109381914138794,
      "learning_rate": 9.742666666666667e-05,
      "loss": 0.0439,
      "step": 11580
    },
    {
      "epoch": 1.5453333333333332,
      "grad_norm": 1.0772147178649902,
      "learning_rate": 9.742444444444446e-05,
      "loss": 0.0418,
      "step": 11590
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 0.7504698634147644,
      "learning_rate": 9.742222222222222e-05,
      "loss": 0.0459,
      "step": 11600
    },
    {
      "epoch": 1.548,
      "grad_norm": 1.138585090637207,
      "learning_rate": 9.742e-05,
      "loss": 0.0439,
      "step": 11610
    },
    {
      "epoch": 1.5493333333333332,
      "grad_norm": 0.6615087389945984,
      "learning_rate": 9.741777777777779e-05,
      "loss": 0.042,
      "step": 11620
    },
    {
      "epoch": 1.5506666666666666,
      "grad_norm": 1.1304194927215576,
      "learning_rate": 9.741555555555555e-05,
      "loss": 0.0408,
      "step": 11630
    },
    {
      "epoch": 1.552,
      "grad_norm": 1.8964810371398926,
      "learning_rate": 9.741333333333333e-05,
      "loss": 0.0534,
      "step": 11640
    },
    {
      "epoch": 1.5533333333333332,
      "grad_norm": 0.5367434024810791,
      "learning_rate": 9.741111111111112e-05,
      "loss": 0.0414,
      "step": 11650
    },
    {
      "epoch": 1.5546666666666666,
      "grad_norm": 0.442989319562912,
      "learning_rate": 9.74088888888889e-05,
      "loss": 0.042,
      "step": 11660
    },
    {
      "epoch": 1.556,
      "grad_norm": 1.301861047744751,
      "learning_rate": 9.740666666666666e-05,
      "loss": 0.0502,
      "step": 11670
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 0.49425530433654785,
      "learning_rate": 9.740444444444445e-05,
      "loss": 0.0321,
      "step": 11680
    },
    {
      "epoch": 1.5586666666666666,
      "grad_norm": 0.4883059561252594,
      "learning_rate": 9.740222222222223e-05,
      "loss": 0.0351,
      "step": 11690
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.7278646230697632,
      "learning_rate": 9.74e-05,
      "loss": 0.0457,
      "step": 11700
    },
    {
      "epoch": 1.5613333333333332,
      "grad_norm": 0.4850322902202606,
      "learning_rate": 9.739777777777779e-05,
      "loss": 0.038,
      "step": 11710
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 0.46854883432388306,
      "learning_rate": 9.739555555555556e-05,
      "loss": 0.0367,
      "step": 11720
    },
    {
      "epoch": 1.564,
      "grad_norm": 0.6223244667053223,
      "learning_rate": 9.739333333333334e-05,
      "loss": 0.0475,
      "step": 11730
    },
    {
      "epoch": 1.5653333333333332,
      "grad_norm": 0.5709272623062134,
      "learning_rate": 9.73911111111111e-05,
      "loss": 0.0389,
      "step": 11740
    },
    {
      "epoch": 1.5666666666666667,
      "grad_norm": 0.36692291498184204,
      "learning_rate": 9.73888888888889e-05,
      "loss": 0.0348,
      "step": 11750
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.6610992550849915,
      "learning_rate": 9.738666666666667e-05,
      "loss": 0.0502,
      "step": 11760
    },
    {
      "epoch": 1.5693333333333332,
      "grad_norm": 0.6811226606369019,
      "learning_rate": 9.738444444444445e-05,
      "loss": 0.042,
      "step": 11770
    },
    {
      "epoch": 1.5706666666666667,
      "grad_norm": 0.362770140171051,
      "learning_rate": 9.738222222222223e-05,
      "loss": 0.0335,
      "step": 11780
    },
    {
      "epoch": 1.572,
      "grad_norm": 0.5689576864242554,
      "learning_rate": 9.738e-05,
      "loss": 0.051,
      "step": 11790
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 0.8163778185844421,
      "learning_rate": 9.737777777777778e-05,
      "loss": 0.0418,
      "step": 11800
    },
    {
      "epoch": 1.5746666666666667,
      "grad_norm": 0.6426235437393188,
      "learning_rate": 9.737555555555556e-05,
      "loss": 0.0426,
      "step": 11810
    },
    {
      "epoch": 1.576,
      "grad_norm": 4.375630855560303,
      "learning_rate": 9.737333333333334e-05,
      "loss": 0.045,
      "step": 11820
    },
    {
      "epoch": 1.5773333333333333,
      "grad_norm": 0.5392057299613953,
      "learning_rate": 9.737111111111112e-05,
      "loss": 0.0407,
      "step": 11830
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 1.4534591436386108,
      "learning_rate": 9.73688888888889e-05,
      "loss": 0.0404,
      "step": 11840
    },
    {
      "epoch": 1.58,
      "grad_norm": 1.0542755126953125,
      "learning_rate": 9.736666666666667e-05,
      "loss": 0.052,
      "step": 11850
    },
    {
      "epoch": 1.5813333333333333,
      "grad_norm": 6.625617027282715,
      "learning_rate": 9.736444444444445e-05,
      "loss": 0.0766,
      "step": 11860
    },
    {
      "epoch": 1.5826666666666667,
      "grad_norm": 1.5499639511108398,
      "learning_rate": 9.736222222222223e-05,
      "loss": 0.0557,
      "step": 11870
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.3798463046550751,
      "learning_rate": 9.736e-05,
      "loss": 0.0464,
      "step": 11880
    },
    {
      "epoch": 1.5853333333333333,
      "grad_norm": 0.4470917582511902,
      "learning_rate": 9.735777777777778e-05,
      "loss": 0.0359,
      "step": 11890
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 0.6597599983215332,
      "learning_rate": 9.735555555555556e-05,
      "loss": 0.0397,
      "step": 11900
    },
    {
      "epoch": 1.588,
      "grad_norm": 0.36788374185562134,
      "learning_rate": 9.735333333333334e-05,
      "loss": 0.0487,
      "step": 11910
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 1.1145353317260742,
      "learning_rate": 9.735111111111111e-05,
      "loss": 0.0611,
      "step": 11920
    },
    {
      "epoch": 1.5906666666666667,
      "grad_norm": 2.771167278289795,
      "learning_rate": 9.734888888888889e-05,
      "loss": 0.0537,
      "step": 11930
    },
    {
      "epoch": 1.592,
      "grad_norm": 0.3824055790901184,
      "learning_rate": 9.734666666666668e-05,
      "loss": 0.0311,
      "step": 11940
    },
    {
      "epoch": 1.5933333333333333,
      "grad_norm": 1.075834035873413,
      "learning_rate": 9.734444444444444e-05,
      "loss": 0.0458,
      "step": 11950
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 0.9284170866012573,
      "learning_rate": 9.734222222222222e-05,
      "loss": 0.0383,
      "step": 11960
    },
    {
      "epoch": 1.596,
      "grad_norm": 0.3502551317214966,
      "learning_rate": 9.734000000000001e-05,
      "loss": 0.0467,
      "step": 11970
    },
    {
      "epoch": 1.5973333333333333,
      "grad_norm": 0.9074912667274475,
      "learning_rate": 9.733777777777778e-05,
      "loss": 0.0385,
      "step": 11980
    },
    {
      "epoch": 1.5986666666666667,
      "grad_norm": 0.6601054072380066,
      "learning_rate": 9.733555555555555e-05,
      "loss": 0.0455,
      "step": 11990
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.44499826431274414,
      "learning_rate": 9.733333333333335e-05,
      "loss": 0.0479,
      "step": 12000
    },
    {
      "epoch": 1.6013333333333333,
      "grad_norm": 0.6061541438102722,
      "learning_rate": 9.733111111111112e-05,
      "loss": 0.035,
      "step": 12010
    },
    {
      "epoch": 1.6026666666666667,
      "grad_norm": 0.33200666308403015,
      "learning_rate": 9.732888888888889e-05,
      "loss": 0.053,
      "step": 12020
    },
    {
      "epoch": 1.604,
      "grad_norm": 1.4408544301986694,
      "learning_rate": 9.732666666666666e-05,
      "loss": 0.0427,
      "step": 12030
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 0.7682375907897949,
      "learning_rate": 9.732444444444446e-05,
      "loss": 0.0385,
      "step": 12040
    },
    {
      "epoch": 1.6066666666666667,
      "grad_norm": 0.3167850077152252,
      "learning_rate": 9.732222222222222e-05,
      "loss": 0.0385,
      "step": 12050
    },
    {
      "epoch": 1.608,
      "grad_norm": 1.277435541152954,
      "learning_rate": 9.732e-05,
      "loss": 0.0518,
      "step": 12060
    },
    {
      "epoch": 1.6093333333333333,
      "grad_norm": 0.4183672368526459,
      "learning_rate": 9.731777777777779e-05,
      "loss": 0.0394,
      "step": 12070
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 0.29616597294807434,
      "learning_rate": 9.731555555555556e-05,
      "loss": 0.0266,
      "step": 12080
    },
    {
      "epoch": 1.612,
      "grad_norm": 0.3358249068260193,
      "learning_rate": 9.731333333333333e-05,
      "loss": 0.0264,
      "step": 12090
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 0.8625192046165466,
      "learning_rate": 9.731111111111112e-05,
      "loss": 0.0418,
      "step": 12100
    },
    {
      "epoch": 1.6146666666666667,
      "grad_norm": 1.3307111263275146,
      "learning_rate": 9.73088888888889e-05,
      "loss": 0.0623,
      "step": 12110
    },
    {
      "epoch": 1.616,
      "grad_norm": 2.43296217918396,
      "learning_rate": 9.730666666666667e-05,
      "loss": 0.0558,
      "step": 12120
    },
    {
      "epoch": 1.6173333333333333,
      "grad_norm": 0.5398005247116089,
      "learning_rate": 9.730444444444445e-05,
      "loss": 0.0501,
      "step": 12130
    },
    {
      "epoch": 1.6186666666666667,
      "grad_norm": 0.29888030886650085,
      "learning_rate": 9.730222222222223e-05,
      "loss": 0.0394,
      "step": 12140
    },
    {
      "epoch": 1.62,
      "grad_norm": 0.640932559967041,
      "learning_rate": 9.730000000000001e-05,
      "loss": 0.0458,
      "step": 12150
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 0.9865464568138123,
      "learning_rate": 9.729777777777778e-05,
      "loss": 0.0403,
      "step": 12160
    },
    {
      "epoch": 1.6226666666666667,
      "grad_norm": 1.2616376876831055,
      "learning_rate": 9.729555555555556e-05,
      "loss": 0.0633,
      "step": 12170
    },
    {
      "epoch": 1.624,
      "grad_norm": 0.8532175421714783,
      "learning_rate": 9.729333333333334e-05,
      "loss": 0.0412,
      "step": 12180
    },
    {
      "epoch": 1.6253333333333333,
      "grad_norm": 0.898611843585968,
      "learning_rate": 9.729111111111112e-05,
      "loss": 0.039,
      "step": 12190
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 0.35091057419776917,
      "learning_rate": 9.72888888888889e-05,
      "loss": 0.0427,
      "step": 12200
    },
    {
      "epoch": 1.6280000000000001,
      "grad_norm": 1.231896162033081,
      "learning_rate": 9.728666666666667e-05,
      "loss": 0.0439,
      "step": 12210
    },
    {
      "epoch": 1.6293333333333333,
      "grad_norm": 0.5173190832138062,
      "learning_rate": 9.728444444444445e-05,
      "loss": 0.0526,
      "step": 12220
    },
    {
      "epoch": 1.6306666666666667,
      "grad_norm": 0.519620954990387,
      "learning_rate": 9.728222222222223e-05,
      "loss": 0.0424,
      "step": 12230
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.43762892484664917,
      "learning_rate": 9.728e-05,
      "loss": 0.0366,
      "step": 12240
    },
    {
      "epoch": 1.6333333333333333,
      "grad_norm": 0.46051472425460815,
      "learning_rate": 9.727777777777778e-05,
      "loss": 0.0362,
      "step": 12250
    },
    {
      "epoch": 1.6346666666666667,
      "grad_norm": 0.5113362669944763,
      "learning_rate": 9.727555555555556e-05,
      "loss": 0.0376,
      "step": 12260
    },
    {
      "epoch": 1.6360000000000001,
      "grad_norm": 0.8875696659088135,
      "learning_rate": 9.727333333333334e-05,
      "loss": 0.0441,
      "step": 12270
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 0.8060741424560547,
      "learning_rate": 9.727111111111111e-05,
      "loss": 0.0326,
      "step": 12280
    },
    {
      "epoch": 1.6386666666666667,
      "grad_norm": 0.6312056183815002,
      "learning_rate": 9.72688888888889e-05,
      "loss": 0.0321,
      "step": 12290
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.3354174792766571,
      "learning_rate": 9.726666666666667e-05,
      "loss": 0.0431,
      "step": 12300
    },
    {
      "epoch": 1.6413333333333333,
      "grad_norm": 0.4116886854171753,
      "learning_rate": 9.726444444444445e-05,
      "loss": 0.0398,
      "step": 12310
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 0.8960938453674316,
      "learning_rate": 9.726222222222224e-05,
      "loss": 0.0488,
      "step": 12320
    },
    {
      "epoch": 1.6440000000000001,
      "grad_norm": 0.5558907985687256,
      "learning_rate": 9.726e-05,
      "loss": 0.0438,
      "step": 12330
    },
    {
      "epoch": 1.6453333333333333,
      "grad_norm": 1.7994213104248047,
      "learning_rate": 9.725777777777778e-05,
      "loss": 0.0299,
      "step": 12340
    },
    {
      "epoch": 1.6466666666666665,
      "grad_norm": 1.220397710800171,
      "learning_rate": 9.725555555555556e-05,
      "loss": 0.0414,
      "step": 12350
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.15961392223834991,
      "learning_rate": 9.725333333333335e-05,
      "loss": 0.0406,
      "step": 12360
    },
    {
      "epoch": 1.6493333333333333,
      "grad_norm": 0.9548492431640625,
      "learning_rate": 9.725111111111111e-05,
      "loss": 0.0417,
      "step": 12370
    },
    {
      "epoch": 1.6506666666666665,
      "grad_norm": 0.6814410090446472,
      "learning_rate": 9.724888888888889e-05,
      "loss": 0.043,
      "step": 12380
    },
    {
      "epoch": 1.6520000000000001,
      "grad_norm": 1.152327537536621,
      "learning_rate": 9.724666666666668e-05,
      "loss": 0.0464,
      "step": 12390
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 1.7578195333480835,
      "learning_rate": 9.724444444444444e-05,
      "loss": 0.0467,
      "step": 12400
    },
    {
      "epoch": 1.6546666666666665,
      "grad_norm": 0.34858736395835876,
      "learning_rate": 9.724222222222222e-05,
      "loss": 0.051,
      "step": 12410
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.6098252534866333,
      "learning_rate": 9.724000000000001e-05,
      "loss": 0.0346,
      "step": 12420
    },
    {
      "epoch": 1.6573333333333333,
      "grad_norm": 0.6723689436912537,
      "learning_rate": 9.723777777777779e-05,
      "loss": 0.0353,
      "step": 12430
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 0.9750619530677795,
      "learning_rate": 9.723555555555555e-05,
      "loss": 0.0328,
      "step": 12440
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 0.939391553401947,
      "learning_rate": 9.723333333333334e-05,
      "loss": 0.0429,
      "step": 12450
    },
    {
      "epoch": 1.6613333333333333,
      "grad_norm": 0.8036150932312012,
      "learning_rate": 9.723111111111112e-05,
      "loss": 0.0551,
      "step": 12460
    },
    {
      "epoch": 1.6626666666666665,
      "grad_norm": 1.0555219650268555,
      "learning_rate": 9.72288888888889e-05,
      "loss": 0.0464,
      "step": 12470
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.5082992315292358,
      "learning_rate": 9.722666666666666e-05,
      "loss": 0.0491,
      "step": 12480
    },
    {
      "epoch": 1.6653333333333333,
      "grad_norm": 0.2494370937347412,
      "learning_rate": 9.722444444444445e-05,
      "loss": 0.0317,
      "step": 12490
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.6205970048904419,
      "learning_rate": 9.722222222222223e-05,
      "loss": 0.0472,
      "step": 12500
    },
    {
      "epoch": 1.6680000000000001,
      "grad_norm": 0.5514216423034668,
      "learning_rate": 9.722e-05,
      "loss": 0.0404,
      "step": 12510
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 0.27700456976890564,
      "learning_rate": 9.721777777777779e-05,
      "loss": 0.0317,
      "step": 12520
    },
    {
      "epoch": 1.6706666666666665,
      "grad_norm": 1.2975765466690063,
      "learning_rate": 9.721555555555556e-05,
      "loss": 0.054,
      "step": 12530
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 0.8237197399139404,
      "learning_rate": 9.721333333333334e-05,
      "loss": 0.0561,
      "step": 12540
    },
    {
      "epoch": 1.6733333333333333,
      "grad_norm": 0.5544430017471313,
      "learning_rate": 9.721111111111112e-05,
      "loss": 0.0421,
      "step": 12550
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 0.6660520434379578,
      "learning_rate": 9.72088888888889e-05,
      "loss": 0.045,
      "step": 12560
    },
    {
      "epoch": 1.6760000000000002,
      "grad_norm": 0.7257053852081299,
      "learning_rate": 9.720666666666667e-05,
      "loss": 0.0336,
      "step": 12570
    },
    {
      "epoch": 1.6773333333333333,
      "grad_norm": 1.0183974504470825,
      "learning_rate": 9.720444444444445e-05,
      "loss": 0.0535,
      "step": 12580
    },
    {
      "epoch": 1.6786666666666665,
      "grad_norm": 0.6682997941970825,
      "learning_rate": 9.720222222222223e-05,
      "loss": 0.0419,
      "step": 12590
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.5819147825241089,
      "learning_rate": 9.72e-05,
      "loss": 0.0355,
      "step": 12600
    },
    {
      "epoch": 1.6813333333333333,
      "grad_norm": 0.9660289287567139,
      "learning_rate": 9.719777777777778e-05,
      "loss": 0.0556,
      "step": 12610
    },
    {
      "epoch": 1.6826666666666665,
      "grad_norm": 0.576327383518219,
      "learning_rate": 9.719555555555556e-05,
      "loss": 0.0448,
      "step": 12620
    },
    {
      "epoch": 1.6840000000000002,
      "grad_norm": 1.6470903158187866,
      "learning_rate": 9.719333333333334e-05,
      "loss": 0.0725,
      "step": 12630
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 0.709570050239563,
      "learning_rate": 9.719111111111111e-05,
      "loss": 0.047,
      "step": 12640
    },
    {
      "epoch": 1.6866666666666665,
      "grad_norm": 0.5262359976768494,
      "learning_rate": 9.718888888888889e-05,
      "loss": 0.0453,
      "step": 12650
    },
    {
      "epoch": 1.688,
      "grad_norm": 0.7431415915489197,
      "learning_rate": 9.718666666666667e-05,
      "loss": 0.0438,
      "step": 12660
    },
    {
      "epoch": 1.6893333333333334,
      "grad_norm": 0.400010883808136,
      "learning_rate": 9.718444444444445e-05,
      "loss": 0.03,
      "step": 12670
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 0.6306794285774231,
      "learning_rate": 9.718222222222222e-05,
      "loss": 0.0507,
      "step": 12680
    },
    {
      "epoch": 1.692,
      "grad_norm": 0.34802117943763733,
      "learning_rate": 9.718e-05,
      "loss": 0.0494,
      "step": 12690
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 0.6878076195716858,
      "learning_rate": 9.717777777777778e-05,
      "loss": 0.0492,
      "step": 12700
    },
    {
      "epoch": 1.6946666666666665,
      "grad_norm": 0.4906328022480011,
      "learning_rate": 9.717555555555557e-05,
      "loss": 0.0341,
      "step": 12710
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.6140729188919067,
      "learning_rate": 9.717333333333333e-05,
      "loss": 0.0436,
      "step": 12720
    },
    {
      "epoch": 1.6973333333333334,
      "grad_norm": 0.671036422252655,
      "learning_rate": 9.717111111111111e-05,
      "loss": 0.0412,
      "step": 12730
    },
    {
      "epoch": 1.6986666666666665,
      "grad_norm": 0.5460860729217529,
      "learning_rate": 9.71688888888889e-05,
      "loss": 0.0299,
      "step": 12740
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.5476487874984741,
      "learning_rate": 9.716666666666667e-05,
      "loss": 0.0388,
      "step": 12750
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 1.555802583694458,
      "learning_rate": 9.716444444444444e-05,
      "loss": 0.0539,
      "step": 12760
    },
    {
      "epoch": 1.7026666666666666,
      "grad_norm": 0.6350187063217163,
      "learning_rate": 9.716222222222223e-05,
      "loss": 0.041,
      "step": 12770
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.5786418318748474,
      "learning_rate": 9.716000000000001e-05,
      "loss": 0.0428,
      "step": 12780
    },
    {
      "epoch": 1.7053333333333334,
      "grad_norm": 0.41879838705062866,
      "learning_rate": 9.715777777777778e-05,
      "loss": 0.0471,
      "step": 12790
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 1.6675516366958618,
      "learning_rate": 9.715555555555555e-05,
      "loss": 0.0473,
      "step": 12800
    },
    {
      "epoch": 1.708,
      "grad_norm": 1.343366026878357,
      "learning_rate": 9.715333333333334e-05,
      "loss": 0.0533,
      "step": 12810
    },
    {
      "epoch": 1.7093333333333334,
      "grad_norm": 1.0014621019363403,
      "learning_rate": 9.715111111111112e-05,
      "loss": 0.0616,
      "step": 12820
    },
    {
      "epoch": 1.7106666666666666,
      "grad_norm": 0.5889495611190796,
      "learning_rate": 9.714888888888889e-05,
      "loss": 0.0508,
      "step": 12830
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.37420371174812317,
      "learning_rate": 9.714666666666668e-05,
      "loss": 0.0327,
      "step": 12840
    },
    {
      "epoch": 1.7133333333333334,
      "grad_norm": 0.6547001004219055,
      "learning_rate": 9.714444444444445e-05,
      "loss": 0.0301,
      "step": 12850
    },
    {
      "epoch": 1.7146666666666666,
      "grad_norm": 0.7433644533157349,
      "learning_rate": 9.714222222222222e-05,
      "loss": 0.0476,
      "step": 12860
    },
    {
      "epoch": 1.716,
      "grad_norm": 1.73100745677948,
      "learning_rate": 9.714000000000001e-05,
      "loss": 0.0465,
      "step": 12870
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 0.4745572507381439,
      "learning_rate": 9.713777777777779e-05,
      "loss": 0.0377,
      "step": 12880
    },
    {
      "epoch": 1.7186666666666666,
      "grad_norm": 0.5494866967201233,
      "learning_rate": 9.713555555555556e-05,
      "loss": 0.0451,
      "step": 12890
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.6247447729110718,
      "learning_rate": 9.713333333333334e-05,
      "loss": 0.0417,
      "step": 12900
    },
    {
      "epoch": 1.7213333333333334,
      "grad_norm": 0.9679936170578003,
      "learning_rate": 9.713111111111112e-05,
      "loss": 0.0407,
      "step": 12910
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 0.46293729543685913,
      "learning_rate": 9.71288888888889e-05,
      "loss": 0.0447,
      "step": 12920
    },
    {
      "epoch": 1.724,
      "grad_norm": 0.48590898513793945,
      "learning_rate": 9.712666666666666e-05,
      "loss": 0.0335,
      "step": 12930
    },
    {
      "epoch": 1.7253333333333334,
      "grad_norm": 0.9735380411148071,
      "learning_rate": 9.712444444444445e-05,
      "loss": 0.0333,
      "step": 12940
    },
    {
      "epoch": 1.7266666666666666,
      "grad_norm": 0.40626031160354614,
      "learning_rate": 9.712222222222223e-05,
      "loss": 0.0521,
      "step": 12950
    },
    {
      "epoch": 1.728,
      "grad_norm": 0.4286763370037079,
      "learning_rate": 9.712e-05,
      "loss": 0.0529,
      "step": 12960
    },
    {
      "epoch": 1.7293333333333334,
      "grad_norm": 0.590834379196167,
      "learning_rate": 9.711777777777778e-05,
      "loss": 0.0557,
      "step": 12970
    },
    {
      "epoch": 1.7306666666666666,
      "grad_norm": 0.43618398904800415,
      "learning_rate": 9.711555555555556e-05,
      "loss": 0.0378,
      "step": 12980
    },
    {
      "epoch": 1.732,
      "grad_norm": 0.6677021980285645,
      "learning_rate": 9.711333333333334e-05,
      "loss": 0.0356,
      "step": 12990
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.7479139566421509,
      "learning_rate": 9.711111111111111e-05,
      "loss": 0.0341,
      "step": 13000
    },
    {
      "epoch": 1.7346666666666666,
      "grad_norm": 3.599437713623047,
      "learning_rate": 9.710888888888889e-05,
      "loss": 0.0504,
      "step": 13010
    },
    {
      "epoch": 1.736,
      "grad_norm": 1.2269630432128906,
      "learning_rate": 9.710666666666667e-05,
      "loss": 0.0437,
      "step": 13020
    },
    {
      "epoch": 1.7373333333333334,
      "grad_norm": 0.27925947308540344,
      "learning_rate": 9.710444444444445e-05,
      "loss": 0.0601,
      "step": 13030
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 1.1745996475219727,
      "learning_rate": 9.710222222222222e-05,
      "loss": 0.033,
      "step": 13040
    },
    {
      "epoch": 1.74,
      "grad_norm": 0.3820847272872925,
      "learning_rate": 9.71e-05,
      "loss": 0.0441,
      "step": 13050
    },
    {
      "epoch": 1.7413333333333334,
      "grad_norm": 0.48481521010398865,
      "learning_rate": 9.709777777777779e-05,
      "loss": 0.0398,
      "step": 13060
    },
    {
      "epoch": 1.7426666666666666,
      "grad_norm": 0.565790593624115,
      "learning_rate": 9.709555555555556e-05,
      "loss": 0.0381,
      "step": 13070
    },
    {
      "epoch": 1.744,
      "grad_norm": 3.9793264865875244,
      "learning_rate": 9.709333333333333e-05,
      "loss": 0.0605,
      "step": 13080
    },
    {
      "epoch": 1.7453333333333334,
      "grad_norm": 1.6687923669815063,
      "learning_rate": 9.709111111111111e-05,
      "loss": 0.0532,
      "step": 13090
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 0.7339147925376892,
      "learning_rate": 9.708888888888889e-05,
      "loss": 0.0476,
      "step": 13100
    },
    {
      "epoch": 1.748,
      "grad_norm": 1.0074079036712646,
      "learning_rate": 9.708666666666667e-05,
      "loss": 0.0421,
      "step": 13110
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 0.7620190382003784,
      "learning_rate": 9.708444444444444e-05,
      "loss": 0.0457,
      "step": 13120
    },
    {
      "epoch": 1.7506666666666666,
      "grad_norm": 0.4457251727581024,
      "learning_rate": 9.708222222222223e-05,
      "loss": 0.045,
      "step": 13130
    },
    {
      "epoch": 1.752,
      "grad_norm": 0.41237831115722656,
      "learning_rate": 9.708e-05,
      "loss": 0.0487,
      "step": 13140
    },
    {
      "epoch": 1.7533333333333334,
      "grad_norm": 0.5660043954849243,
      "learning_rate": 9.707777777777778e-05,
      "loss": 0.0363,
      "step": 13150
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 0.9144993424415588,
      "learning_rate": 9.707555555555557e-05,
      "loss": 0.0581,
      "step": 13160
    },
    {
      "epoch": 1.756,
      "grad_norm": 0.44362112879753113,
      "learning_rate": 9.707333333333334e-05,
      "loss": 0.0425,
      "step": 13170
    },
    {
      "epoch": 1.7573333333333334,
      "grad_norm": 1.469245195388794,
      "learning_rate": 9.707111111111111e-05,
      "loss": 0.0396,
      "step": 13180
    },
    {
      "epoch": 1.7586666666666666,
      "grad_norm": 0.5277141332626343,
      "learning_rate": 9.70688888888889e-05,
      "loss": 0.0419,
      "step": 13190
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.4558551609516144,
      "learning_rate": 9.706666666666668e-05,
      "loss": 0.0367,
      "step": 13200
    },
    {
      "epoch": 1.7613333333333334,
      "grad_norm": 0.41407278180122375,
      "learning_rate": 9.706444444444444e-05,
      "loss": 0.0361,
      "step": 13210
    },
    {
      "epoch": 1.7626666666666666,
      "grad_norm": 0.8172910213470459,
      "learning_rate": 9.706222222222223e-05,
      "loss": 0.0421,
      "step": 13220
    },
    {
      "epoch": 1.764,
      "grad_norm": 0.9932335019111633,
      "learning_rate": 9.706000000000001e-05,
      "loss": 0.041,
      "step": 13230
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 0.8378795981407166,
      "learning_rate": 9.705777777777779e-05,
      "loss": 0.0451,
      "step": 13240
    },
    {
      "epoch": 1.7666666666666666,
      "grad_norm": 0.5559391975402832,
      "learning_rate": 9.705555555555555e-05,
      "loss": 0.0364,
      "step": 13250
    },
    {
      "epoch": 1.768,
      "grad_norm": 0.7388543486595154,
      "learning_rate": 9.705333333333334e-05,
      "loss": 0.0385,
      "step": 13260
    },
    {
      "epoch": 1.7693333333333334,
      "grad_norm": 1.2419646978378296,
      "learning_rate": 9.705111111111112e-05,
      "loss": 0.0418,
      "step": 13270
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 0.7868555784225464,
      "learning_rate": 9.704888888888888e-05,
      "loss": 0.0519,
      "step": 13280
    },
    {
      "epoch": 1.772,
      "grad_norm": 0.48504409193992615,
      "learning_rate": 9.704666666666667e-05,
      "loss": 0.0495,
      "step": 13290
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 0.3501504957675934,
      "learning_rate": 9.704444444444445e-05,
      "loss": 0.0313,
      "step": 13300
    },
    {
      "epoch": 1.7746666666666666,
      "grad_norm": 1.253762125968933,
      "learning_rate": 9.704222222222223e-05,
      "loss": 0.0669,
      "step": 13310
    },
    {
      "epoch": 1.776,
      "grad_norm": 0.7108991146087646,
      "learning_rate": 9.704e-05,
      "loss": 0.0354,
      "step": 13320
    },
    {
      "epoch": 1.7773333333333334,
      "grad_norm": 0.9653586745262146,
      "learning_rate": 9.703777777777778e-05,
      "loss": 0.0401,
      "step": 13330
    },
    {
      "epoch": 1.7786666666666666,
      "grad_norm": 0.5176110863685608,
      "learning_rate": 9.703555555555556e-05,
      "loss": 0.0421,
      "step": 13340
    },
    {
      "epoch": 1.78,
      "grad_norm": 0.9613620042800903,
      "learning_rate": 9.703333333333334e-05,
      "loss": 0.0492,
      "step": 13350
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 0.9272828102111816,
      "learning_rate": 9.703111111111112e-05,
      "loss": 0.0366,
      "step": 13360
    },
    {
      "epoch": 1.7826666666666666,
      "grad_norm": 0.18082723021507263,
      "learning_rate": 9.702888888888889e-05,
      "loss": 0.0392,
      "step": 13370
    },
    {
      "epoch": 1.784,
      "grad_norm": 0.8657107949256897,
      "learning_rate": 9.702666666666667e-05,
      "loss": 0.0333,
      "step": 13380
    },
    {
      "epoch": 1.7853333333333334,
      "grad_norm": 0.7574347257614136,
      "learning_rate": 9.702444444444445e-05,
      "loss": 0.0438,
      "step": 13390
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 3.1609365940093994,
      "learning_rate": 9.702222222222223e-05,
      "loss": 0.0422,
      "step": 13400
    },
    {
      "epoch": 1.788,
      "grad_norm": 0.39006027579307556,
      "learning_rate": 9.702e-05,
      "loss": 0.0463,
      "step": 13410
    },
    {
      "epoch": 1.7893333333333334,
      "grad_norm": 0.2314770370721817,
      "learning_rate": 9.701777777777778e-05,
      "loss": 0.0384,
      "step": 13420
    },
    {
      "epoch": 1.7906666666666666,
      "grad_norm": 0.9533970952033997,
      "learning_rate": 9.701555555555556e-05,
      "loss": 0.0487,
      "step": 13430
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.43936052918434143,
      "learning_rate": 9.701333333333334e-05,
      "loss": 0.0296,
      "step": 13440
    },
    {
      "epoch": 1.7933333333333334,
      "grad_norm": 0.8163912892341614,
      "learning_rate": 9.701111111111111e-05,
      "loss": 0.0473,
      "step": 13450
    },
    {
      "epoch": 1.7946666666666666,
      "grad_norm": 0.6847572326660156,
      "learning_rate": 9.700888888888889e-05,
      "loss": 0.0396,
      "step": 13460
    },
    {
      "epoch": 1.796,
      "grad_norm": 0.8508002758026123,
      "learning_rate": 9.700666666666667e-05,
      "loss": 0.0522,
      "step": 13470
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 0.43461981415748596,
      "learning_rate": 9.700444444444446e-05,
      "loss": 0.0428,
      "step": 13480
    },
    {
      "epoch": 1.7986666666666666,
      "grad_norm": 0.845353364944458,
      "learning_rate": 9.700222222222222e-05,
      "loss": 0.0399,
      "step": 13490
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.5217101573944092,
      "learning_rate": 9.7e-05,
      "loss": 0.0404,
      "step": 13500
    },
    {
      "epoch": 1.8013333333333335,
      "grad_norm": 0.20914573967456818,
      "learning_rate": 9.699777777777779e-05,
      "loss": 0.0312,
      "step": 13510
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 0.6508201360702515,
      "learning_rate": 9.699555555555557e-05,
      "loss": 0.0418,
      "step": 13520
    },
    {
      "epoch": 1.804,
      "grad_norm": 0.6981726288795471,
      "learning_rate": 9.699333333333333e-05,
      "loss": 0.0341,
      "step": 13530
    },
    {
      "epoch": 1.8053333333333335,
      "grad_norm": 1.8161813020706177,
      "learning_rate": 9.699111111111111e-05,
      "loss": 0.0478,
      "step": 13540
    },
    {
      "epoch": 1.8066666666666666,
      "grad_norm": 1.1923277378082275,
      "learning_rate": 9.69888888888889e-05,
      "loss": 0.0408,
      "step": 13550
    },
    {
      "epoch": 1.808,
      "grad_norm": 1.097071886062622,
      "learning_rate": 9.698666666666666e-05,
      "loss": 0.0409,
      "step": 13560
    },
    {
      "epoch": 1.8093333333333335,
      "grad_norm": 0.6032819151878357,
      "learning_rate": 9.698444444444444e-05,
      "loss": 0.0394,
      "step": 13570
    },
    {
      "epoch": 1.8106666666666666,
      "grad_norm": 0.6529552340507507,
      "learning_rate": 9.698222222222223e-05,
      "loss": 0.0433,
      "step": 13580
    },
    {
      "epoch": 1.812,
      "grad_norm": 0.3329817056655884,
      "learning_rate": 9.698000000000001e-05,
      "loss": 0.0274,
      "step": 13590
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 1.133971095085144,
      "learning_rate": 9.697777777777777e-05,
      "loss": 0.0501,
      "step": 13600
    },
    {
      "epoch": 1.8146666666666667,
      "grad_norm": 0.7126476764678955,
      "learning_rate": 9.697555555555556e-05,
      "loss": 0.0388,
      "step": 13610
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 0.5934653282165527,
      "learning_rate": 9.697333333333334e-05,
      "loss": 0.0394,
      "step": 13620
    },
    {
      "epoch": 1.8173333333333335,
      "grad_norm": 1.4130516052246094,
      "learning_rate": 9.69711111111111e-05,
      "loss": 0.0419,
      "step": 13630
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 0.7452824115753174,
      "learning_rate": 9.69688888888889e-05,
      "loss": 0.0461,
      "step": 13640
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 0.21988628804683685,
      "learning_rate": 9.696666666666667e-05,
      "loss": 0.0387,
      "step": 13650
    },
    {
      "epoch": 1.8213333333333335,
      "grad_norm": 0.8951296210289001,
      "learning_rate": 9.696444444444445e-05,
      "loss": 0.0464,
      "step": 13660
    },
    {
      "epoch": 1.8226666666666667,
      "grad_norm": 1.3187577724456787,
      "learning_rate": 9.696222222222223e-05,
      "loss": 0.0381,
      "step": 13670
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.557754635810852,
      "learning_rate": 9.696000000000001e-05,
      "loss": 0.0411,
      "step": 13680
    },
    {
      "epoch": 1.8253333333333335,
      "grad_norm": 0.9108414053916931,
      "learning_rate": 9.695777777777778e-05,
      "loss": 0.0366,
      "step": 13690
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 1.0232013463974,
      "learning_rate": 9.695555555555556e-05,
      "loss": 0.0373,
      "step": 13700
    },
    {
      "epoch": 1.8279999999999998,
      "grad_norm": 0.6345378160476685,
      "learning_rate": 9.695333333333334e-05,
      "loss": 0.0423,
      "step": 13710
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 0.6430302858352661,
      "learning_rate": 9.695111111111112e-05,
      "loss": 0.0386,
      "step": 13720
    },
    {
      "epoch": 1.8306666666666667,
      "grad_norm": 0.35046935081481934,
      "learning_rate": 9.69488888888889e-05,
      "loss": 0.0335,
      "step": 13730
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.47503411769866943,
      "learning_rate": 9.694666666666667e-05,
      "loss": 0.0247,
      "step": 13740
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.7058858275413513,
      "learning_rate": 9.694444444444445e-05,
      "loss": 0.0538,
      "step": 13750
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 0.5677978992462158,
      "learning_rate": 9.694222222222223e-05,
      "loss": 0.0416,
      "step": 13760
    },
    {
      "epoch": 1.8359999999999999,
      "grad_norm": 0.47864830493927,
      "learning_rate": 9.694e-05,
      "loss": 0.0406,
      "step": 13770
    },
    {
      "epoch": 1.8373333333333335,
      "grad_norm": 0.5815426111221313,
      "learning_rate": 9.693777777777778e-05,
      "loss": 0.052,
      "step": 13780
    },
    {
      "epoch": 1.8386666666666667,
      "grad_norm": 0.8232981562614441,
      "learning_rate": 9.693555555555556e-05,
      "loss": 0.0412,
      "step": 13790
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 1.0440945625305176,
      "learning_rate": 9.693333333333335e-05,
      "loss": 0.0463,
      "step": 13800
    },
    {
      "epoch": 1.8413333333333335,
      "grad_norm": 0.6013416647911072,
      "learning_rate": 9.693111111111111e-05,
      "loss": 0.0556,
      "step": 13810
    },
    {
      "epoch": 1.8426666666666667,
      "grad_norm": 0.5772189497947693,
      "learning_rate": 9.692888888888889e-05,
      "loss": 0.0444,
      "step": 13820
    },
    {
      "epoch": 1.8439999999999999,
      "grad_norm": 0.6424403190612793,
      "learning_rate": 9.692666666666668e-05,
      "loss": 0.029,
      "step": 13830
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 0.9716967940330505,
      "learning_rate": 9.692444444444445e-05,
      "loss": 0.049,
      "step": 13840
    },
    {
      "epoch": 1.8466666666666667,
      "grad_norm": 0.4100217819213867,
      "learning_rate": 9.692222222222222e-05,
      "loss": 0.0414,
      "step": 13850
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 0.2302190363407135,
      "learning_rate": 9.692e-05,
      "loss": 0.034,
      "step": 13860
    },
    {
      "epoch": 1.8493333333333335,
      "grad_norm": 0.9837976694107056,
      "learning_rate": 9.691777777777779e-05,
      "loss": 0.0524,
      "step": 13870
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 0.653527557849884,
      "learning_rate": 9.691555555555556e-05,
      "loss": 0.0417,
      "step": 13880
    },
    {
      "epoch": 1.8519999999999999,
      "grad_norm": 0.5806158185005188,
      "learning_rate": 9.691333333333333e-05,
      "loss": 0.0481,
      "step": 13890
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 2.2924416065216064,
      "learning_rate": 9.691111111111112e-05,
      "loss": 0.0395,
      "step": 13900
    },
    {
      "epoch": 1.8546666666666667,
      "grad_norm": 0.4144148528575897,
      "learning_rate": 9.690888888888889e-05,
      "loss": 0.0374,
      "step": 13910
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.8676891326904297,
      "learning_rate": 9.690666666666666e-05,
      "loss": 0.0539,
      "step": 13920
    },
    {
      "epoch": 1.8573333333333333,
      "grad_norm": 0.26063045859336853,
      "learning_rate": 9.690444444444446e-05,
      "loss": 0.0371,
      "step": 13930
    },
    {
      "epoch": 1.8586666666666667,
      "grad_norm": 1.276279091835022,
      "learning_rate": 9.690222222222223e-05,
      "loss": 0.0448,
      "step": 13940
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 0.4039895236492157,
      "learning_rate": 9.69e-05,
      "loss": 0.0245,
      "step": 13950
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 0.6859455704689026,
      "learning_rate": 9.689777777777779e-05,
      "loss": 0.0336,
      "step": 13960
    },
    {
      "epoch": 1.8626666666666667,
      "grad_norm": 0.2787320911884308,
      "learning_rate": 9.689555555555557e-05,
      "loss": 0.0486,
      "step": 13970
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 1.421351432800293,
      "learning_rate": 9.689333333333333e-05,
      "loss": 0.0498,
      "step": 13980
    },
    {
      "epoch": 1.8653333333333333,
      "grad_norm": 0.4238140285015106,
      "learning_rate": 9.689111111111111e-05,
      "loss": 0.0282,
      "step": 13990
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.6581851243972778,
      "learning_rate": 9.68888888888889e-05,
      "loss": 0.0433,
      "step": 14000
    },
    {
      "epoch": 1.8679999999999999,
      "grad_norm": 1.533645510673523,
      "learning_rate": 9.688666666666668e-05,
      "loss": 0.0322,
      "step": 14010
    },
    {
      "epoch": 1.8693333333333333,
      "grad_norm": 0.6676399111747742,
      "learning_rate": 9.688444444444444e-05,
      "loss": 0.0352,
      "step": 14020
    },
    {
      "epoch": 1.8706666666666667,
      "grad_norm": 0.8057276010513306,
      "learning_rate": 9.688222222222223e-05,
      "loss": 0.0368,
      "step": 14030
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.8582772016525269,
      "learning_rate": 9.688000000000001e-05,
      "loss": 0.0488,
      "step": 14040
    },
    {
      "epoch": 1.8733333333333333,
      "grad_norm": 0.35301998257637024,
      "learning_rate": 9.687777777777778e-05,
      "loss": 0.0325,
      "step": 14050
    },
    {
      "epoch": 1.8746666666666667,
      "grad_norm": 0.41396161913871765,
      "learning_rate": 9.687555555555556e-05,
      "loss": 0.0318,
      "step": 14060
    },
    {
      "epoch": 1.876,
      "grad_norm": 0.48361125588417053,
      "learning_rate": 9.687333333333334e-05,
      "loss": 0.0398,
      "step": 14070
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 2.643772602081299,
      "learning_rate": 9.687111111111112e-05,
      "loss": 0.0429,
      "step": 14080
    },
    {
      "epoch": 1.8786666666666667,
      "grad_norm": 0.5291170477867126,
      "learning_rate": 9.68688888888889e-05,
      "loss": 0.037,
      "step": 14090
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.49994656443595886,
      "learning_rate": 9.686666666666667e-05,
      "loss": 0.0454,
      "step": 14100
    },
    {
      "epoch": 1.8813333333333333,
      "grad_norm": 0.3991031050682068,
      "learning_rate": 9.686444444444445e-05,
      "loss": 0.042,
      "step": 14110
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 0.5030986070632935,
      "learning_rate": 9.686222222222223e-05,
      "loss": 0.0311,
      "step": 14120
    },
    {
      "epoch": 1.884,
      "grad_norm": 0.7420991063117981,
      "learning_rate": 9.686e-05,
      "loss": 0.0435,
      "step": 14130
    },
    {
      "epoch": 1.8853333333333333,
      "grad_norm": 0.7862957119941711,
      "learning_rate": 9.685777777777778e-05,
      "loss": 0.0509,
      "step": 14140
    },
    {
      "epoch": 1.8866666666666667,
      "grad_norm": 0.4254840016365051,
      "learning_rate": 9.685555555555556e-05,
      "loss": 0.0571,
      "step": 14150
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.5211020112037659,
      "learning_rate": 9.685333333333334e-05,
      "loss": 0.0392,
      "step": 14160
    },
    {
      "epoch": 1.8893333333333333,
      "grad_norm": 0.8469990491867065,
      "learning_rate": 9.685111111111111e-05,
      "loss": 0.0396,
      "step": 14170
    },
    {
      "epoch": 1.8906666666666667,
      "grad_norm": 0.204322949051857,
      "learning_rate": 9.684888888888889e-05,
      "loss": 0.0308,
      "step": 14180
    },
    {
      "epoch": 1.892,
      "grad_norm": 0.8066210150718689,
      "learning_rate": 9.684666666666667e-05,
      "loss": 0.0416,
      "step": 14190
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 1.394424319267273,
      "learning_rate": 9.684444444444445e-05,
      "loss": 0.0465,
      "step": 14200
    },
    {
      "epoch": 1.8946666666666667,
      "grad_norm": 0.49323537945747375,
      "learning_rate": 9.684222222222222e-05,
      "loss": 0.0369,
      "step": 14210
    },
    {
      "epoch": 1.896,
      "grad_norm": 0.812791645526886,
      "learning_rate": 9.684000000000001e-05,
      "loss": 0.0227,
      "step": 14220
    },
    {
      "epoch": 1.8973333333333333,
      "grad_norm": 0.8629150390625,
      "learning_rate": 9.683777777777778e-05,
      "loss": 0.0401,
      "step": 14230
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 0.37198424339294434,
      "learning_rate": 9.683555555555556e-05,
      "loss": 0.0354,
      "step": 14240
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.7564948201179504,
      "learning_rate": 9.683333333333335e-05,
      "loss": 0.0361,
      "step": 14250
    },
    {
      "epoch": 1.9013333333333333,
      "grad_norm": 0.25334402918815613,
      "learning_rate": 9.683111111111111e-05,
      "loss": 0.0298,
      "step": 14260
    },
    {
      "epoch": 1.9026666666666667,
      "grad_norm": 0.564853847026825,
      "learning_rate": 9.682888888888889e-05,
      "loss": 0.0393,
      "step": 14270
    },
    {
      "epoch": 1.904,
      "grad_norm": 1.3957388401031494,
      "learning_rate": 9.682666666666668e-05,
      "loss": 0.0373,
      "step": 14280
    },
    {
      "epoch": 1.9053333333333333,
      "grad_norm": 0.5672626495361328,
      "learning_rate": 9.682444444444446e-05,
      "loss": 0.0489,
      "step": 14290
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 1.571437120437622,
      "learning_rate": 9.682222222222222e-05,
      "loss": 0.0284,
      "step": 14300
    },
    {
      "epoch": 1.908,
      "grad_norm": 0.37127405405044556,
      "learning_rate": 9.682e-05,
      "loss": 0.0412,
      "step": 14310
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 1.4721739292144775,
      "learning_rate": 9.681777777777779e-05,
      "loss": 0.043,
      "step": 14320
    },
    {
      "epoch": 1.9106666666666667,
      "grad_norm": 0.8935335278511047,
      "learning_rate": 9.681555555555555e-05,
      "loss": 0.0348,
      "step": 14330
    },
    {
      "epoch": 1.912,
      "grad_norm": 0.9747682213783264,
      "learning_rate": 9.681333333333333e-05,
      "loss": 0.0499,
      "step": 14340
    },
    {
      "epoch": 1.9133333333333333,
      "grad_norm": 0.8513347506523132,
      "learning_rate": 9.681111111111112e-05,
      "loss": 0.0366,
      "step": 14350
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 0.975040078163147,
      "learning_rate": 9.68088888888889e-05,
      "loss": 0.0631,
      "step": 14360
    },
    {
      "epoch": 1.916,
      "grad_norm": 0.4707728624343872,
      "learning_rate": 9.680666666666666e-05,
      "loss": 0.0456,
      "step": 14370
    },
    {
      "epoch": 1.9173333333333333,
      "grad_norm": 0.19601528346538544,
      "learning_rate": 9.680444444444445e-05,
      "loss": 0.035,
      "step": 14380
    },
    {
      "epoch": 1.9186666666666667,
      "grad_norm": 0.9809791445732117,
      "learning_rate": 9.680222222222223e-05,
      "loss": 0.048,
      "step": 14390
    },
    {
      "epoch": 1.92,
      "grad_norm": 1.3674726486206055,
      "learning_rate": 9.680000000000001e-05,
      "loss": 0.039,
      "step": 14400
    },
    {
      "epoch": 1.9213333333333333,
      "grad_norm": 0.7268855571746826,
      "learning_rate": 9.679777777777779e-05,
      "loss": 0.0383,
      "step": 14410
    },
    {
      "epoch": 1.9226666666666667,
      "grad_norm": 0.46472877264022827,
      "learning_rate": 9.679555555555556e-05,
      "loss": 0.0422,
      "step": 14420
    },
    {
      "epoch": 1.924,
      "grad_norm": 1.377652645111084,
      "learning_rate": 9.679333333333334e-05,
      "loss": 0.0443,
      "step": 14430
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 0.9414267539978027,
      "learning_rate": 9.679111111111112e-05,
      "loss": 0.0677,
      "step": 14440
    },
    {
      "epoch": 1.9266666666666667,
      "grad_norm": 0.33327406644821167,
      "learning_rate": 9.67888888888889e-05,
      "loss": 0.0389,
      "step": 14450
    },
    {
      "epoch": 1.928,
      "grad_norm": 0.5054847598075867,
      "learning_rate": 9.678666666666667e-05,
      "loss": 0.0491,
      "step": 14460
    },
    {
      "epoch": 1.9293333333333333,
      "grad_norm": 1.2289365530014038,
      "learning_rate": 9.678444444444445e-05,
      "loss": 0.0381,
      "step": 14470
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 1.3186403512954712,
      "learning_rate": 9.678222222222223e-05,
      "loss": 0.0398,
      "step": 14480
    },
    {
      "epoch": 1.932,
      "grad_norm": 0.48265475034713745,
      "learning_rate": 9.678e-05,
      "loss": 0.053,
      "step": 14490
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.8651027679443359,
      "learning_rate": 9.677777777777778e-05,
      "loss": 0.0493,
      "step": 14500
    },
    {
      "epoch": 1.9346666666666668,
      "grad_norm": 0.5538485050201416,
      "learning_rate": 9.677555555555556e-05,
      "loss": 0.0372,
      "step": 14510
    },
    {
      "epoch": 1.936,
      "grad_norm": 1.6284871101379395,
      "learning_rate": 9.677333333333334e-05,
      "loss": 0.0475,
      "step": 14520
    },
    {
      "epoch": 1.9373333333333334,
      "grad_norm": 0.7378062605857849,
      "learning_rate": 9.677111111111111e-05,
      "loss": 0.0441,
      "step": 14530
    },
    {
      "epoch": 1.9386666666666668,
      "grad_norm": 0.5352685451507568,
      "learning_rate": 9.676888888888889e-05,
      "loss": 0.0429,
      "step": 14540
    },
    {
      "epoch": 1.94,
      "grad_norm": 0.43094947934150696,
      "learning_rate": 9.676666666666667e-05,
      "loss": 0.0343,
      "step": 14550
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 0.2929084002971649,
      "learning_rate": 9.676444444444445e-05,
      "loss": 0.0389,
      "step": 14560
    },
    {
      "epoch": 1.9426666666666668,
      "grad_norm": 1.1035752296447754,
      "learning_rate": 9.676222222222224e-05,
      "loss": 0.0476,
      "step": 14570
    },
    {
      "epoch": 1.944,
      "grad_norm": 0.8617531657218933,
      "learning_rate": 9.676e-05,
      "loss": 0.0446,
      "step": 14580
    },
    {
      "epoch": 1.9453333333333334,
      "grad_norm": 0.4175180494785309,
      "learning_rate": 9.675777777777778e-05,
      "loss": 0.0349,
      "step": 14590
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 0.8475742340087891,
      "learning_rate": 9.675555555555556e-05,
      "loss": 0.0458,
      "step": 14600
    },
    {
      "epoch": 1.948,
      "grad_norm": 1.4723060131072998,
      "learning_rate": 9.675333333333333e-05,
      "loss": 0.0404,
      "step": 14610
    },
    {
      "epoch": 1.9493333333333334,
      "grad_norm": 0.38676953315734863,
      "learning_rate": 9.675111111111111e-05,
      "loss": 0.0283,
      "step": 14620
    },
    {
      "epoch": 1.9506666666666668,
      "grad_norm": 1.1194579601287842,
      "learning_rate": 9.674888888888889e-05,
      "loss": 0.0273,
      "step": 14630
    },
    {
      "epoch": 1.952,
      "grad_norm": 1.4865649938583374,
      "learning_rate": 9.674666666666668e-05,
      "loss": 0.0402,
      "step": 14640
    },
    {
      "epoch": 1.9533333333333334,
      "grad_norm": 0.7003751993179321,
      "learning_rate": 9.674444444444444e-05,
      "loss": 0.0434,
      "step": 14650
    },
    {
      "epoch": 1.9546666666666668,
      "grad_norm": 0.6599711179733276,
      "learning_rate": 9.674222222222222e-05,
      "loss": 0.0361,
      "step": 14660
    },
    {
      "epoch": 1.956,
      "grad_norm": 0.5507740378379822,
      "learning_rate": 9.674000000000001e-05,
      "loss": 0.0446,
      "step": 14670
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 0.6559024453163147,
      "learning_rate": 9.673777777777778e-05,
      "loss": 0.0394,
      "step": 14680
    },
    {
      "epoch": 1.9586666666666668,
      "grad_norm": 0.6078050136566162,
      "learning_rate": 9.673555555555555e-05,
      "loss": 0.0456,
      "step": 14690
    },
    {
      "epoch": 1.96,
      "grad_norm": 1.1732324361801147,
      "learning_rate": 9.673333333333334e-05,
      "loss": 0.0491,
      "step": 14700
    },
    {
      "epoch": 1.9613333333333334,
      "grad_norm": 0.4368034601211548,
      "learning_rate": 9.673111111111112e-05,
      "loss": 0.0355,
      "step": 14710
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 0.4390074908733368,
      "learning_rate": 9.672888888888889e-05,
      "loss": 0.045,
      "step": 14720
    },
    {
      "epoch": 1.964,
      "grad_norm": 0.5132449865341187,
      "learning_rate": 9.672666666666668e-05,
      "loss": 0.0317,
      "step": 14730
    },
    {
      "epoch": 1.9653333333333334,
      "grad_norm": 0.6882010102272034,
      "learning_rate": 9.672444444444445e-05,
      "loss": 0.044,
      "step": 14740
    },
    {
      "epoch": 1.9666666666666668,
      "grad_norm": 0.6933672428131104,
      "learning_rate": 9.672222222222223e-05,
      "loss": 0.0289,
      "step": 14750
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.5206507444381714,
      "learning_rate": 9.672e-05,
      "loss": 0.0432,
      "step": 14760
    },
    {
      "epoch": 1.9693333333333334,
      "grad_norm": 0.2778512239456177,
      "learning_rate": 9.671777777777779e-05,
      "loss": 0.0386,
      "step": 14770
    },
    {
      "epoch": 1.9706666666666668,
      "grad_norm": 0.31537750363349915,
      "learning_rate": 9.671555555555556e-05,
      "loss": 0.0411,
      "step": 14780
    },
    {
      "epoch": 1.972,
      "grad_norm": 0.23615801334381104,
      "learning_rate": 9.671333333333333e-05,
      "loss": 0.0412,
      "step": 14790
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 1.4091838598251343,
      "learning_rate": 9.671111111111112e-05,
      "loss": 0.0423,
      "step": 14800
    },
    {
      "epoch": 1.9746666666666668,
      "grad_norm": 0.6235930323600769,
      "learning_rate": 9.67088888888889e-05,
      "loss": 0.0414,
      "step": 14810
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.657775342464447,
      "learning_rate": 9.670666666666667e-05,
      "loss": 0.0385,
      "step": 14820
    },
    {
      "epoch": 1.9773333333333334,
      "grad_norm": 1.885522723197937,
      "learning_rate": 9.670444444444445e-05,
      "loss": 0.0443,
      "step": 14830
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 2.718370199203491,
      "learning_rate": 9.670222222222223e-05,
      "loss": 0.0353,
      "step": 14840
    },
    {
      "epoch": 1.98,
      "grad_norm": 1.3688372373580933,
      "learning_rate": 9.67e-05,
      "loss": 0.04,
      "step": 14850
    },
    {
      "epoch": 1.9813333333333332,
      "grad_norm": 0.505499541759491,
      "learning_rate": 9.669777777777778e-05,
      "loss": 0.0527,
      "step": 14860
    },
    {
      "epoch": 1.9826666666666668,
      "grad_norm": 0.75965815782547,
      "learning_rate": 9.669555555555556e-05,
      "loss": 0.0335,
      "step": 14870
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.8638558387756348,
      "learning_rate": 9.669333333333334e-05,
      "loss": 0.0387,
      "step": 14880
    },
    {
      "epoch": 1.9853333333333332,
      "grad_norm": 0.2891733646392822,
      "learning_rate": 9.669111111111112e-05,
      "loss": 0.0505,
      "step": 14890
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 0.8121728897094727,
      "learning_rate": 9.668888888888889e-05,
      "loss": 0.0467,
      "step": 14900
    },
    {
      "epoch": 1.988,
      "grad_norm": 0.6117541193962097,
      "learning_rate": 9.668666666666667e-05,
      "loss": 0.0342,
      "step": 14910
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 0.4378663897514343,
      "learning_rate": 9.668444444444445e-05,
      "loss": 0.0382,
      "step": 14920
    },
    {
      "epoch": 1.9906666666666668,
      "grad_norm": 0.7215672135353088,
      "learning_rate": 9.668222222222223e-05,
      "loss": 0.04,
      "step": 14930
    },
    {
      "epoch": 1.992,
      "grad_norm": 0.30410897731781006,
      "learning_rate": 9.668e-05,
      "loss": 0.0337,
      "step": 14940
    },
    {
      "epoch": 1.9933333333333332,
      "grad_norm": 0.38529983162879944,
      "learning_rate": 9.667777777777778e-05,
      "loss": 0.0373,
      "step": 14950
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 0.6498231887817383,
      "learning_rate": 9.667555555555556e-05,
      "loss": 0.0412,
      "step": 14960
    },
    {
      "epoch": 1.996,
      "grad_norm": 0.6713026165962219,
      "learning_rate": 9.667333333333333e-05,
      "loss": 0.0399,
      "step": 14970
    },
    {
      "epoch": 1.9973333333333332,
      "grad_norm": 0.8185920715332031,
      "learning_rate": 9.667111111111111e-05,
      "loss": 0.0288,
      "step": 14980
    },
    {
      "epoch": 1.9986666666666668,
      "grad_norm": 1.328461766242981,
      "learning_rate": 9.66688888888889e-05,
      "loss": 0.0381,
      "step": 14990
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.4452410340309143,
      "learning_rate": 9.666666666666667e-05,
      "loss": 0.0403,
      "step": 15000
    },
    {
      "epoch": 2.0,
      "eval_loss": 0.026907941326498985,
      "eval_runtime": 37.0453,
      "eval_samples_per_second": 80.982,
      "eval_steps_per_second": 5.075,
      "step": 15000
    },
    {
      "epoch": 2.001333333333333,
      "grad_norm": 0.19458402693271637,
      "learning_rate": 9.666444444444444e-05,
      "loss": 0.0542,
      "step": 15010
    },
    {
      "epoch": 2.002666666666667,
      "grad_norm": 0.26687029004096985,
      "learning_rate": 9.666222222222224e-05,
      "loss": 0.0237,
      "step": 15020
    },
    {
      "epoch": 2.004,
      "grad_norm": 0.3892814517021179,
      "learning_rate": 9.666e-05,
      "loss": 0.0315,
      "step": 15030
    },
    {
      "epoch": 2.005333333333333,
      "grad_norm": 0.4239438474178314,
      "learning_rate": 9.665777777777778e-05,
      "loss": 0.0415,
      "step": 15040
    },
    {
      "epoch": 2.006666666666667,
      "grad_norm": 0.4676462411880493,
      "learning_rate": 9.665555555555555e-05,
      "loss": 0.0306,
      "step": 15050
    },
    {
      "epoch": 2.008,
      "grad_norm": 0.7302584648132324,
      "learning_rate": 9.665333333333335e-05,
      "loss": 0.0427,
      "step": 15060
    },
    {
      "epoch": 2.009333333333333,
      "grad_norm": 0.8736248016357422,
      "learning_rate": 9.665111111111111e-05,
      "loss": 0.0294,
      "step": 15070
    },
    {
      "epoch": 2.010666666666667,
      "grad_norm": 0.9878877997398376,
      "learning_rate": 9.664888888888889e-05,
      "loss": 0.0333,
      "step": 15080
    },
    {
      "epoch": 2.012,
      "grad_norm": 0.624668300151825,
      "learning_rate": 9.664666666666668e-05,
      "loss": 0.0405,
      "step": 15090
    },
    {
      "epoch": 2.013333333333333,
      "grad_norm": 0.6769343614578247,
      "learning_rate": 9.664444444444446e-05,
      "loss": 0.0305,
      "step": 15100
    },
    {
      "epoch": 2.014666666666667,
      "grad_norm": 0.23097743093967438,
      "learning_rate": 9.664222222222222e-05,
      "loss": 0.0319,
      "step": 15110
    },
    {
      "epoch": 2.016,
      "grad_norm": 1.229835033416748,
      "learning_rate": 9.664000000000001e-05,
      "loss": 0.0561,
      "step": 15120
    },
    {
      "epoch": 2.017333333333333,
      "grad_norm": 0.619280219078064,
      "learning_rate": 9.663777777777779e-05,
      "loss": 0.0351,
      "step": 15130
    },
    {
      "epoch": 2.018666666666667,
      "grad_norm": 0.5472890734672546,
      "learning_rate": 9.663555555555555e-05,
      "loss": 0.0327,
      "step": 15140
    },
    {
      "epoch": 2.02,
      "grad_norm": 0.5983229279518127,
      "learning_rate": 9.663333333333334e-05,
      "loss": 0.0267,
      "step": 15150
    },
    {
      "epoch": 2.021333333333333,
      "grad_norm": 0.5006508231163025,
      "learning_rate": 9.663111111111112e-05,
      "loss": 0.035,
      "step": 15160
    },
    {
      "epoch": 2.022666666666667,
      "grad_norm": 0.5200411677360535,
      "learning_rate": 9.66288888888889e-05,
      "loss": 0.0321,
      "step": 15170
    },
    {
      "epoch": 2.024,
      "grad_norm": 0.6594874858856201,
      "learning_rate": 9.662666666666667e-05,
      "loss": 0.0482,
      "step": 15180
    },
    {
      "epoch": 2.025333333333333,
      "grad_norm": 0.723688542842865,
      "learning_rate": 9.662444444444445e-05,
      "loss": 0.044,
      "step": 15190
    },
    {
      "epoch": 2.026666666666667,
      "grad_norm": 0.6394879817962646,
      "learning_rate": 9.662222222222223e-05,
      "loss": 0.0342,
      "step": 15200
    },
    {
      "epoch": 2.028,
      "grad_norm": 0.565652072429657,
      "learning_rate": 9.661999999999999e-05,
      "loss": 0.0473,
      "step": 15210
    },
    {
      "epoch": 2.029333333333333,
      "grad_norm": 0.8220207691192627,
      "learning_rate": 9.661777777777778e-05,
      "loss": 0.037,
      "step": 15220
    },
    {
      "epoch": 2.030666666666667,
      "grad_norm": 0.7397093772888184,
      "learning_rate": 9.661555555555556e-05,
      "loss": 0.0495,
      "step": 15230
    },
    {
      "epoch": 2.032,
      "grad_norm": 0.7248590588569641,
      "learning_rate": 9.661333333333334e-05,
      "loss": 0.0523,
      "step": 15240
    },
    {
      "epoch": 2.033333333333333,
      "grad_norm": 0.25930678844451904,
      "learning_rate": 9.661111111111112e-05,
      "loss": 0.0309,
      "step": 15250
    },
    {
      "epoch": 2.034666666666667,
      "grad_norm": 0.3853287696838379,
      "learning_rate": 9.66088888888889e-05,
      "loss": 0.0383,
      "step": 15260
    },
    {
      "epoch": 2.036,
      "grad_norm": 0.6869018077850342,
      "learning_rate": 9.660666666666667e-05,
      "loss": 0.0304,
      "step": 15270
    },
    {
      "epoch": 2.037333333333333,
      "grad_norm": 0.9825729131698608,
      "learning_rate": 9.660444444444445e-05,
      "loss": 0.0395,
      "step": 15280
    },
    {
      "epoch": 2.038666666666667,
      "grad_norm": 0.3432764708995819,
      "learning_rate": 9.660222222222223e-05,
      "loss": 0.0251,
      "step": 15290
    },
    {
      "epoch": 2.04,
      "grad_norm": 0.17861595749855042,
      "learning_rate": 9.66e-05,
      "loss": 0.0482,
      "step": 15300
    },
    {
      "epoch": 2.041333333333333,
      "grad_norm": 0.31014689803123474,
      "learning_rate": 9.659777777777778e-05,
      "loss": 0.0378,
      "step": 15310
    },
    {
      "epoch": 2.042666666666667,
      "grad_norm": 2.514348268508911,
      "learning_rate": 9.659555555555556e-05,
      "loss": 0.0399,
      "step": 15320
    },
    {
      "epoch": 2.044,
      "grad_norm": 1.491546630859375,
      "learning_rate": 9.659333333333334e-05,
      "loss": 0.0388,
      "step": 15330
    },
    {
      "epoch": 2.0453333333333332,
      "grad_norm": 0.7590581178665161,
      "learning_rate": 9.659111111111113e-05,
      "loss": 0.0315,
      "step": 15340
    },
    {
      "epoch": 2.046666666666667,
      "grad_norm": 0.2694213390350342,
      "learning_rate": 9.658888888888889e-05,
      "loss": 0.0438,
      "step": 15350
    },
    {
      "epoch": 2.048,
      "grad_norm": 0.7606456875801086,
      "learning_rate": 9.658666666666667e-05,
      "loss": 0.0635,
      "step": 15360
    },
    {
      "epoch": 2.0493333333333332,
      "grad_norm": 1.0745041370391846,
      "learning_rate": 9.658444444444445e-05,
      "loss": 0.042,
      "step": 15370
    },
    {
      "epoch": 2.050666666666667,
      "grad_norm": 0.8620473742485046,
      "learning_rate": 9.658222222222222e-05,
      "loss": 0.0324,
      "step": 15380
    },
    {
      "epoch": 2.052,
      "grad_norm": 0.9324098825454712,
      "learning_rate": 9.658e-05,
      "loss": 0.0313,
      "step": 15390
    },
    {
      "epoch": 2.0533333333333332,
      "grad_norm": 1.1052165031433105,
      "learning_rate": 9.657777777777778e-05,
      "loss": 0.0239,
      "step": 15400
    },
    {
      "epoch": 2.054666666666667,
      "grad_norm": 0.1807834506034851,
      "learning_rate": 9.657555555555557e-05,
      "loss": 0.0434,
      "step": 15410
    },
    {
      "epoch": 2.056,
      "grad_norm": 0.555851399898529,
      "learning_rate": 9.657333333333333e-05,
      "loss": 0.0349,
      "step": 15420
    },
    {
      "epoch": 2.0573333333333332,
      "grad_norm": 1.0064564943313599,
      "learning_rate": 9.657111111111111e-05,
      "loss": 0.0348,
      "step": 15430
    },
    {
      "epoch": 2.058666666666667,
      "grad_norm": 0.6019840240478516,
      "learning_rate": 9.65688888888889e-05,
      "loss": 0.0294,
      "step": 15440
    },
    {
      "epoch": 2.06,
      "grad_norm": 1.5858451128005981,
      "learning_rate": 9.656666666666668e-05,
      "loss": 0.0302,
      "step": 15450
    },
    {
      "epoch": 2.0613333333333332,
      "grad_norm": 0.24032670259475708,
      "learning_rate": 9.656444444444444e-05,
      "loss": 0.0363,
      "step": 15460
    },
    {
      "epoch": 2.062666666666667,
      "grad_norm": 0.24692657589912415,
      "learning_rate": 9.656222222222223e-05,
      "loss": 0.0308,
      "step": 15470
    },
    {
      "epoch": 2.064,
      "grad_norm": 0.6781567931175232,
      "learning_rate": 9.656000000000001e-05,
      "loss": 0.0312,
      "step": 15480
    },
    {
      "epoch": 2.0653333333333332,
      "grad_norm": 0.877435028553009,
      "learning_rate": 9.655777777777777e-05,
      "loss": 0.0325,
      "step": 15490
    },
    {
      "epoch": 2.066666666666667,
      "grad_norm": 0.9320844411849976,
      "learning_rate": 9.655555555555555e-05,
      "loss": 0.0267,
      "step": 15500
    },
    {
      "epoch": 2.068,
      "grad_norm": 0.36482784152030945,
      "learning_rate": 9.655333333333334e-05,
      "loss": 0.0279,
      "step": 15510
    },
    {
      "epoch": 2.0693333333333332,
      "grad_norm": 0.2716074585914612,
      "learning_rate": 9.655111111111112e-05,
      "loss": 0.0494,
      "step": 15520
    },
    {
      "epoch": 2.070666666666667,
      "grad_norm": 0.4013563394546509,
      "learning_rate": 9.654888888888888e-05,
      "loss": 0.0309,
      "step": 15530
    },
    {
      "epoch": 2.072,
      "grad_norm": 1.9289608001708984,
      "learning_rate": 9.654666666666668e-05,
      "loss": 0.037,
      "step": 15540
    },
    {
      "epoch": 2.0733333333333333,
      "grad_norm": 0.6173689961433411,
      "learning_rate": 9.654444444444445e-05,
      "loss": 0.037,
      "step": 15550
    },
    {
      "epoch": 2.074666666666667,
      "grad_norm": 0.9856918454170227,
      "learning_rate": 9.654222222222222e-05,
      "loss": 0.0354,
      "step": 15560
    },
    {
      "epoch": 2.076,
      "grad_norm": 0.28112784028053284,
      "learning_rate": 9.654000000000001e-05,
      "loss": 0.0394,
      "step": 15570
    },
    {
      "epoch": 2.0773333333333333,
      "grad_norm": 0.7914918661117554,
      "learning_rate": 9.653777777777778e-05,
      "loss": 0.0307,
      "step": 15580
    },
    {
      "epoch": 2.078666666666667,
      "grad_norm": 3.409409999847412,
      "learning_rate": 9.653555555555556e-05,
      "loss": 0.0409,
      "step": 15590
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.8502640128135681,
      "learning_rate": 9.653333333333334e-05,
      "loss": 0.0394,
      "step": 15600
    },
    {
      "epoch": 2.0813333333333333,
      "grad_norm": 1.5055204629898071,
      "learning_rate": 9.653111111111112e-05,
      "loss": 0.0326,
      "step": 15610
    },
    {
      "epoch": 2.0826666666666664,
      "grad_norm": 0.508665144443512,
      "learning_rate": 9.65288888888889e-05,
      "loss": 0.0314,
      "step": 15620
    },
    {
      "epoch": 2.084,
      "grad_norm": 0.3558270335197449,
      "learning_rate": 9.652666666666667e-05,
      "loss": 0.041,
      "step": 15630
    },
    {
      "epoch": 2.0853333333333333,
      "grad_norm": 1.208937168121338,
      "learning_rate": 9.652444444444445e-05,
      "loss": 0.037,
      "step": 15640
    },
    {
      "epoch": 2.086666666666667,
      "grad_norm": 0.4984533190727234,
      "learning_rate": 9.652222222222223e-05,
      "loss": 0.0305,
      "step": 15650
    },
    {
      "epoch": 2.088,
      "grad_norm": 0.17910589277744293,
      "learning_rate": 9.652e-05,
      "loss": 0.0248,
      "step": 15660
    },
    {
      "epoch": 2.0893333333333333,
      "grad_norm": 1.3320212364196777,
      "learning_rate": 9.651777777777778e-05,
      "loss": 0.0336,
      "step": 15670
    },
    {
      "epoch": 2.0906666666666665,
      "grad_norm": 0.5818414092063904,
      "learning_rate": 9.651555555555556e-05,
      "loss": 0.038,
      "step": 15680
    },
    {
      "epoch": 2.092,
      "grad_norm": 0.30686965584754944,
      "learning_rate": 9.651333333333334e-05,
      "loss": 0.0323,
      "step": 15690
    },
    {
      "epoch": 2.0933333333333333,
      "grad_norm": 0.8444516062736511,
      "learning_rate": 9.651111111111111e-05,
      "loss": 0.0353,
      "step": 15700
    },
    {
      "epoch": 2.0946666666666665,
      "grad_norm": 0.778500497341156,
      "learning_rate": 9.650888888888889e-05,
      "loss": 0.0278,
      "step": 15710
    },
    {
      "epoch": 2.096,
      "grad_norm": 0.5468623042106628,
      "learning_rate": 9.650666666666667e-05,
      "loss": 0.0438,
      "step": 15720
    },
    {
      "epoch": 2.0973333333333333,
      "grad_norm": 0.7477244734764099,
      "learning_rate": 9.650444444444445e-05,
      "loss": 0.0364,
      "step": 15730
    },
    {
      "epoch": 2.0986666666666665,
      "grad_norm": 1.0081043243408203,
      "learning_rate": 9.650222222222222e-05,
      "loss": 0.0425,
      "step": 15740
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.9115377068519592,
      "learning_rate": 9.65e-05,
      "loss": 0.0308,
      "step": 15750
    },
    {
      "epoch": 2.1013333333333333,
      "grad_norm": 0.7535917162895203,
      "learning_rate": 9.649777777777779e-05,
      "loss": 0.0277,
      "step": 15760
    },
    {
      "epoch": 2.1026666666666665,
      "grad_norm": 0.7778178453445435,
      "learning_rate": 9.649555555555556e-05,
      "loss": 0.0381,
      "step": 15770
    },
    {
      "epoch": 2.104,
      "grad_norm": 0.37071430683135986,
      "learning_rate": 9.649333333333333e-05,
      "loss": 0.0216,
      "step": 15780
    },
    {
      "epoch": 2.1053333333333333,
      "grad_norm": 0.5637894868850708,
      "learning_rate": 9.649111111111112e-05,
      "loss": 0.0443,
      "step": 15790
    },
    {
      "epoch": 2.1066666666666665,
      "grad_norm": 0.8217300772666931,
      "learning_rate": 9.64888888888889e-05,
      "loss": 0.0287,
      "step": 15800
    },
    {
      "epoch": 2.108,
      "grad_norm": 0.26979780197143555,
      "learning_rate": 9.648666666666667e-05,
      "loss": 0.0282,
      "step": 15810
    },
    {
      "epoch": 2.1093333333333333,
      "grad_norm": 0.4291314482688904,
      "learning_rate": 9.648444444444444e-05,
      "loss": 0.032,
      "step": 15820
    },
    {
      "epoch": 2.1106666666666665,
      "grad_norm": 1.0152431726455688,
      "learning_rate": 9.648222222222223e-05,
      "loss": 0.0346,
      "step": 15830
    },
    {
      "epoch": 2.112,
      "grad_norm": 0.360102117061615,
      "learning_rate": 9.648e-05,
      "loss": 0.0311,
      "step": 15840
    },
    {
      "epoch": 2.1133333333333333,
      "grad_norm": 0.47670552134513855,
      "learning_rate": 9.647777777777778e-05,
      "loss": 0.0353,
      "step": 15850
    },
    {
      "epoch": 2.1146666666666665,
      "grad_norm": 0.7220745086669922,
      "learning_rate": 9.647555555555557e-05,
      "loss": 0.0276,
      "step": 15860
    },
    {
      "epoch": 2.116,
      "grad_norm": 0.49364379048347473,
      "learning_rate": 9.647333333333334e-05,
      "loss": 0.038,
      "step": 15870
    },
    {
      "epoch": 2.1173333333333333,
      "grad_norm": 0.9430327415466309,
      "learning_rate": 9.647111111111111e-05,
      "loss": 0.0454,
      "step": 15880
    },
    {
      "epoch": 2.1186666666666665,
      "grad_norm": 1.1613131761550903,
      "learning_rate": 9.64688888888889e-05,
      "loss": 0.0394,
      "step": 15890
    },
    {
      "epoch": 2.12,
      "grad_norm": 0.45661813020706177,
      "learning_rate": 9.646666666666668e-05,
      "loss": 0.0264,
      "step": 15900
    },
    {
      "epoch": 2.1213333333333333,
      "grad_norm": 1.2673295736312866,
      "learning_rate": 9.646444444444444e-05,
      "loss": 0.0404,
      "step": 15910
    },
    {
      "epoch": 2.1226666666666665,
      "grad_norm": 0.5226581692695618,
      "learning_rate": 9.646222222222223e-05,
      "loss": 0.0346,
      "step": 15920
    },
    {
      "epoch": 2.124,
      "grad_norm": 0.7884598970413208,
      "learning_rate": 9.646000000000001e-05,
      "loss": 0.0389,
      "step": 15930
    },
    {
      "epoch": 2.1253333333333333,
      "grad_norm": 0.3544926345348358,
      "learning_rate": 9.645777777777779e-05,
      "loss": 0.0406,
      "step": 15940
    },
    {
      "epoch": 2.1266666666666665,
      "grad_norm": 3.0773022174835205,
      "learning_rate": 9.645555555555556e-05,
      "loss": 0.0375,
      "step": 15950
    },
    {
      "epoch": 2.128,
      "grad_norm": 1.634932518005371,
      "learning_rate": 9.645333333333334e-05,
      "loss": 0.0332,
      "step": 15960
    },
    {
      "epoch": 2.1293333333333333,
      "grad_norm": 0.833620011806488,
      "learning_rate": 9.645111111111112e-05,
      "loss": 0.0396,
      "step": 15970
    },
    {
      "epoch": 2.1306666666666665,
      "grad_norm": 0.8585348725318909,
      "learning_rate": 9.64488888888889e-05,
      "loss": 0.029,
      "step": 15980
    },
    {
      "epoch": 2.132,
      "grad_norm": 0.9645203351974487,
      "learning_rate": 9.644666666666667e-05,
      "loss": 0.0359,
      "step": 15990
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 0.3784576952457428,
      "learning_rate": 9.644444444444445e-05,
      "loss": 0.0285,
      "step": 16000
    },
    {
      "epoch": 2.1346666666666665,
      "grad_norm": 0.6010244488716125,
      "learning_rate": 9.644222222222223e-05,
      "loss": 0.0346,
      "step": 16010
    },
    {
      "epoch": 2.136,
      "grad_norm": 0.16958914697170258,
      "learning_rate": 9.644e-05,
      "loss": 0.0323,
      "step": 16020
    },
    {
      "epoch": 2.1373333333333333,
      "grad_norm": 0.4271775186061859,
      "learning_rate": 9.643777777777778e-05,
      "loss": 0.033,
      "step": 16030
    },
    {
      "epoch": 2.1386666666666665,
      "grad_norm": 1.052841305732727,
      "learning_rate": 9.643555555555556e-05,
      "loss": 0.0508,
      "step": 16040
    },
    {
      "epoch": 2.14,
      "grad_norm": 1.0749025344848633,
      "learning_rate": 9.643333333333334e-05,
      "loss": 0.0357,
      "step": 16050
    },
    {
      "epoch": 2.1413333333333333,
      "grad_norm": 1.0292857885360718,
      "learning_rate": 9.643111111111111e-05,
      "loss": 0.0376,
      "step": 16060
    },
    {
      "epoch": 2.1426666666666665,
      "grad_norm": 0.3320133090019226,
      "learning_rate": 9.642888888888889e-05,
      "loss": 0.0296,
      "step": 16070
    },
    {
      "epoch": 2.144,
      "grad_norm": 1.0535838603973389,
      "learning_rate": 9.642666666666667e-05,
      "loss": 0.0411,
      "step": 16080
    },
    {
      "epoch": 2.1453333333333333,
      "grad_norm": 0.3970543146133423,
      "learning_rate": 9.642444444444445e-05,
      "loss": 0.04,
      "step": 16090
    },
    {
      "epoch": 2.1466666666666665,
      "grad_norm": 0.840628445148468,
      "learning_rate": 9.642222222222222e-05,
      "loss": 0.0252,
      "step": 16100
    },
    {
      "epoch": 2.148,
      "grad_norm": 1.189334750175476,
      "learning_rate": 9.642e-05,
      "loss": 0.0436,
      "step": 16110
    },
    {
      "epoch": 2.1493333333333333,
      "grad_norm": 1.473360538482666,
      "learning_rate": 9.641777777777778e-05,
      "loss": 0.0469,
      "step": 16120
    },
    {
      "epoch": 2.1506666666666665,
      "grad_norm": 0.8546285033226013,
      "learning_rate": 9.641555555555556e-05,
      "loss": 0.0328,
      "step": 16130
    },
    {
      "epoch": 2.152,
      "grad_norm": 0.715430498123169,
      "learning_rate": 9.641333333333333e-05,
      "loss": 0.0488,
      "step": 16140
    },
    {
      "epoch": 2.1533333333333333,
      "grad_norm": 0.4765736758708954,
      "learning_rate": 9.641111111111113e-05,
      "loss": 0.0486,
      "step": 16150
    },
    {
      "epoch": 2.1546666666666665,
      "grad_norm": 0.9864489436149597,
      "learning_rate": 9.640888888888889e-05,
      "loss": 0.0278,
      "step": 16160
    },
    {
      "epoch": 2.156,
      "grad_norm": 0.4736769199371338,
      "learning_rate": 9.640666666666667e-05,
      "loss": 0.0429,
      "step": 16170
    },
    {
      "epoch": 2.1573333333333333,
      "grad_norm": 0.6545182466506958,
      "learning_rate": 9.640444444444446e-05,
      "loss": 0.0335,
      "step": 16180
    },
    {
      "epoch": 2.1586666666666665,
      "grad_norm": 0.6424465179443359,
      "learning_rate": 9.640222222222222e-05,
      "loss": 0.0398,
      "step": 16190
    },
    {
      "epoch": 2.16,
      "grad_norm": 0.7005419135093689,
      "learning_rate": 9.64e-05,
      "loss": 0.0318,
      "step": 16200
    },
    {
      "epoch": 2.1613333333333333,
      "grad_norm": 1.480412483215332,
      "learning_rate": 9.639777777777779e-05,
      "loss": 0.0398,
      "step": 16210
    },
    {
      "epoch": 2.1626666666666665,
      "grad_norm": 0.6718567609786987,
      "learning_rate": 9.639555555555557e-05,
      "loss": 0.0277,
      "step": 16220
    },
    {
      "epoch": 2.164,
      "grad_norm": 0.5466489195823669,
      "learning_rate": 9.639333333333333e-05,
      "loss": 0.0397,
      "step": 16230
    },
    {
      "epoch": 2.1653333333333333,
      "grad_norm": 1.0153456926345825,
      "learning_rate": 9.639111111111112e-05,
      "loss": 0.0276,
      "step": 16240
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 0.35363176465034485,
      "learning_rate": 9.63888888888889e-05,
      "loss": 0.0549,
      "step": 16250
    },
    {
      "epoch": 2.168,
      "grad_norm": 0.7992534637451172,
      "learning_rate": 9.638666666666666e-05,
      "loss": 0.0408,
      "step": 16260
    },
    {
      "epoch": 2.1693333333333333,
      "grad_norm": 1.3696922063827515,
      "learning_rate": 9.638444444444444e-05,
      "loss": 0.0348,
      "step": 16270
    },
    {
      "epoch": 2.1706666666666665,
      "grad_norm": 0.30375903844833374,
      "learning_rate": 9.638222222222223e-05,
      "loss": 0.0346,
      "step": 16280
    },
    {
      "epoch": 2.172,
      "grad_norm": 0.6647371053695679,
      "learning_rate": 9.638000000000001e-05,
      "loss": 0.04,
      "step": 16290
    },
    {
      "epoch": 2.1733333333333333,
      "grad_norm": 0.3268703520298004,
      "learning_rate": 9.637777777777777e-05,
      "loss": 0.0322,
      "step": 16300
    },
    {
      "epoch": 2.1746666666666665,
      "grad_norm": 0.8022704720497131,
      "learning_rate": 9.637555555555556e-05,
      "loss": 0.0304,
      "step": 16310
    },
    {
      "epoch": 2.176,
      "grad_norm": 0.9959765076637268,
      "learning_rate": 9.637333333333334e-05,
      "loss": 0.0272,
      "step": 16320
    },
    {
      "epoch": 2.1773333333333333,
      "grad_norm": 1.0950490236282349,
      "learning_rate": 9.637111111111112e-05,
      "loss": 0.0432,
      "step": 16330
    },
    {
      "epoch": 2.1786666666666665,
      "grad_norm": 0.22072702646255493,
      "learning_rate": 9.63688888888889e-05,
      "loss": 0.043,
      "step": 16340
    },
    {
      "epoch": 2.18,
      "grad_norm": 0.4201206564903259,
      "learning_rate": 9.636666666666667e-05,
      "loss": 0.0282,
      "step": 16350
    },
    {
      "epoch": 2.1813333333333333,
      "grad_norm": 0.9900656938552856,
      "learning_rate": 9.636444444444445e-05,
      "loss": 0.0406,
      "step": 16360
    },
    {
      "epoch": 2.1826666666666665,
      "grad_norm": 0.21569772064685822,
      "learning_rate": 9.636222222222223e-05,
      "loss": 0.0391,
      "step": 16370
    },
    {
      "epoch": 2.184,
      "grad_norm": 0.5742936730384827,
      "learning_rate": 9.636e-05,
      "loss": 0.0295,
      "step": 16380
    },
    {
      "epoch": 2.1853333333333333,
      "grad_norm": 0.5534077882766724,
      "learning_rate": 9.635777777777778e-05,
      "loss": 0.0349,
      "step": 16390
    },
    {
      "epoch": 2.1866666666666665,
      "grad_norm": 0.5351735949516296,
      "learning_rate": 9.635555555555556e-05,
      "loss": 0.0412,
      "step": 16400
    },
    {
      "epoch": 2.188,
      "grad_norm": 0.7739284634590149,
      "learning_rate": 9.635333333333334e-05,
      "loss": 0.0435,
      "step": 16410
    },
    {
      "epoch": 2.1893333333333334,
      "grad_norm": 4.500914096832275,
      "learning_rate": 9.635111111111112e-05,
      "loss": 0.038,
      "step": 16420
    },
    {
      "epoch": 2.1906666666666665,
      "grad_norm": 0.4302573800086975,
      "learning_rate": 9.634888888888889e-05,
      "loss": 0.0289,
      "step": 16430
    },
    {
      "epoch": 2.192,
      "grad_norm": 0.5192294716835022,
      "learning_rate": 9.634666666666667e-05,
      "loss": 0.0322,
      "step": 16440
    },
    {
      "epoch": 2.1933333333333334,
      "grad_norm": 0.39191752672195435,
      "learning_rate": 9.634444444444445e-05,
      "loss": 0.0421,
      "step": 16450
    },
    {
      "epoch": 2.1946666666666665,
      "grad_norm": 0.8072493672370911,
      "learning_rate": 9.634222222222223e-05,
      "loss": 0.0325,
      "step": 16460
    },
    {
      "epoch": 2.196,
      "grad_norm": 0.511242687702179,
      "learning_rate": 9.634e-05,
      "loss": 0.0386,
      "step": 16470
    },
    {
      "epoch": 2.1973333333333334,
      "grad_norm": 0.3814351260662079,
      "learning_rate": 9.633777777777778e-05,
      "loss": 0.0333,
      "step": 16480
    },
    {
      "epoch": 2.1986666666666665,
      "grad_norm": 1.0952306985855103,
      "learning_rate": 9.633555555555556e-05,
      "loss": 0.0352,
      "step": 16490
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.6403672099113464,
      "learning_rate": 9.633333333333335e-05,
      "loss": 0.0271,
      "step": 16500
    },
    {
      "epoch": 2.2013333333333334,
      "grad_norm": 0.18108950555324554,
      "learning_rate": 9.633111111111111e-05,
      "loss": 0.0235,
      "step": 16510
    },
    {
      "epoch": 2.2026666666666666,
      "grad_norm": 0.37064045667648315,
      "learning_rate": 9.632888888888889e-05,
      "loss": 0.0447,
      "step": 16520
    },
    {
      "epoch": 2.204,
      "grad_norm": 0.6084712743759155,
      "learning_rate": 9.632666666666668e-05,
      "loss": 0.034,
      "step": 16530
    },
    {
      "epoch": 2.2053333333333334,
      "grad_norm": 0.700219988822937,
      "learning_rate": 9.632444444444444e-05,
      "loss": 0.0345,
      "step": 16540
    },
    {
      "epoch": 2.2066666666666666,
      "grad_norm": 0.6900720596313477,
      "learning_rate": 9.632222222222222e-05,
      "loss": 0.0344,
      "step": 16550
    },
    {
      "epoch": 2.208,
      "grad_norm": 0.6379465460777283,
      "learning_rate": 9.632e-05,
      "loss": 0.0347,
      "step": 16560
    },
    {
      "epoch": 2.2093333333333334,
      "grad_norm": 1.2973618507385254,
      "learning_rate": 9.631777777777779e-05,
      "loss": 0.0396,
      "step": 16570
    },
    {
      "epoch": 2.2106666666666666,
      "grad_norm": 0.7232316732406616,
      "learning_rate": 9.631555555555555e-05,
      "loss": 0.0267,
      "step": 16580
    },
    {
      "epoch": 2.212,
      "grad_norm": 0.6221094727516174,
      "learning_rate": 9.631333333333333e-05,
      "loss": 0.035,
      "step": 16590
    },
    {
      "epoch": 2.2133333333333334,
      "grad_norm": 0.7250034213066101,
      "learning_rate": 9.631111111111112e-05,
      "loss": 0.0328,
      "step": 16600
    },
    {
      "epoch": 2.2146666666666666,
      "grad_norm": 0.5866695046424866,
      "learning_rate": 9.630888888888889e-05,
      "loss": 0.0351,
      "step": 16610
    },
    {
      "epoch": 2.216,
      "grad_norm": 1.8566336631774902,
      "learning_rate": 9.630666666666666e-05,
      "loss": 0.0392,
      "step": 16620
    },
    {
      "epoch": 2.2173333333333334,
      "grad_norm": 0.7838100790977478,
      "learning_rate": 9.630444444444445e-05,
      "loss": 0.0372,
      "step": 16630
    },
    {
      "epoch": 2.2186666666666666,
      "grad_norm": 1.268720269203186,
      "learning_rate": 9.630222222222223e-05,
      "loss": 0.0302,
      "step": 16640
    },
    {
      "epoch": 2.22,
      "grad_norm": 1.0646049976348877,
      "learning_rate": 9.63e-05,
      "loss": 0.0332,
      "step": 16650
    },
    {
      "epoch": 2.2213333333333334,
      "grad_norm": 0.8228452205657959,
      "learning_rate": 9.629777777777779e-05,
      "loss": 0.0268,
      "step": 16660
    },
    {
      "epoch": 2.2226666666666666,
      "grad_norm": 0.43912750482559204,
      "learning_rate": 9.629555555555556e-05,
      "loss": 0.0336,
      "step": 16670
    },
    {
      "epoch": 2.224,
      "grad_norm": 0.5213283896446228,
      "learning_rate": 9.629333333333334e-05,
      "loss": 0.0304,
      "step": 16680
    },
    {
      "epoch": 2.2253333333333334,
      "grad_norm": 0.6202296614646912,
      "learning_rate": 9.629111111111112e-05,
      "loss": 0.0376,
      "step": 16690
    },
    {
      "epoch": 2.2266666666666666,
      "grad_norm": 2.2856149673461914,
      "learning_rate": 9.62888888888889e-05,
      "loss": 0.0461,
      "step": 16700
    },
    {
      "epoch": 2.228,
      "grad_norm": 0.8105074763298035,
      "learning_rate": 9.628666666666667e-05,
      "loss": 0.0337,
      "step": 16710
    },
    {
      "epoch": 2.2293333333333334,
      "grad_norm": 0.547816276550293,
      "learning_rate": 9.628444444444444e-05,
      "loss": 0.0346,
      "step": 16720
    },
    {
      "epoch": 2.2306666666666666,
      "grad_norm": 0.722836434841156,
      "learning_rate": 9.628222222222223e-05,
      "loss": 0.0387,
      "step": 16730
    },
    {
      "epoch": 2.232,
      "grad_norm": 0.32558974623680115,
      "learning_rate": 9.628e-05,
      "loss": 0.0327,
      "step": 16740
    },
    {
      "epoch": 2.2333333333333334,
      "grad_norm": 1.7442457675933838,
      "learning_rate": 9.627777777777778e-05,
      "loss": 0.0382,
      "step": 16750
    },
    {
      "epoch": 2.2346666666666666,
      "grad_norm": 1.009601354598999,
      "learning_rate": 9.627555555555556e-05,
      "loss": 0.0368,
      "step": 16760
    },
    {
      "epoch": 2.2359999999999998,
      "grad_norm": 0.4660952389240265,
      "learning_rate": 9.627333333333334e-05,
      "loss": 0.0287,
      "step": 16770
    },
    {
      "epoch": 2.2373333333333334,
      "grad_norm": 0.8538919687271118,
      "learning_rate": 9.627111111111112e-05,
      "loss": 0.0395,
      "step": 16780
    },
    {
      "epoch": 2.2386666666666666,
      "grad_norm": 1.1859506368637085,
      "learning_rate": 9.62688888888889e-05,
      "loss": 0.0486,
      "step": 16790
    },
    {
      "epoch": 2.24,
      "grad_norm": 1.0013245344161987,
      "learning_rate": 9.626666666666667e-05,
      "loss": 0.0425,
      "step": 16800
    },
    {
      "epoch": 2.2413333333333334,
      "grad_norm": 1.1622053384780884,
      "learning_rate": 9.626444444444445e-05,
      "loss": 0.0361,
      "step": 16810
    },
    {
      "epoch": 2.2426666666666666,
      "grad_norm": 1.7601925134658813,
      "learning_rate": 9.626222222222223e-05,
      "loss": 0.0413,
      "step": 16820
    },
    {
      "epoch": 2.2439999999999998,
      "grad_norm": 0.9911364316940308,
      "learning_rate": 9.626e-05,
      "loss": 0.0367,
      "step": 16830
    },
    {
      "epoch": 2.2453333333333334,
      "grad_norm": 0.47923123836517334,
      "learning_rate": 9.625777777777778e-05,
      "loss": 0.0355,
      "step": 16840
    },
    {
      "epoch": 2.2466666666666666,
      "grad_norm": 0.7240422964096069,
      "learning_rate": 9.625555555555557e-05,
      "loss": 0.0276,
      "step": 16850
    },
    {
      "epoch": 2.248,
      "grad_norm": 0.8453489542007446,
      "learning_rate": 9.625333333333334e-05,
      "loss": 0.0458,
      "step": 16860
    },
    {
      "epoch": 2.2493333333333334,
      "grad_norm": 1.6978532075881958,
      "learning_rate": 9.625111111111111e-05,
      "loss": 0.0591,
      "step": 16870
    },
    {
      "epoch": 2.2506666666666666,
      "grad_norm": 0.8095909953117371,
      "learning_rate": 9.624888888888889e-05,
      "loss": 0.049,
      "step": 16880
    },
    {
      "epoch": 2.252,
      "grad_norm": 1.6093093156814575,
      "learning_rate": 9.624666666666667e-05,
      "loss": 0.0466,
      "step": 16890
    },
    {
      "epoch": 2.2533333333333334,
      "grad_norm": 1.118746280670166,
      "learning_rate": 9.624444444444445e-05,
      "loss": 0.0432,
      "step": 16900
    },
    {
      "epoch": 2.2546666666666666,
      "grad_norm": 0.9932304620742798,
      "learning_rate": 9.624222222222222e-05,
      "loss": 0.0399,
      "step": 16910
    },
    {
      "epoch": 2.2560000000000002,
      "grad_norm": 0.5366036295890808,
      "learning_rate": 9.624000000000001e-05,
      "loss": 0.0319,
      "step": 16920
    },
    {
      "epoch": 2.2573333333333334,
      "grad_norm": 0.3540157973766327,
      "learning_rate": 9.623777777777778e-05,
      "loss": 0.0251,
      "step": 16930
    },
    {
      "epoch": 2.2586666666666666,
      "grad_norm": 0.36160242557525635,
      "learning_rate": 9.623555555555555e-05,
      "loss": 0.024,
      "step": 16940
    },
    {
      "epoch": 2.26,
      "grad_norm": 0.5696792006492615,
      "learning_rate": 9.623333333333335e-05,
      "loss": 0.0284,
      "step": 16950
    },
    {
      "epoch": 2.2613333333333334,
      "grad_norm": 0.6386475563049316,
      "learning_rate": 9.623111111111111e-05,
      "loss": 0.032,
      "step": 16960
    },
    {
      "epoch": 2.2626666666666666,
      "grad_norm": 1.0772337913513184,
      "learning_rate": 9.622888888888889e-05,
      "loss": 0.0277,
      "step": 16970
    },
    {
      "epoch": 2.2640000000000002,
      "grad_norm": 0.38433337211608887,
      "learning_rate": 9.622666666666668e-05,
      "loss": 0.0511,
      "step": 16980
    },
    {
      "epoch": 2.2653333333333334,
      "grad_norm": 0.6717869639396667,
      "learning_rate": 9.622444444444446e-05,
      "loss": 0.0328,
      "step": 16990
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 0.48580223321914673,
      "learning_rate": 9.622222222222222e-05,
      "loss": 0.0272,
      "step": 17000
    },
    {
      "epoch": 2.268,
      "grad_norm": 0.5968849658966064,
      "learning_rate": 9.622000000000001e-05,
      "loss": 0.0287,
      "step": 17010
    },
    {
      "epoch": 2.2693333333333334,
      "grad_norm": 0.396944135427475,
      "learning_rate": 9.621777777777779e-05,
      "loss": 0.0336,
      "step": 17020
    },
    {
      "epoch": 2.2706666666666666,
      "grad_norm": 0.9078839421272278,
      "learning_rate": 9.621555555555557e-05,
      "loss": 0.0432,
      "step": 17030
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 0.7220640778541565,
      "learning_rate": 9.621333333333333e-05,
      "loss": 0.0392,
      "step": 17040
    },
    {
      "epoch": 2.2733333333333334,
      "grad_norm": 0.10500980913639069,
      "learning_rate": 9.621111111111112e-05,
      "loss": 0.0265,
      "step": 17050
    },
    {
      "epoch": 2.2746666666666666,
      "grad_norm": 0.8193709850311279,
      "learning_rate": 9.62088888888889e-05,
      "loss": 0.0348,
      "step": 17060
    },
    {
      "epoch": 2.276,
      "grad_norm": 0.6753655672073364,
      "learning_rate": 9.620666666666666e-05,
      "loss": 0.0352,
      "step": 17070
    },
    {
      "epoch": 2.2773333333333334,
      "grad_norm": 0.4845674932003021,
      "learning_rate": 9.620444444444445e-05,
      "loss": 0.0387,
      "step": 17080
    },
    {
      "epoch": 2.2786666666666666,
      "grad_norm": 0.3456968665122986,
      "learning_rate": 9.620222222222223e-05,
      "loss": 0.0381,
      "step": 17090
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 0.33028241991996765,
      "learning_rate": 9.620000000000001e-05,
      "loss": 0.021,
      "step": 17100
    },
    {
      "epoch": 2.2813333333333334,
      "grad_norm": 0.6324434876441956,
      "learning_rate": 9.619777777777778e-05,
      "loss": 0.0378,
      "step": 17110
    },
    {
      "epoch": 2.2826666666666666,
      "grad_norm": 1.1091125011444092,
      "learning_rate": 9.619555555555556e-05,
      "loss": 0.0271,
      "step": 17120
    },
    {
      "epoch": 2.284,
      "grad_norm": 1.133171796798706,
      "learning_rate": 9.619333333333334e-05,
      "loss": 0.033,
      "step": 17130
    },
    {
      "epoch": 2.2853333333333334,
      "grad_norm": 0.31234580278396606,
      "learning_rate": 9.619111111111112e-05,
      "loss": 0.0394,
      "step": 17140
    },
    {
      "epoch": 2.2866666666666666,
      "grad_norm": 0.4975779950618744,
      "learning_rate": 9.61888888888889e-05,
      "loss": 0.038,
      "step": 17150
    },
    {
      "epoch": 2.288,
      "grad_norm": 0.5930885672569275,
      "learning_rate": 9.618666666666667e-05,
      "loss": 0.0307,
      "step": 17160
    },
    {
      "epoch": 2.2893333333333334,
      "grad_norm": 0.6990321278572083,
      "learning_rate": 9.618444444444445e-05,
      "loss": 0.0364,
      "step": 17170
    },
    {
      "epoch": 2.2906666666666666,
      "grad_norm": 0.6748674511909485,
      "learning_rate": 9.618222222222223e-05,
      "loss": 0.02,
      "step": 17180
    },
    {
      "epoch": 2.292,
      "grad_norm": 1.7098233699798584,
      "learning_rate": 9.618e-05,
      "loss": 0.0425,
      "step": 17190
    },
    {
      "epoch": 2.2933333333333334,
      "grad_norm": 0.6207507252693176,
      "learning_rate": 9.617777777777778e-05,
      "loss": 0.0321,
      "step": 17200
    },
    {
      "epoch": 2.2946666666666666,
      "grad_norm": 0.3378116190433502,
      "learning_rate": 9.617555555555556e-05,
      "loss": 0.0245,
      "step": 17210
    },
    {
      "epoch": 2.296,
      "grad_norm": 0.40030616521835327,
      "learning_rate": 9.617333333333334e-05,
      "loss": 0.0297,
      "step": 17220
    },
    {
      "epoch": 2.2973333333333334,
      "grad_norm": 0.25306496024131775,
      "learning_rate": 9.617111111111111e-05,
      "loss": 0.0376,
      "step": 17230
    },
    {
      "epoch": 2.2986666666666666,
      "grad_norm": 0.1998574137687683,
      "learning_rate": 9.616888888888889e-05,
      "loss": 0.0347,
      "step": 17240
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.6591010093688965,
      "learning_rate": 9.616666666666667e-05,
      "loss": 0.0313,
      "step": 17250
    },
    {
      "epoch": 2.3013333333333335,
      "grad_norm": 0.4641377627849579,
      "learning_rate": 9.616444444444445e-05,
      "loss": 0.0272,
      "step": 17260
    },
    {
      "epoch": 2.3026666666666666,
      "grad_norm": 0.48040345311164856,
      "learning_rate": 9.616222222222224e-05,
      "loss": 0.0285,
      "step": 17270
    },
    {
      "epoch": 2.304,
      "grad_norm": 0.361897349357605,
      "learning_rate": 9.616e-05,
      "loss": 0.0415,
      "step": 17280
    },
    {
      "epoch": 2.3053333333333335,
      "grad_norm": 0.34446361660957336,
      "learning_rate": 9.615777777777778e-05,
      "loss": 0.0428,
      "step": 17290
    },
    {
      "epoch": 2.3066666666666666,
      "grad_norm": 0.18501169979572296,
      "learning_rate": 9.615555555555557e-05,
      "loss": 0.0306,
      "step": 17300
    },
    {
      "epoch": 2.308,
      "grad_norm": 0.5474211573600769,
      "learning_rate": 9.615333333333333e-05,
      "loss": 0.0334,
      "step": 17310
    },
    {
      "epoch": 2.3093333333333335,
      "grad_norm": 0.4441346526145935,
      "learning_rate": 9.615111111111111e-05,
      "loss": 0.0346,
      "step": 17320
    },
    {
      "epoch": 2.3106666666666666,
      "grad_norm": 0.31923872232437134,
      "learning_rate": 9.614888888888889e-05,
      "loss": 0.0352,
      "step": 17330
    },
    {
      "epoch": 2.312,
      "grad_norm": 0.5854511260986328,
      "learning_rate": 9.614666666666668e-05,
      "loss": 0.0347,
      "step": 17340
    },
    {
      "epoch": 2.3133333333333335,
      "grad_norm": 0.5014685392379761,
      "learning_rate": 9.614444444444444e-05,
      "loss": 0.0275,
      "step": 17350
    },
    {
      "epoch": 2.3146666666666667,
      "grad_norm": 0.25542375445365906,
      "learning_rate": 9.614222222222222e-05,
      "loss": 0.0284,
      "step": 17360
    },
    {
      "epoch": 2.316,
      "grad_norm": 1.0290660858154297,
      "learning_rate": 9.614000000000001e-05,
      "loss": 0.0345,
      "step": 17370
    },
    {
      "epoch": 2.3173333333333335,
      "grad_norm": 0.3953951895236969,
      "learning_rate": 9.613777777777779e-05,
      "loss": 0.0368,
      "step": 17380
    },
    {
      "epoch": 2.3186666666666667,
      "grad_norm": 0.3532874286174774,
      "learning_rate": 9.613555555555555e-05,
      "loss": 0.0322,
      "step": 17390
    },
    {
      "epoch": 2.32,
      "grad_norm": 0.32494986057281494,
      "learning_rate": 9.613333333333334e-05,
      "loss": 0.0374,
      "step": 17400
    },
    {
      "epoch": 2.3213333333333335,
      "grad_norm": 0.5274669528007507,
      "learning_rate": 9.613111111111112e-05,
      "loss": 0.0335,
      "step": 17410
    },
    {
      "epoch": 2.3226666666666667,
      "grad_norm": 1.3956373929977417,
      "learning_rate": 9.612888888888888e-05,
      "loss": 0.0687,
      "step": 17420
    },
    {
      "epoch": 2.324,
      "grad_norm": 0.9502520561218262,
      "learning_rate": 9.612666666666668e-05,
      "loss": 0.0307,
      "step": 17430
    },
    {
      "epoch": 2.3253333333333335,
      "grad_norm": 0.9736024141311646,
      "learning_rate": 9.612444444444445e-05,
      "loss": 0.0456,
      "step": 17440
    },
    {
      "epoch": 2.3266666666666667,
      "grad_norm": 0.3245375454425812,
      "learning_rate": 9.612222222222223e-05,
      "loss": 0.0317,
      "step": 17450
    },
    {
      "epoch": 2.328,
      "grad_norm": 1.156080722808838,
      "learning_rate": 9.612000000000001e-05,
      "loss": 0.0412,
      "step": 17460
    },
    {
      "epoch": 2.3293333333333335,
      "grad_norm": 0.4234291613101959,
      "learning_rate": 9.611777777777779e-05,
      "loss": 0.0387,
      "step": 17470
    },
    {
      "epoch": 2.3306666666666667,
      "grad_norm": 0.6200945973396301,
      "learning_rate": 9.611555555555556e-05,
      "loss": 0.0343,
      "step": 17480
    },
    {
      "epoch": 2.332,
      "grad_norm": 1.0027986764907837,
      "learning_rate": 9.611333333333333e-05,
      "loss": 0.0277,
      "step": 17490
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 0.29032865166664124,
      "learning_rate": 9.611111111111112e-05,
      "loss": 0.0353,
      "step": 17500
    },
    {
      "epoch": 2.3346666666666667,
      "grad_norm": 1.1168525218963623,
      "learning_rate": 9.61088888888889e-05,
      "loss": 0.0378,
      "step": 17510
    },
    {
      "epoch": 2.336,
      "grad_norm": 0.8920933604240417,
      "learning_rate": 9.610666666666667e-05,
      "loss": 0.037,
      "step": 17520
    },
    {
      "epoch": 2.3373333333333335,
      "grad_norm": 0.25769737362861633,
      "learning_rate": 9.610444444444445e-05,
      "loss": 0.0377,
      "step": 17530
    },
    {
      "epoch": 2.3386666666666667,
      "grad_norm": 0.5571520328521729,
      "learning_rate": 9.610222222222223e-05,
      "loss": 0.0369,
      "step": 17540
    },
    {
      "epoch": 2.34,
      "grad_norm": 0.6211456656455994,
      "learning_rate": 9.61e-05,
      "loss": 0.0352,
      "step": 17550
    },
    {
      "epoch": 2.3413333333333335,
      "grad_norm": 0.29333218932151794,
      "learning_rate": 9.609777777777778e-05,
      "loss": 0.0254,
      "step": 17560
    },
    {
      "epoch": 2.3426666666666667,
      "grad_norm": 0.1445109099149704,
      "learning_rate": 9.609555555555556e-05,
      "loss": 0.0395,
      "step": 17570
    },
    {
      "epoch": 2.344,
      "grad_norm": 0.44305619597435,
      "learning_rate": 9.609333333333334e-05,
      "loss": 0.0399,
      "step": 17580
    },
    {
      "epoch": 2.3453333333333335,
      "grad_norm": 1.5429619550704956,
      "learning_rate": 9.609111111111111e-05,
      "loss": 0.0357,
      "step": 17590
    },
    {
      "epoch": 2.3466666666666667,
      "grad_norm": 0.8227569460868835,
      "learning_rate": 9.608888888888889e-05,
      "loss": 0.0362,
      "step": 17600
    },
    {
      "epoch": 2.348,
      "grad_norm": 0.8650510311126709,
      "learning_rate": 9.608666666666667e-05,
      "loss": 0.0579,
      "step": 17610
    },
    {
      "epoch": 2.3493333333333335,
      "grad_norm": 0.5792596340179443,
      "learning_rate": 9.608444444444445e-05,
      "loss": 0.0287,
      "step": 17620
    },
    {
      "epoch": 2.3506666666666667,
      "grad_norm": 0.9537613391876221,
      "learning_rate": 9.608222222222222e-05,
      "loss": 0.0493,
      "step": 17630
    },
    {
      "epoch": 2.352,
      "grad_norm": 0.5799282789230347,
      "learning_rate": 9.608e-05,
      "loss": 0.0315,
      "step": 17640
    },
    {
      "epoch": 2.3533333333333335,
      "grad_norm": 0.36869263648986816,
      "learning_rate": 9.607777777777778e-05,
      "loss": 0.0352,
      "step": 17650
    },
    {
      "epoch": 2.3546666666666667,
      "grad_norm": 0.49389219284057617,
      "learning_rate": 9.607555555555556e-05,
      "loss": 0.0472,
      "step": 17660
    },
    {
      "epoch": 2.356,
      "grad_norm": 0.8842526078224182,
      "learning_rate": 9.607333333333333e-05,
      "loss": 0.0348,
      "step": 17670
    },
    {
      "epoch": 2.3573333333333335,
      "grad_norm": 0.5295715928077698,
      "learning_rate": 9.607111111111111e-05,
      "loss": 0.0374,
      "step": 17680
    },
    {
      "epoch": 2.3586666666666667,
      "grad_norm": 0.8438534140586853,
      "learning_rate": 9.60688888888889e-05,
      "loss": 0.0405,
      "step": 17690
    },
    {
      "epoch": 2.36,
      "grad_norm": 0.5584416389465332,
      "learning_rate": 9.606666666666667e-05,
      "loss": 0.0296,
      "step": 17700
    },
    {
      "epoch": 2.3613333333333335,
      "grad_norm": 0.17603495717048645,
      "learning_rate": 9.606444444444444e-05,
      "loss": 0.0285,
      "step": 17710
    },
    {
      "epoch": 2.3626666666666667,
      "grad_norm": 0.21329541504383087,
      "learning_rate": 9.606222222222223e-05,
      "loss": 0.0318,
      "step": 17720
    },
    {
      "epoch": 2.364,
      "grad_norm": 0.6507918834686279,
      "learning_rate": 9.606000000000001e-05,
      "loss": 0.0395,
      "step": 17730
    },
    {
      "epoch": 2.3653333333333335,
      "grad_norm": 0.42831993103027344,
      "learning_rate": 9.605777777777778e-05,
      "loss": 0.0256,
      "step": 17740
    },
    {
      "epoch": 2.3666666666666667,
      "grad_norm": 4.52549934387207,
      "learning_rate": 9.605555555555557e-05,
      "loss": 0.0349,
      "step": 17750
    },
    {
      "epoch": 2.368,
      "grad_norm": 0.24703669548034668,
      "learning_rate": 9.605333333333334e-05,
      "loss": 0.0313,
      "step": 17760
    },
    {
      "epoch": 2.3693333333333335,
      "grad_norm": 0.3293946385383606,
      "learning_rate": 9.605111111111111e-05,
      "loss": 0.0351,
      "step": 17770
    },
    {
      "epoch": 2.3706666666666667,
      "grad_norm": 0.5818329453468323,
      "learning_rate": 9.604888888888889e-05,
      "loss": 0.0413,
      "step": 17780
    },
    {
      "epoch": 2.372,
      "grad_norm": 0.5440033078193665,
      "learning_rate": 9.604666666666668e-05,
      "loss": 0.0363,
      "step": 17790
    },
    {
      "epoch": 2.3733333333333335,
      "grad_norm": 0.9837862253189087,
      "learning_rate": 9.604444444444445e-05,
      "loss": 0.0381,
      "step": 17800
    },
    {
      "epoch": 2.3746666666666667,
      "grad_norm": 0.5849809050559998,
      "learning_rate": 9.604222222222222e-05,
      "loss": 0.0277,
      "step": 17810
    },
    {
      "epoch": 2.376,
      "grad_norm": 0.5043967366218567,
      "learning_rate": 9.604000000000001e-05,
      "loss": 0.0195,
      "step": 17820
    },
    {
      "epoch": 2.3773333333333335,
      "grad_norm": 0.47973930835723877,
      "learning_rate": 9.603777777777779e-05,
      "loss": 0.0376,
      "step": 17830
    },
    {
      "epoch": 2.3786666666666667,
      "grad_norm": 0.40485629439353943,
      "learning_rate": 9.603555555555555e-05,
      "loss": 0.025,
      "step": 17840
    },
    {
      "epoch": 2.38,
      "grad_norm": 0.39476749300956726,
      "learning_rate": 9.603333333333334e-05,
      "loss": 0.0455,
      "step": 17850
    },
    {
      "epoch": 2.3813333333333335,
      "grad_norm": 0.5011534094810486,
      "learning_rate": 9.603111111111112e-05,
      "loss": 0.0323,
      "step": 17860
    },
    {
      "epoch": 2.3826666666666667,
      "grad_norm": 0.4574298858642578,
      "learning_rate": 9.60288888888889e-05,
      "loss": 0.0239,
      "step": 17870
    },
    {
      "epoch": 2.384,
      "grad_norm": 0.37636348605155945,
      "learning_rate": 9.602666666666667e-05,
      "loss": 0.028,
      "step": 17880
    },
    {
      "epoch": 2.3853333333333335,
      "grad_norm": 0.6269922256469727,
      "learning_rate": 9.602444444444445e-05,
      "loss": 0.028,
      "step": 17890
    },
    {
      "epoch": 2.3866666666666667,
      "grad_norm": 0.9742831587791443,
      "learning_rate": 9.602222222222223e-05,
      "loss": 0.0348,
      "step": 17900
    },
    {
      "epoch": 2.388,
      "grad_norm": 0.1452072411775589,
      "learning_rate": 9.602e-05,
      "loss": 0.0284,
      "step": 17910
    },
    {
      "epoch": 2.389333333333333,
      "grad_norm": 0.5215371251106262,
      "learning_rate": 9.601777777777778e-05,
      "loss": 0.0325,
      "step": 17920
    },
    {
      "epoch": 2.3906666666666667,
      "grad_norm": 0.5897780656814575,
      "learning_rate": 9.601555555555556e-05,
      "loss": 0.0322,
      "step": 17930
    },
    {
      "epoch": 2.392,
      "grad_norm": 1.0836154222488403,
      "learning_rate": 9.601333333333334e-05,
      "loss": 0.0373,
      "step": 17940
    },
    {
      "epoch": 2.3933333333333335,
      "grad_norm": 1.7484625577926636,
      "learning_rate": 9.601111111111112e-05,
      "loss": 0.0377,
      "step": 17950
    },
    {
      "epoch": 2.3946666666666667,
      "grad_norm": 3.44433856010437,
      "learning_rate": 9.600888888888889e-05,
      "loss": 0.0352,
      "step": 17960
    },
    {
      "epoch": 2.396,
      "grad_norm": 0.7391614317893982,
      "learning_rate": 9.600666666666667e-05,
      "loss": 0.038,
      "step": 17970
    },
    {
      "epoch": 2.397333333333333,
      "grad_norm": 0.27777114510536194,
      "learning_rate": 9.600444444444445e-05,
      "loss": 0.0337,
      "step": 17980
    },
    {
      "epoch": 2.3986666666666667,
      "grad_norm": 0.39301255345344543,
      "learning_rate": 9.600222222222223e-05,
      "loss": 0.0245,
      "step": 17990
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.7797428369522095,
      "learning_rate": 9.6e-05,
      "loss": 0.0327,
      "step": 18000
    },
    {
      "epoch": 2.4013333333333335,
      "grad_norm": 0.33970409631729126,
      "learning_rate": 9.599777777777778e-05,
      "loss": 0.0283,
      "step": 18010
    },
    {
      "epoch": 2.4026666666666667,
      "grad_norm": 0.385749876499176,
      "learning_rate": 9.599555555555556e-05,
      "loss": 0.0378,
      "step": 18020
    },
    {
      "epoch": 2.404,
      "grad_norm": 0.3624356687068939,
      "learning_rate": 9.599333333333333e-05,
      "loss": 0.032,
      "step": 18030
    },
    {
      "epoch": 2.405333333333333,
      "grad_norm": 0.47515711188316345,
      "learning_rate": 9.599111111111113e-05,
      "loss": 0.0473,
      "step": 18040
    },
    {
      "epoch": 2.4066666666666667,
      "grad_norm": 0.8002535700798035,
      "learning_rate": 9.598888888888889e-05,
      "loss": 0.0338,
      "step": 18050
    },
    {
      "epoch": 2.408,
      "grad_norm": 0.3696030080318451,
      "learning_rate": 9.598666666666667e-05,
      "loss": 0.0311,
      "step": 18060
    },
    {
      "epoch": 2.4093333333333335,
      "grad_norm": 0.8796567916870117,
      "learning_rate": 9.598444444444444e-05,
      "loss": 0.033,
      "step": 18070
    },
    {
      "epoch": 2.4106666666666667,
      "grad_norm": 0.6820089817047119,
      "learning_rate": 9.598222222222224e-05,
      "loss": 0.0276,
      "step": 18080
    },
    {
      "epoch": 2.412,
      "grad_norm": 0.6276770830154419,
      "learning_rate": 9.598e-05,
      "loss": 0.0422,
      "step": 18090
    },
    {
      "epoch": 2.413333333333333,
      "grad_norm": 0.31605982780456543,
      "learning_rate": 9.597777777777778e-05,
      "loss": 0.034,
      "step": 18100
    },
    {
      "epoch": 2.4146666666666667,
      "grad_norm": 1.2578891515731812,
      "learning_rate": 9.597555555555557e-05,
      "loss": 0.0324,
      "step": 18110
    },
    {
      "epoch": 2.416,
      "grad_norm": 0.50627601146698,
      "learning_rate": 9.597333333333333e-05,
      "loss": 0.0347,
      "step": 18120
    },
    {
      "epoch": 2.4173333333333336,
      "grad_norm": 0.17745305597782135,
      "learning_rate": 9.597111111111111e-05,
      "loss": 0.0337,
      "step": 18130
    },
    {
      "epoch": 2.4186666666666667,
      "grad_norm": 0.5445608496665955,
      "learning_rate": 9.59688888888889e-05,
      "loss": 0.0332,
      "step": 18140
    },
    {
      "epoch": 2.42,
      "grad_norm": 0.4987199008464813,
      "learning_rate": 9.596666666666668e-05,
      "loss": 0.0292,
      "step": 18150
    },
    {
      "epoch": 2.421333333333333,
      "grad_norm": 0.6092269420623779,
      "learning_rate": 9.596444444444444e-05,
      "loss": 0.0277,
      "step": 18160
    },
    {
      "epoch": 2.4226666666666667,
      "grad_norm": 0.359711229801178,
      "learning_rate": 9.596222222222223e-05,
      "loss": 0.0332,
      "step": 18170
    },
    {
      "epoch": 2.424,
      "grad_norm": 0.41898688673973083,
      "learning_rate": 9.596000000000001e-05,
      "loss": 0.031,
      "step": 18180
    },
    {
      "epoch": 2.4253333333333336,
      "grad_norm": 1.4609829187393188,
      "learning_rate": 9.595777777777777e-05,
      "loss": 0.0342,
      "step": 18190
    },
    {
      "epoch": 2.4266666666666667,
      "grad_norm": 0.4649162292480469,
      "learning_rate": 9.595555555555556e-05,
      "loss": 0.0259,
      "step": 18200
    },
    {
      "epoch": 2.428,
      "grad_norm": 0.3075845241546631,
      "learning_rate": 9.595333333333334e-05,
      "loss": 0.024,
      "step": 18210
    },
    {
      "epoch": 2.429333333333333,
      "grad_norm": 0.9505746364593506,
      "learning_rate": 9.595111111111112e-05,
      "loss": 0.0399,
      "step": 18220
    },
    {
      "epoch": 2.4306666666666668,
      "grad_norm": 0.5975406765937805,
      "learning_rate": 9.594888888888888e-05,
      "loss": 0.0404,
      "step": 18230
    },
    {
      "epoch": 2.432,
      "grad_norm": 0.854844868183136,
      "learning_rate": 9.594666666666667e-05,
      "loss": 0.0217,
      "step": 18240
    },
    {
      "epoch": 2.4333333333333336,
      "grad_norm": 0.7374356389045715,
      "learning_rate": 9.594444444444445e-05,
      "loss": 0.0287,
      "step": 18250
    },
    {
      "epoch": 2.4346666666666668,
      "grad_norm": 0.6279290318489075,
      "learning_rate": 9.594222222222223e-05,
      "loss": 0.0325,
      "step": 18260
    },
    {
      "epoch": 2.436,
      "grad_norm": 0.20614519715309143,
      "learning_rate": 9.594e-05,
      "loss": 0.03,
      "step": 18270
    },
    {
      "epoch": 2.437333333333333,
      "grad_norm": 0.27390608191490173,
      "learning_rate": 9.593777777777778e-05,
      "loss": 0.0386,
      "step": 18280
    },
    {
      "epoch": 2.4386666666666668,
      "grad_norm": 0.5242574214935303,
      "learning_rate": 9.593555555555556e-05,
      "loss": 0.0533,
      "step": 18290
    },
    {
      "epoch": 2.44,
      "grad_norm": 0.46224063634872437,
      "learning_rate": 9.593333333333334e-05,
      "loss": 0.0286,
      "step": 18300
    },
    {
      "epoch": 2.4413333333333336,
      "grad_norm": 1.3279772996902466,
      "learning_rate": 9.593111111111112e-05,
      "loss": 0.0377,
      "step": 18310
    },
    {
      "epoch": 2.4426666666666668,
      "grad_norm": 0.7132673859596252,
      "learning_rate": 9.59288888888889e-05,
      "loss": 0.0378,
      "step": 18320
    },
    {
      "epoch": 2.444,
      "grad_norm": 1.1388803720474243,
      "learning_rate": 9.592666666666667e-05,
      "loss": 0.0389,
      "step": 18330
    },
    {
      "epoch": 2.445333333333333,
      "grad_norm": 0.9113717079162598,
      "learning_rate": 9.592444444444445e-05,
      "loss": 0.036,
      "step": 18340
    },
    {
      "epoch": 2.4466666666666668,
      "grad_norm": 0.7320858836174011,
      "learning_rate": 9.592222222222223e-05,
      "loss": 0.027,
      "step": 18350
    },
    {
      "epoch": 2.448,
      "grad_norm": 1.439598560333252,
      "learning_rate": 9.592e-05,
      "loss": 0.0334,
      "step": 18360
    },
    {
      "epoch": 2.449333333333333,
      "grad_norm": 0.32706427574157715,
      "learning_rate": 9.591777777777778e-05,
      "loss": 0.0372,
      "step": 18370
    },
    {
      "epoch": 2.4506666666666668,
      "grad_norm": 0.7276290655136108,
      "learning_rate": 9.591555555555556e-05,
      "loss": 0.0449,
      "step": 18380
    },
    {
      "epoch": 2.452,
      "grad_norm": 0.34949082136154175,
      "learning_rate": 9.591333333333334e-05,
      "loss": 0.0287,
      "step": 18390
    },
    {
      "epoch": 2.453333333333333,
      "grad_norm": 0.43879133462905884,
      "learning_rate": 9.591111111111111e-05,
      "loss": 0.0219,
      "step": 18400
    },
    {
      "epoch": 2.4546666666666668,
      "grad_norm": 0.42570942640304565,
      "learning_rate": 9.590888888888889e-05,
      "loss": 0.0422,
      "step": 18410
    },
    {
      "epoch": 2.456,
      "grad_norm": 0.5355680584907532,
      "learning_rate": 9.590666666666667e-05,
      "loss": 0.0326,
      "step": 18420
    },
    {
      "epoch": 2.457333333333333,
      "grad_norm": 0.7597037553787231,
      "learning_rate": 9.590444444444446e-05,
      "loss": 0.0263,
      "step": 18430
    },
    {
      "epoch": 2.458666666666667,
      "grad_norm": 0.36843207478523254,
      "learning_rate": 9.590222222222222e-05,
      "loss": 0.0334,
      "step": 18440
    },
    {
      "epoch": 2.46,
      "grad_norm": 0.9843207597732544,
      "learning_rate": 9.59e-05,
      "loss": 0.0385,
      "step": 18450
    },
    {
      "epoch": 2.461333333333333,
      "grad_norm": 1.0006219148635864,
      "learning_rate": 9.589777777777779e-05,
      "loss": 0.0384,
      "step": 18460
    },
    {
      "epoch": 2.462666666666667,
      "grad_norm": 0.4739610254764557,
      "learning_rate": 9.589555555555555e-05,
      "loss": 0.0389,
      "step": 18470
    },
    {
      "epoch": 2.464,
      "grad_norm": 0.38579240441322327,
      "learning_rate": 9.589333333333333e-05,
      "loss": 0.0393,
      "step": 18480
    },
    {
      "epoch": 2.465333333333333,
      "grad_norm": 0.2606247663497925,
      "learning_rate": 9.589111111111112e-05,
      "loss": 0.0367,
      "step": 18490
    },
    {
      "epoch": 2.466666666666667,
      "grad_norm": 0.5886808633804321,
      "learning_rate": 9.58888888888889e-05,
      "loss": 0.0317,
      "step": 18500
    },
    {
      "epoch": 2.468,
      "grad_norm": 0.6674653887748718,
      "learning_rate": 9.588666666666666e-05,
      "loss": 0.0433,
      "step": 18510
    },
    {
      "epoch": 2.469333333333333,
      "grad_norm": 0.30144304037094116,
      "learning_rate": 9.588444444444446e-05,
      "loss": 0.0271,
      "step": 18520
    },
    {
      "epoch": 2.470666666666667,
      "grad_norm": 0.3897174596786499,
      "learning_rate": 9.588222222222223e-05,
      "loss": 0.035,
      "step": 18530
    },
    {
      "epoch": 2.472,
      "grad_norm": 0.7792196273803711,
      "learning_rate": 9.588e-05,
      "loss": 0.0305,
      "step": 18540
    },
    {
      "epoch": 2.473333333333333,
      "grad_norm": 0.5089972019195557,
      "learning_rate": 9.587777777777777e-05,
      "loss": 0.0372,
      "step": 18550
    },
    {
      "epoch": 2.474666666666667,
      "grad_norm": 0.5472227931022644,
      "learning_rate": 9.587555555555557e-05,
      "loss": 0.0354,
      "step": 18560
    },
    {
      "epoch": 2.476,
      "grad_norm": 0.588055431842804,
      "learning_rate": 9.587333333333334e-05,
      "loss": 0.0319,
      "step": 18570
    },
    {
      "epoch": 2.477333333333333,
      "grad_norm": 1.385797142982483,
      "learning_rate": 9.58711111111111e-05,
      "loss": 0.0308,
      "step": 18580
    },
    {
      "epoch": 2.478666666666667,
      "grad_norm": 0.36264652013778687,
      "learning_rate": 9.58688888888889e-05,
      "loss": 0.0354,
      "step": 18590
    },
    {
      "epoch": 2.48,
      "grad_norm": 1.4252841472625732,
      "learning_rate": 9.586666666666667e-05,
      "loss": 0.0646,
      "step": 18600
    },
    {
      "epoch": 2.481333333333333,
      "grad_norm": 0.6434670090675354,
      "learning_rate": 9.586444444444445e-05,
      "loss": 0.0275,
      "step": 18610
    },
    {
      "epoch": 2.482666666666667,
      "grad_norm": 0.4976760447025299,
      "learning_rate": 9.586222222222223e-05,
      "loss": 0.0427,
      "step": 18620
    },
    {
      "epoch": 2.484,
      "grad_norm": 0.35931703448295593,
      "learning_rate": 9.586000000000001e-05,
      "loss": 0.0258,
      "step": 18630
    },
    {
      "epoch": 2.485333333333333,
      "grad_norm": 0.5340155363082886,
      "learning_rate": 9.585777777777778e-05,
      "loss": 0.0307,
      "step": 18640
    },
    {
      "epoch": 2.486666666666667,
      "grad_norm": 0.47550123929977417,
      "learning_rate": 9.585555555555556e-05,
      "loss": 0.0242,
      "step": 18650
    },
    {
      "epoch": 2.488,
      "grad_norm": 0.9516333341598511,
      "learning_rate": 9.585333333333334e-05,
      "loss": 0.0285,
      "step": 18660
    },
    {
      "epoch": 2.489333333333333,
      "grad_norm": 0.47419217228889465,
      "learning_rate": 9.585111111111112e-05,
      "loss": 0.0307,
      "step": 18670
    },
    {
      "epoch": 2.490666666666667,
      "grad_norm": 1.3133221864700317,
      "learning_rate": 9.58488888888889e-05,
      "loss": 0.039,
      "step": 18680
    },
    {
      "epoch": 2.492,
      "grad_norm": 1.0409599542617798,
      "learning_rate": 9.584666666666667e-05,
      "loss": 0.0467,
      "step": 18690
    },
    {
      "epoch": 2.493333333333333,
      "grad_norm": 0.4514272212982178,
      "learning_rate": 9.584444444444445e-05,
      "loss": 0.0243,
      "step": 18700
    },
    {
      "epoch": 2.494666666666667,
      "grad_norm": 0.4374494254589081,
      "learning_rate": 9.584222222222223e-05,
      "loss": 0.0227,
      "step": 18710
    },
    {
      "epoch": 2.496,
      "grad_norm": 0.6084166169166565,
      "learning_rate": 9.584e-05,
      "loss": 0.0429,
      "step": 18720
    },
    {
      "epoch": 2.497333333333333,
      "grad_norm": 0.5145094990730286,
      "learning_rate": 9.583777777777778e-05,
      "loss": 0.0306,
      "step": 18730
    },
    {
      "epoch": 2.498666666666667,
      "grad_norm": 0.773820698261261,
      "learning_rate": 9.583555555555556e-05,
      "loss": 0.0299,
      "step": 18740
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.7993603348731995,
      "learning_rate": 9.583333333333334e-05,
      "loss": 0.0283,
      "step": 18750
    },
    {
      "epoch": 2.501333333333333,
      "grad_norm": 1.0377658605575562,
      "learning_rate": 9.583111111111111e-05,
      "loss": 0.0396,
      "step": 18760
    },
    {
      "epoch": 2.502666666666667,
      "grad_norm": 0.2632388174533844,
      "learning_rate": 9.582888888888889e-05,
      "loss": 0.0381,
      "step": 18770
    },
    {
      "epoch": 2.504,
      "grad_norm": 0.9809821844100952,
      "learning_rate": 9.582666666666668e-05,
      "loss": 0.0324,
      "step": 18780
    },
    {
      "epoch": 2.505333333333333,
      "grad_norm": 0.31991371512413025,
      "learning_rate": 9.582444444444445e-05,
      "loss": 0.0315,
      "step": 18790
    },
    {
      "epoch": 2.506666666666667,
      "grad_norm": 0.9546730518341064,
      "learning_rate": 9.582222222222222e-05,
      "loss": 0.0229,
      "step": 18800
    },
    {
      "epoch": 2.508,
      "grad_norm": 0.40829354524612427,
      "learning_rate": 9.582000000000001e-05,
      "loss": 0.0475,
      "step": 18810
    },
    {
      "epoch": 2.509333333333333,
      "grad_norm": 0.5693614482879639,
      "learning_rate": 9.581777777777778e-05,
      "loss": 0.0331,
      "step": 18820
    },
    {
      "epoch": 2.510666666666667,
      "grad_norm": 0.8150883913040161,
      "learning_rate": 9.581555555555556e-05,
      "loss": 0.0304,
      "step": 18830
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.6264551877975464,
      "learning_rate": 9.581333333333333e-05,
      "loss": 0.0371,
      "step": 18840
    },
    {
      "epoch": 2.513333333333333,
      "grad_norm": 0.7419077157974243,
      "learning_rate": 9.581111111111112e-05,
      "loss": 0.0388,
      "step": 18850
    },
    {
      "epoch": 2.514666666666667,
      "grad_norm": 1.2713804244995117,
      "learning_rate": 9.580888888888889e-05,
      "loss": 0.0357,
      "step": 18860
    },
    {
      "epoch": 2.516,
      "grad_norm": 0.5705628395080566,
      "learning_rate": 9.580666666666667e-05,
      "loss": 0.0305,
      "step": 18870
    },
    {
      "epoch": 2.517333333333333,
      "grad_norm": 0.4212915003299713,
      "learning_rate": 9.580444444444446e-05,
      "loss": 0.0337,
      "step": 18880
    },
    {
      "epoch": 2.518666666666667,
      "grad_norm": 0.4777316451072693,
      "learning_rate": 9.580222222222222e-05,
      "loss": 0.0281,
      "step": 18890
    },
    {
      "epoch": 2.52,
      "grad_norm": 0.16171377897262573,
      "learning_rate": 9.58e-05,
      "loss": 0.0311,
      "step": 18900
    },
    {
      "epoch": 2.521333333333333,
      "grad_norm": 0.896353006362915,
      "learning_rate": 9.579777777777779e-05,
      "loss": 0.0315,
      "step": 18910
    },
    {
      "epoch": 2.522666666666667,
      "grad_norm": 0.3235394060611725,
      "learning_rate": 9.579555555555557e-05,
      "loss": 0.024,
      "step": 18920
    },
    {
      "epoch": 2.524,
      "grad_norm": 0.2391580194234848,
      "learning_rate": 9.579333333333333e-05,
      "loss": 0.0349,
      "step": 18930
    },
    {
      "epoch": 2.525333333333333,
      "grad_norm": 0.32005438208580017,
      "learning_rate": 9.579111111111112e-05,
      "loss": 0.0341,
      "step": 18940
    },
    {
      "epoch": 2.5266666666666664,
      "grad_norm": 0.9619062542915344,
      "learning_rate": 9.57888888888889e-05,
      "loss": 0.0256,
      "step": 18950
    },
    {
      "epoch": 2.528,
      "grad_norm": 0.367679238319397,
      "learning_rate": 9.578666666666668e-05,
      "loss": 0.038,
      "step": 18960
    },
    {
      "epoch": 2.529333333333333,
      "grad_norm": 2.401035785675049,
      "learning_rate": 9.578444444444445e-05,
      "loss": 0.0635,
      "step": 18970
    },
    {
      "epoch": 2.530666666666667,
      "grad_norm": 1.1951032876968384,
      "learning_rate": 9.578222222222223e-05,
      "loss": 0.0343,
      "step": 18980
    },
    {
      "epoch": 2.532,
      "grad_norm": 0.09374796599149704,
      "learning_rate": 9.578000000000001e-05,
      "loss": 0.0353,
      "step": 18990
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 0.3916729688644409,
      "learning_rate": 9.577777777777777e-05,
      "loss": 0.0259,
      "step": 19000
    },
    {
      "epoch": 2.5346666666666664,
      "grad_norm": 0.4120238423347473,
      "learning_rate": 9.577555555555556e-05,
      "loss": 0.0334,
      "step": 19010
    },
    {
      "epoch": 2.536,
      "grad_norm": 0.8955254554748535,
      "learning_rate": 9.577333333333334e-05,
      "loss": 0.0263,
      "step": 19020
    },
    {
      "epoch": 2.537333333333333,
      "grad_norm": 0.752460241317749,
      "learning_rate": 9.577111111111112e-05,
      "loss": 0.0411,
      "step": 19030
    },
    {
      "epoch": 2.538666666666667,
      "grad_norm": 0.8519787192344666,
      "learning_rate": 9.57688888888889e-05,
      "loss": 0.0313,
      "step": 19040
    },
    {
      "epoch": 2.54,
      "grad_norm": 0.4367687702178955,
      "learning_rate": 9.576666666666667e-05,
      "loss": 0.0324,
      "step": 19050
    },
    {
      "epoch": 2.541333333333333,
      "grad_norm": 0.6833969354629517,
      "learning_rate": 9.576444444444445e-05,
      "loss": 0.0351,
      "step": 19060
    },
    {
      "epoch": 2.5426666666666664,
      "grad_norm": 0.24070730805397034,
      "learning_rate": 9.576222222222223e-05,
      "loss": 0.0235,
      "step": 19070
    },
    {
      "epoch": 2.544,
      "grad_norm": 0.8494086265563965,
      "learning_rate": 9.576e-05,
      "loss": 0.0265,
      "step": 19080
    },
    {
      "epoch": 2.5453333333333332,
      "grad_norm": 1.6161779165267944,
      "learning_rate": 9.575777777777778e-05,
      "loss": 0.0286,
      "step": 19090
    },
    {
      "epoch": 2.546666666666667,
      "grad_norm": 0.5487146973609924,
      "learning_rate": 9.575555555555556e-05,
      "loss": 0.0267,
      "step": 19100
    },
    {
      "epoch": 2.548,
      "grad_norm": 0.22635553777217865,
      "learning_rate": 9.575333333333334e-05,
      "loss": 0.033,
      "step": 19110
    },
    {
      "epoch": 2.5493333333333332,
      "grad_norm": 0.2135339379310608,
      "learning_rate": 9.575111111111111e-05,
      "loss": 0.0232,
      "step": 19120
    },
    {
      "epoch": 2.5506666666666664,
      "grad_norm": 0.2657649517059326,
      "learning_rate": 9.574888888888889e-05,
      "loss": 0.0303,
      "step": 19130
    },
    {
      "epoch": 2.552,
      "grad_norm": 0.617742657661438,
      "learning_rate": 9.574666666666667e-05,
      "loss": 0.0248,
      "step": 19140
    },
    {
      "epoch": 2.5533333333333332,
      "grad_norm": 0.8139077425003052,
      "learning_rate": 9.574444444444445e-05,
      "loss": 0.0277,
      "step": 19150
    },
    {
      "epoch": 2.554666666666667,
      "grad_norm": 0.2969600260257721,
      "learning_rate": 9.574222222222222e-05,
      "loss": 0.0274,
      "step": 19160
    },
    {
      "epoch": 2.556,
      "grad_norm": 0.2914806306362152,
      "learning_rate": 9.574e-05,
      "loss": 0.0381,
      "step": 19170
    },
    {
      "epoch": 2.5573333333333332,
      "grad_norm": 0.4619773328304291,
      "learning_rate": 9.573777777777778e-05,
      "loss": 0.0459,
      "step": 19180
    },
    {
      "epoch": 2.5586666666666664,
      "grad_norm": 0.6753726005554199,
      "learning_rate": 9.573555555555556e-05,
      "loss": 0.0375,
      "step": 19190
    },
    {
      "epoch": 2.56,
      "grad_norm": 0.2582957148551941,
      "learning_rate": 9.573333333333335e-05,
      "loss": 0.0274,
      "step": 19200
    },
    {
      "epoch": 2.5613333333333332,
      "grad_norm": 0.5756465792655945,
      "learning_rate": 9.573111111111111e-05,
      "loss": 0.0522,
      "step": 19210
    },
    {
      "epoch": 2.562666666666667,
      "grad_norm": 1.692175030708313,
      "learning_rate": 9.572888888888889e-05,
      "loss": 0.0498,
      "step": 19220
    },
    {
      "epoch": 2.564,
      "grad_norm": 1.2782608270645142,
      "learning_rate": 9.572666666666668e-05,
      "loss": 0.0455,
      "step": 19230
    },
    {
      "epoch": 2.5653333333333332,
      "grad_norm": 0.8858850002288818,
      "learning_rate": 9.572444444444444e-05,
      "loss": 0.0258,
      "step": 19240
    },
    {
      "epoch": 2.5666666666666664,
      "grad_norm": 0.34536540508270264,
      "learning_rate": 9.572222222222222e-05,
      "loss": 0.0294,
      "step": 19250
    },
    {
      "epoch": 2.568,
      "grad_norm": 0.9409783482551575,
      "learning_rate": 9.572000000000001e-05,
      "loss": 0.0369,
      "step": 19260
    },
    {
      "epoch": 2.5693333333333332,
      "grad_norm": 1.1410419940948486,
      "learning_rate": 9.571777777777779e-05,
      "loss": 0.039,
      "step": 19270
    },
    {
      "epoch": 2.570666666666667,
      "grad_norm": 1.046783208847046,
      "learning_rate": 9.571555555555555e-05,
      "loss": 0.0311,
      "step": 19280
    },
    {
      "epoch": 2.572,
      "grad_norm": 0.2812337875366211,
      "learning_rate": 9.571333333333333e-05,
      "loss": 0.026,
      "step": 19290
    },
    {
      "epoch": 2.5733333333333333,
      "grad_norm": 0.5241627097129822,
      "learning_rate": 9.571111111111112e-05,
      "loss": 0.0297,
      "step": 19300
    },
    {
      "epoch": 2.5746666666666664,
      "grad_norm": 0.8685270547866821,
      "learning_rate": 9.57088888888889e-05,
      "loss": 0.0424,
      "step": 19310
    },
    {
      "epoch": 2.576,
      "grad_norm": 0.9558332562446594,
      "learning_rate": 9.570666666666666e-05,
      "loss": 0.0342,
      "step": 19320
    },
    {
      "epoch": 2.5773333333333333,
      "grad_norm": 0.7914800047874451,
      "learning_rate": 9.570444444444445e-05,
      "loss": 0.0213,
      "step": 19330
    },
    {
      "epoch": 2.578666666666667,
      "grad_norm": 0.3716225028038025,
      "learning_rate": 9.570222222222223e-05,
      "loss": 0.0469,
      "step": 19340
    },
    {
      "epoch": 2.58,
      "grad_norm": 0.1699366271495819,
      "learning_rate": 9.57e-05,
      "loss": 0.0355,
      "step": 19350
    },
    {
      "epoch": 2.5813333333333333,
      "grad_norm": 0.7869845628738403,
      "learning_rate": 9.569777777777779e-05,
      "loss": 0.0368,
      "step": 19360
    },
    {
      "epoch": 2.5826666666666664,
      "grad_norm": 0.16801592707633972,
      "learning_rate": 9.569555555555556e-05,
      "loss": 0.0366,
      "step": 19370
    },
    {
      "epoch": 2.584,
      "grad_norm": 0.4896523654460907,
      "learning_rate": 9.569333333333334e-05,
      "loss": 0.025,
      "step": 19380
    },
    {
      "epoch": 2.5853333333333333,
      "grad_norm": 0.6131718158721924,
      "learning_rate": 9.569111111111112e-05,
      "loss": 0.0373,
      "step": 19390
    },
    {
      "epoch": 2.586666666666667,
      "grad_norm": 0.6418421268463135,
      "learning_rate": 9.56888888888889e-05,
      "loss": 0.0312,
      "step": 19400
    },
    {
      "epoch": 2.588,
      "grad_norm": 0.4544644355773926,
      "learning_rate": 9.568666666666667e-05,
      "loss": 0.0389,
      "step": 19410
    },
    {
      "epoch": 2.5893333333333333,
      "grad_norm": 0.42840951681137085,
      "learning_rate": 9.568444444444445e-05,
      "loss": 0.0377,
      "step": 19420
    },
    {
      "epoch": 2.5906666666666665,
      "grad_norm": 0.5100272297859192,
      "learning_rate": 9.568222222222223e-05,
      "loss": 0.0274,
      "step": 19430
    },
    {
      "epoch": 2.592,
      "grad_norm": 0.5880163311958313,
      "learning_rate": 9.568e-05,
      "loss": 0.0393,
      "step": 19440
    },
    {
      "epoch": 2.5933333333333333,
      "grad_norm": 1.5122843980789185,
      "learning_rate": 9.567777777777778e-05,
      "loss": 0.0396,
      "step": 19450
    },
    {
      "epoch": 2.594666666666667,
      "grad_norm": 1.7179075479507446,
      "learning_rate": 9.567555555555556e-05,
      "loss": 0.0462,
      "step": 19460
    },
    {
      "epoch": 2.596,
      "grad_norm": 1.285822868347168,
      "learning_rate": 9.567333333333334e-05,
      "loss": 0.0334,
      "step": 19470
    },
    {
      "epoch": 2.5973333333333333,
      "grad_norm": 0.6434345245361328,
      "learning_rate": 9.567111111111112e-05,
      "loss": 0.0353,
      "step": 19480
    },
    {
      "epoch": 2.5986666666666665,
      "grad_norm": 1.242817759513855,
      "learning_rate": 9.566888888888889e-05,
      "loss": 0.0437,
      "step": 19490
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.5528777837753296,
      "learning_rate": 9.566666666666667e-05,
      "loss": 0.0391,
      "step": 19500
    },
    {
      "epoch": 2.6013333333333333,
      "grad_norm": 1.5821731090545654,
      "learning_rate": 9.566444444444445e-05,
      "loss": 0.0308,
      "step": 19510
    },
    {
      "epoch": 2.602666666666667,
      "grad_norm": 0.42802688479423523,
      "learning_rate": 9.566222222222222e-05,
      "loss": 0.0388,
      "step": 19520
    },
    {
      "epoch": 2.604,
      "grad_norm": 0.6475155353546143,
      "learning_rate": 9.566e-05,
      "loss": 0.0339,
      "step": 19530
    },
    {
      "epoch": 2.6053333333333333,
      "grad_norm": 0.6145491003990173,
      "learning_rate": 9.565777777777778e-05,
      "loss": 0.0439,
      "step": 19540
    },
    {
      "epoch": 2.6066666666666665,
      "grad_norm": 0.38579264283180237,
      "learning_rate": 9.565555555555557e-05,
      "loss": 0.0279,
      "step": 19550
    },
    {
      "epoch": 2.608,
      "grad_norm": 0.35593822598457336,
      "learning_rate": 9.565333333333333e-05,
      "loss": 0.0369,
      "step": 19560
    },
    {
      "epoch": 2.6093333333333333,
      "grad_norm": 0.5866612792015076,
      "learning_rate": 9.565111111111111e-05,
      "loss": 0.0209,
      "step": 19570
    },
    {
      "epoch": 2.610666666666667,
      "grad_norm": 0.8607848882675171,
      "learning_rate": 9.56488888888889e-05,
      "loss": 0.0282,
      "step": 19580
    },
    {
      "epoch": 2.612,
      "grad_norm": 0.9058541655540466,
      "learning_rate": 9.564666666666667e-05,
      "loss": 0.0504,
      "step": 19590
    },
    {
      "epoch": 2.6133333333333333,
      "grad_norm": 0.7467740178108215,
      "learning_rate": 9.564444444444444e-05,
      "loss": 0.0365,
      "step": 19600
    },
    {
      "epoch": 2.6146666666666665,
      "grad_norm": 0.11289544403553009,
      "learning_rate": 9.564222222222222e-05,
      "loss": 0.0335,
      "step": 19610
    },
    {
      "epoch": 2.616,
      "grad_norm": 0.7953862547874451,
      "learning_rate": 9.564000000000001e-05,
      "loss": 0.0414,
      "step": 19620
    },
    {
      "epoch": 2.6173333333333333,
      "grad_norm": 0.5858675837516785,
      "learning_rate": 9.563777777777778e-05,
      "loss": 0.0388,
      "step": 19630
    },
    {
      "epoch": 2.618666666666667,
      "grad_norm": 0.17871280014514923,
      "learning_rate": 9.563555555555555e-05,
      "loss": 0.0305,
      "step": 19640
    },
    {
      "epoch": 2.62,
      "grad_norm": 0.4580875635147095,
      "learning_rate": 9.563333333333334e-05,
      "loss": 0.0227,
      "step": 19650
    },
    {
      "epoch": 2.6213333333333333,
      "grad_norm": 0.2812178134918213,
      "learning_rate": 9.563111111111112e-05,
      "loss": 0.0285,
      "step": 19660
    },
    {
      "epoch": 2.6226666666666665,
      "grad_norm": 1.6507313251495361,
      "learning_rate": 9.562888888888889e-05,
      "loss": 0.0386,
      "step": 19670
    },
    {
      "epoch": 2.624,
      "grad_norm": 0.5145705342292786,
      "learning_rate": 9.562666666666668e-05,
      "loss": 0.0276,
      "step": 19680
    },
    {
      "epoch": 2.6253333333333333,
      "grad_norm": 0.439714640378952,
      "learning_rate": 9.562444444444445e-05,
      "loss": 0.0249,
      "step": 19690
    },
    {
      "epoch": 2.626666666666667,
      "grad_norm": 0.3381558954715729,
      "learning_rate": 9.562222222222222e-05,
      "loss": 0.03,
      "step": 19700
    },
    {
      "epoch": 2.628,
      "grad_norm": 0.696337878704071,
      "learning_rate": 9.562000000000001e-05,
      "loss": 0.0305,
      "step": 19710
    },
    {
      "epoch": 2.6293333333333333,
      "grad_norm": 0.6233916282653809,
      "learning_rate": 9.561777777777779e-05,
      "loss": 0.0395,
      "step": 19720
    },
    {
      "epoch": 2.6306666666666665,
      "grad_norm": 0.40642741322517395,
      "learning_rate": 9.561555555555556e-05,
      "loss": 0.0298,
      "step": 19730
    },
    {
      "epoch": 2.632,
      "grad_norm": 0.7213990092277527,
      "learning_rate": 9.561333333333333e-05,
      "loss": 0.0295,
      "step": 19740
    },
    {
      "epoch": 2.6333333333333333,
      "grad_norm": 0.8347911238670349,
      "learning_rate": 9.561111111111112e-05,
      "loss": 0.0298,
      "step": 19750
    },
    {
      "epoch": 2.634666666666667,
      "grad_norm": 0.6160730719566345,
      "learning_rate": 9.56088888888889e-05,
      "loss": 0.0375,
      "step": 19760
    },
    {
      "epoch": 2.636,
      "grad_norm": 0.3806469142436981,
      "learning_rate": 9.560666666666666e-05,
      "loss": 0.0293,
      "step": 19770
    },
    {
      "epoch": 2.6373333333333333,
      "grad_norm": 0.8829906582832336,
      "learning_rate": 9.560444444444445e-05,
      "loss": 0.0291,
      "step": 19780
    },
    {
      "epoch": 2.6386666666666665,
      "grad_norm": 0.747353732585907,
      "learning_rate": 9.560222222222223e-05,
      "loss": 0.0346,
      "step": 19790
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.2486104816198349,
      "learning_rate": 9.56e-05,
      "loss": 0.0303,
      "step": 19800
    },
    {
      "epoch": 2.6413333333333333,
      "grad_norm": 0.5370125770568848,
      "learning_rate": 9.559777777777778e-05,
      "loss": 0.041,
      "step": 19810
    },
    {
      "epoch": 2.642666666666667,
      "grad_norm": 0.60136479139328,
      "learning_rate": 9.559555555555556e-05,
      "loss": 0.0373,
      "step": 19820
    },
    {
      "epoch": 2.644,
      "grad_norm": 0.689376711845398,
      "learning_rate": 9.559333333333334e-05,
      "loss": 0.0353,
      "step": 19830
    },
    {
      "epoch": 2.6453333333333333,
      "grad_norm": 1.2391823530197144,
      "learning_rate": 9.559111111111112e-05,
      "loss": 0.044,
      "step": 19840
    },
    {
      "epoch": 2.6466666666666665,
      "grad_norm": 0.6438410878181458,
      "learning_rate": 9.55888888888889e-05,
      "loss": 0.0292,
      "step": 19850
    },
    {
      "epoch": 2.648,
      "grad_norm": 0.2516023516654968,
      "learning_rate": 9.558666666666667e-05,
      "loss": 0.0339,
      "step": 19860
    },
    {
      "epoch": 2.6493333333333333,
      "grad_norm": 0.5414028167724609,
      "learning_rate": 9.558444444444445e-05,
      "loss": 0.0344,
      "step": 19870
    },
    {
      "epoch": 2.6506666666666665,
      "grad_norm": 0.3008445203304291,
      "learning_rate": 9.558222222222223e-05,
      "loss": 0.0253,
      "step": 19880
    },
    {
      "epoch": 2.652,
      "grad_norm": 0.3779723346233368,
      "learning_rate": 9.558e-05,
      "loss": 0.0328,
      "step": 19890
    },
    {
      "epoch": 2.6533333333333333,
      "grad_norm": 0.9026080369949341,
      "learning_rate": 9.557777777777778e-05,
      "loss": 0.0387,
      "step": 19900
    },
    {
      "epoch": 2.6546666666666665,
      "grad_norm": 0.7663958072662354,
      "learning_rate": 9.557555555555556e-05,
      "loss": 0.024,
      "step": 19910
    },
    {
      "epoch": 2.656,
      "grad_norm": 0.48968133330345154,
      "learning_rate": 9.557333333333334e-05,
      "loss": 0.03,
      "step": 19920
    },
    {
      "epoch": 2.6573333333333333,
      "grad_norm": 0.7046698927879333,
      "learning_rate": 9.557111111111111e-05,
      "loss": 0.0351,
      "step": 19930
    },
    {
      "epoch": 2.6586666666666665,
      "grad_norm": 0.7550840377807617,
      "learning_rate": 9.556888888888889e-05,
      "loss": 0.0344,
      "step": 19940
    },
    {
      "epoch": 2.66,
      "grad_norm": 1.144827961921692,
      "learning_rate": 9.556666666666667e-05,
      "loss": 0.0293,
      "step": 19950
    },
    {
      "epoch": 2.6613333333333333,
      "grad_norm": 1.2031856775283813,
      "learning_rate": 9.556444444444445e-05,
      "loss": 0.0252,
      "step": 19960
    },
    {
      "epoch": 2.6626666666666665,
      "grad_norm": 0.4297943711280823,
      "learning_rate": 9.556222222222224e-05,
      "loss": 0.0347,
      "step": 19970
    },
    {
      "epoch": 2.664,
      "grad_norm": 0.27888867259025574,
      "learning_rate": 9.556e-05,
      "loss": 0.0248,
      "step": 19980
    },
    {
      "epoch": 2.6653333333333333,
      "grad_norm": 0.8739543557167053,
      "learning_rate": 9.555777777777778e-05,
      "loss": 0.0286,
      "step": 19990
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.6713677644729614,
      "learning_rate": 9.555555555555557e-05,
      "loss": 0.032,
      "step": 20000
    },
    {
      "epoch": 2.668,
      "grad_norm": 0.40756553411483765,
      "learning_rate": 9.555333333333335e-05,
      "loss": 0.0198,
      "step": 20010
    },
    {
      "epoch": 2.6693333333333333,
      "grad_norm": 0.6149728298187256,
      "learning_rate": 9.555111111111111e-05,
      "loss": 0.0338,
      "step": 20020
    },
    {
      "epoch": 2.6706666666666665,
      "grad_norm": 1.276747226715088,
      "learning_rate": 9.55488888888889e-05,
      "loss": 0.0374,
      "step": 20030
    },
    {
      "epoch": 2.672,
      "grad_norm": 0.22667045891284943,
      "learning_rate": 9.554666666666668e-05,
      "loss": 0.0299,
      "step": 20040
    },
    {
      "epoch": 2.6733333333333333,
      "grad_norm": 0.9486624002456665,
      "learning_rate": 9.554444444444444e-05,
      "loss": 0.0256,
      "step": 20050
    },
    {
      "epoch": 2.6746666666666665,
      "grad_norm": 1.4230235815048218,
      "learning_rate": 9.554222222222222e-05,
      "loss": 0.0424,
      "step": 20060
    },
    {
      "epoch": 2.676,
      "grad_norm": 0.8376628160476685,
      "learning_rate": 9.554000000000001e-05,
      "loss": 0.0235,
      "step": 20070
    },
    {
      "epoch": 2.6773333333333333,
      "grad_norm": 1.1075267791748047,
      "learning_rate": 9.553777777777779e-05,
      "loss": 0.0439,
      "step": 20080
    },
    {
      "epoch": 2.6786666666666665,
      "grad_norm": 1.206875205039978,
      "learning_rate": 9.553555555555555e-05,
      "loss": 0.0328,
      "step": 20090
    },
    {
      "epoch": 2.68,
      "grad_norm": 0.35499125719070435,
      "learning_rate": 9.553333333333334e-05,
      "loss": 0.0232,
      "step": 20100
    },
    {
      "epoch": 2.6813333333333333,
      "grad_norm": 1.1298846006393433,
      "learning_rate": 9.553111111111112e-05,
      "loss": 0.0418,
      "step": 20110
    },
    {
      "epoch": 2.6826666666666665,
      "grad_norm": 0.5536200404167175,
      "learning_rate": 9.552888888888888e-05,
      "loss": 0.0314,
      "step": 20120
    },
    {
      "epoch": 2.684,
      "grad_norm": 0.2174699306488037,
      "learning_rate": 9.552666666666667e-05,
      "loss": 0.0258,
      "step": 20130
    },
    {
      "epoch": 2.6853333333333333,
      "grad_norm": 0.6908003091812134,
      "learning_rate": 9.552444444444445e-05,
      "loss": 0.0358,
      "step": 20140
    },
    {
      "epoch": 2.6866666666666665,
      "grad_norm": 0.09566977620124817,
      "learning_rate": 9.552222222222223e-05,
      "loss": 0.0332,
      "step": 20150
    },
    {
      "epoch": 2.6879999999999997,
      "grad_norm": 0.8885391354560852,
      "learning_rate": 9.552000000000001e-05,
      "loss": 0.0491,
      "step": 20160
    },
    {
      "epoch": 2.6893333333333334,
      "grad_norm": 1.1086472272872925,
      "learning_rate": 9.551777777777778e-05,
      "loss": 0.0347,
      "step": 20170
    },
    {
      "epoch": 2.6906666666666665,
      "grad_norm": 0.5412185788154602,
      "learning_rate": 9.551555555555556e-05,
      "loss": 0.0254,
      "step": 20180
    },
    {
      "epoch": 2.692,
      "grad_norm": 0.12834930419921875,
      "learning_rate": 9.551333333333333e-05,
      "loss": 0.0268,
      "step": 20190
    },
    {
      "epoch": 2.6933333333333334,
      "grad_norm": 0.3353041112422943,
      "learning_rate": 9.551111111111112e-05,
      "loss": 0.0311,
      "step": 20200
    },
    {
      "epoch": 2.6946666666666665,
      "grad_norm": 0.9207357168197632,
      "learning_rate": 9.55088888888889e-05,
      "loss": 0.0324,
      "step": 20210
    },
    {
      "epoch": 2.6959999999999997,
      "grad_norm": 0.31393763422966003,
      "learning_rate": 9.550666666666667e-05,
      "loss": 0.031,
      "step": 20220
    },
    {
      "epoch": 2.6973333333333334,
      "grad_norm": 0.48707711696624756,
      "learning_rate": 9.550444444444445e-05,
      "loss": 0.0306,
      "step": 20230
    },
    {
      "epoch": 2.6986666666666665,
      "grad_norm": 0.593843400478363,
      "learning_rate": 9.550222222222223e-05,
      "loss": 0.0292,
      "step": 20240
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.7425485253334045,
      "learning_rate": 9.55e-05,
      "loss": 0.0415,
      "step": 20250
    },
    {
      "epoch": 2.7013333333333334,
      "grad_norm": 0.7246890664100647,
      "learning_rate": 9.549777777777778e-05,
      "loss": 0.0483,
      "step": 20260
    },
    {
      "epoch": 2.7026666666666666,
      "grad_norm": 0.4996642470359802,
      "learning_rate": 9.549555555555556e-05,
      "loss": 0.029,
      "step": 20270
    },
    {
      "epoch": 2.7039999999999997,
      "grad_norm": 0.34348925948143005,
      "learning_rate": 9.549333333333334e-05,
      "loss": 0.0331,
      "step": 20280
    },
    {
      "epoch": 2.7053333333333334,
      "grad_norm": 0.9074708819389343,
      "learning_rate": 9.549111111111111e-05,
      "loss": 0.024,
      "step": 20290
    },
    {
      "epoch": 2.7066666666666666,
      "grad_norm": 1.05886971950531,
      "learning_rate": 9.548888888888889e-05,
      "loss": 0.0242,
      "step": 20300
    },
    {
      "epoch": 2.708,
      "grad_norm": 0.3986034393310547,
      "learning_rate": 9.548666666666667e-05,
      "loss": 0.0277,
      "step": 20310
    },
    {
      "epoch": 2.7093333333333334,
      "grad_norm": 0.9804227352142334,
      "learning_rate": 9.548444444444446e-05,
      "loss": 0.0331,
      "step": 20320
    },
    {
      "epoch": 2.7106666666666666,
      "grad_norm": 0.7970244288444519,
      "learning_rate": 9.548222222222222e-05,
      "loss": 0.0412,
      "step": 20330
    },
    {
      "epoch": 2.7119999999999997,
      "grad_norm": 0.43541204929351807,
      "learning_rate": 9.548e-05,
      "loss": 0.0252,
      "step": 20340
    },
    {
      "epoch": 2.7133333333333334,
      "grad_norm": 0.36299818754196167,
      "learning_rate": 9.547777777777778e-05,
      "loss": 0.0256,
      "step": 20350
    },
    {
      "epoch": 2.7146666666666666,
      "grad_norm": 0.4754626154899597,
      "learning_rate": 9.547555555555557e-05,
      "loss": 0.0288,
      "step": 20360
    },
    {
      "epoch": 2.716,
      "grad_norm": 0.6813612580299377,
      "learning_rate": 9.547333333333333e-05,
      "loss": 0.0349,
      "step": 20370
    },
    {
      "epoch": 2.7173333333333334,
      "grad_norm": 0.672422468662262,
      "learning_rate": 9.547111111111111e-05,
      "loss": 0.0379,
      "step": 20380
    },
    {
      "epoch": 2.7186666666666666,
      "grad_norm": 0.24679870903491974,
      "learning_rate": 9.54688888888889e-05,
      "loss": 0.0325,
      "step": 20390
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 0.709125280380249,
      "learning_rate": 9.546666666666667e-05,
      "loss": 0.037,
      "step": 20400
    },
    {
      "epoch": 2.7213333333333334,
      "grad_norm": 0.966941773891449,
      "learning_rate": 9.546444444444444e-05,
      "loss": 0.0307,
      "step": 20410
    },
    {
      "epoch": 2.7226666666666666,
      "grad_norm": 0.3221980035305023,
      "learning_rate": 9.546222222222223e-05,
      "loss": 0.0264,
      "step": 20420
    },
    {
      "epoch": 2.724,
      "grad_norm": 0.4249279499053955,
      "learning_rate": 9.546000000000001e-05,
      "loss": 0.0309,
      "step": 20430
    },
    {
      "epoch": 2.7253333333333334,
      "grad_norm": 0.5741465091705322,
      "learning_rate": 9.545777777777777e-05,
      "loss": 0.0238,
      "step": 20440
    },
    {
      "epoch": 2.7266666666666666,
      "grad_norm": 2.0128896236419678,
      "learning_rate": 9.545555555555557e-05,
      "loss": 0.0433,
      "step": 20450
    },
    {
      "epoch": 2.7279999999999998,
      "grad_norm": 0.49195489287376404,
      "learning_rate": 9.545333333333334e-05,
      "loss": 0.034,
      "step": 20460
    },
    {
      "epoch": 2.7293333333333334,
      "grad_norm": 0.31225553154945374,
      "learning_rate": 9.545111111111111e-05,
      "loss": 0.0412,
      "step": 20470
    },
    {
      "epoch": 2.7306666666666666,
      "grad_norm": 0.36611416935920715,
      "learning_rate": 9.54488888888889e-05,
      "loss": 0.0254,
      "step": 20480
    },
    {
      "epoch": 2.732,
      "grad_norm": 0.5244921445846558,
      "learning_rate": 9.544666666666668e-05,
      "loss": 0.0234,
      "step": 20490
    },
    {
      "epoch": 2.7333333333333334,
      "grad_norm": 0.21695981919765472,
      "learning_rate": 9.544444444444445e-05,
      "loss": 0.0249,
      "step": 20500
    },
    {
      "epoch": 2.7346666666666666,
      "grad_norm": 0.42363059520721436,
      "learning_rate": 9.544222222222222e-05,
      "loss": 0.0387,
      "step": 20510
    },
    {
      "epoch": 2.7359999999999998,
      "grad_norm": 0.4646463990211487,
      "learning_rate": 9.544000000000001e-05,
      "loss": 0.0371,
      "step": 20520
    },
    {
      "epoch": 2.7373333333333334,
      "grad_norm": 0.49218493700027466,
      "learning_rate": 9.543777777777779e-05,
      "loss": 0.0335,
      "step": 20530
    },
    {
      "epoch": 2.7386666666666666,
      "grad_norm": 0.33936330676078796,
      "learning_rate": 9.543555555555555e-05,
      "loss": 0.0324,
      "step": 20540
    },
    {
      "epoch": 2.74,
      "grad_norm": 0.6018508076667786,
      "learning_rate": 9.543333333333334e-05,
      "loss": 0.0482,
      "step": 20550
    },
    {
      "epoch": 2.7413333333333334,
      "grad_norm": 0.6930626034736633,
      "learning_rate": 9.543111111111112e-05,
      "loss": 0.0456,
      "step": 20560
    },
    {
      "epoch": 2.7426666666666666,
      "grad_norm": 0.6220030784606934,
      "learning_rate": 9.54288888888889e-05,
      "loss": 0.0289,
      "step": 20570
    },
    {
      "epoch": 2.7439999999999998,
      "grad_norm": 0.9540594220161438,
      "learning_rate": 9.542666666666667e-05,
      "loss": 0.0224,
      "step": 20580
    },
    {
      "epoch": 2.7453333333333334,
      "grad_norm": 1.2266367673873901,
      "learning_rate": 9.542444444444445e-05,
      "loss": 0.0349,
      "step": 20590
    },
    {
      "epoch": 2.7466666666666666,
      "grad_norm": 1.0736384391784668,
      "learning_rate": 9.542222222222223e-05,
      "loss": 0.0326,
      "step": 20600
    },
    {
      "epoch": 2.748,
      "grad_norm": 0.5723304152488708,
      "learning_rate": 9.542e-05,
      "loss": 0.0349,
      "step": 20610
    },
    {
      "epoch": 2.7493333333333334,
      "grad_norm": 0.42198994755744934,
      "learning_rate": 9.541777777777778e-05,
      "loss": 0.0265,
      "step": 20620
    },
    {
      "epoch": 2.7506666666666666,
      "grad_norm": 0.16499842703342438,
      "learning_rate": 9.541555555555556e-05,
      "loss": 0.0404,
      "step": 20630
    },
    {
      "epoch": 2.752,
      "grad_norm": 0.2297138124704361,
      "learning_rate": 9.541333333333334e-05,
      "loss": 0.0483,
      "step": 20640
    },
    {
      "epoch": 2.7533333333333334,
      "grad_norm": 0.4708591401576996,
      "learning_rate": 9.541111111111111e-05,
      "loss": 0.0298,
      "step": 20650
    },
    {
      "epoch": 2.7546666666666666,
      "grad_norm": 0.7255072593688965,
      "learning_rate": 9.540888888888889e-05,
      "loss": 0.0285,
      "step": 20660
    },
    {
      "epoch": 2.7560000000000002,
      "grad_norm": 0.5454521775245667,
      "learning_rate": 9.540666666666667e-05,
      "loss": 0.0285,
      "step": 20670
    },
    {
      "epoch": 2.7573333333333334,
      "grad_norm": 0.5456917881965637,
      "learning_rate": 9.540444444444445e-05,
      "loss": 0.022,
      "step": 20680
    },
    {
      "epoch": 2.7586666666666666,
      "grad_norm": 0.5764045715332031,
      "learning_rate": 9.540222222222222e-05,
      "loss": 0.0326,
      "step": 20690
    },
    {
      "epoch": 2.76,
      "grad_norm": 1.2165089845657349,
      "learning_rate": 9.54e-05,
      "loss": 0.024,
      "step": 20700
    },
    {
      "epoch": 2.7613333333333334,
      "grad_norm": 0.20695190131664276,
      "learning_rate": 9.539777777777779e-05,
      "loss": 0.0257,
      "step": 20710
    },
    {
      "epoch": 2.7626666666666666,
      "grad_norm": 0.43326064944267273,
      "learning_rate": 9.539555555555556e-05,
      "loss": 0.0237,
      "step": 20720
    },
    {
      "epoch": 2.7640000000000002,
      "grad_norm": 0.5972588658332825,
      "learning_rate": 9.539333333333333e-05,
      "loss": 0.0476,
      "step": 20730
    },
    {
      "epoch": 2.7653333333333334,
      "grad_norm": 1.7299795150756836,
      "learning_rate": 9.539111111111112e-05,
      "loss": 0.0356,
      "step": 20740
    },
    {
      "epoch": 2.7666666666666666,
      "grad_norm": 1.1229815483093262,
      "learning_rate": 9.538888888888889e-05,
      "loss": 0.0378,
      "step": 20750
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.6127468347549438,
      "learning_rate": 9.538666666666667e-05,
      "loss": 0.0522,
      "step": 20760
    },
    {
      "epoch": 2.7693333333333334,
      "grad_norm": 0.4597555100917816,
      "learning_rate": 9.538444444444446e-05,
      "loss": 0.0307,
      "step": 20770
    },
    {
      "epoch": 2.7706666666666666,
      "grad_norm": 0.6993438005447388,
      "learning_rate": 9.538222222222223e-05,
      "loss": 0.0398,
      "step": 20780
    },
    {
      "epoch": 2.7720000000000002,
      "grad_norm": 0.49060243368148804,
      "learning_rate": 9.538e-05,
      "loss": 0.024,
      "step": 20790
    },
    {
      "epoch": 2.7733333333333334,
      "grad_norm": 1.118464469909668,
      "learning_rate": 9.537777777777778e-05,
      "loss": 0.0312,
      "step": 20800
    },
    {
      "epoch": 2.7746666666666666,
      "grad_norm": 0.55166095495224,
      "learning_rate": 9.537555555555557e-05,
      "loss": 0.0343,
      "step": 20810
    },
    {
      "epoch": 2.776,
      "grad_norm": 0.6259016394615173,
      "learning_rate": 9.537333333333333e-05,
      "loss": 0.0271,
      "step": 20820
    },
    {
      "epoch": 2.7773333333333334,
      "grad_norm": 0.5008101463317871,
      "learning_rate": 9.537111111111111e-05,
      "loss": 0.0332,
      "step": 20830
    },
    {
      "epoch": 2.7786666666666666,
      "grad_norm": 0.2360897660255432,
      "learning_rate": 9.53688888888889e-05,
      "loss": 0.0188,
      "step": 20840
    },
    {
      "epoch": 2.7800000000000002,
      "grad_norm": 0.6488565802574158,
      "learning_rate": 9.536666666666668e-05,
      "loss": 0.0266,
      "step": 20850
    },
    {
      "epoch": 2.7813333333333334,
      "grad_norm": 0.2529555559158325,
      "learning_rate": 9.536444444444444e-05,
      "loss": 0.0243,
      "step": 20860
    },
    {
      "epoch": 2.7826666666666666,
      "grad_norm": 0.32526394724845886,
      "learning_rate": 9.536222222222223e-05,
      "loss": 0.0283,
      "step": 20870
    },
    {
      "epoch": 2.784,
      "grad_norm": 0.36597394943237305,
      "learning_rate": 9.536000000000001e-05,
      "loss": 0.0264,
      "step": 20880
    },
    {
      "epoch": 2.7853333333333334,
      "grad_norm": 0.22334347665309906,
      "learning_rate": 9.535777777777779e-05,
      "loss": 0.0306,
      "step": 20890
    },
    {
      "epoch": 2.7866666666666666,
      "grad_norm": 0.704590380191803,
      "learning_rate": 9.535555555555556e-05,
      "loss": 0.0456,
      "step": 20900
    },
    {
      "epoch": 2.7880000000000003,
      "grad_norm": 0.6205816864967346,
      "learning_rate": 9.535333333333334e-05,
      "loss": 0.0303,
      "step": 20910
    },
    {
      "epoch": 2.7893333333333334,
      "grad_norm": 0.5679460167884827,
      "learning_rate": 9.535111111111112e-05,
      "loss": 0.0389,
      "step": 20920
    },
    {
      "epoch": 2.7906666666666666,
      "grad_norm": 0.6975934505462646,
      "learning_rate": 9.53488888888889e-05,
      "loss": 0.0582,
      "step": 20930
    },
    {
      "epoch": 2.792,
      "grad_norm": 0.4746819734573364,
      "learning_rate": 9.534666666666667e-05,
      "loss": 0.0266,
      "step": 20940
    },
    {
      "epoch": 2.7933333333333334,
      "grad_norm": 0.7156251072883606,
      "learning_rate": 9.534444444444445e-05,
      "loss": 0.0354,
      "step": 20950
    },
    {
      "epoch": 2.7946666666666666,
      "grad_norm": 0.6683849096298218,
      "learning_rate": 9.534222222222223e-05,
      "loss": 0.0414,
      "step": 20960
    },
    {
      "epoch": 2.7960000000000003,
      "grad_norm": 0.7824782133102417,
      "learning_rate": 9.534e-05,
      "loss": 0.0415,
      "step": 20970
    },
    {
      "epoch": 2.7973333333333334,
      "grad_norm": 0.9789454936981201,
      "learning_rate": 9.533777777777778e-05,
      "loss": 0.0359,
      "step": 20980
    },
    {
      "epoch": 2.7986666666666666,
      "grad_norm": 1.7165043354034424,
      "learning_rate": 9.533555555555556e-05,
      "loss": 0.0478,
      "step": 20990
    },
    {
      "epoch": 2.8,
      "grad_norm": 2.8657171726226807,
      "learning_rate": 9.533333333333334e-05,
      "loss": 0.0236,
      "step": 21000
    },
    {
      "epoch": 2.8013333333333335,
      "grad_norm": 0.553914487361908,
      "learning_rate": 9.533111111111112e-05,
      "loss": 0.0312,
      "step": 21010
    },
    {
      "epoch": 2.8026666666666666,
      "grad_norm": 0.30990728735923767,
      "learning_rate": 9.532888888888889e-05,
      "loss": 0.0343,
      "step": 21020
    },
    {
      "epoch": 2.8040000000000003,
      "grad_norm": 0.8909964561462402,
      "learning_rate": 9.532666666666667e-05,
      "loss": 0.0375,
      "step": 21030
    },
    {
      "epoch": 2.8053333333333335,
      "grad_norm": 0.5222032070159912,
      "learning_rate": 9.532444444444445e-05,
      "loss": 0.0433,
      "step": 21040
    },
    {
      "epoch": 2.8066666666666666,
      "grad_norm": 1.0577157735824585,
      "learning_rate": 9.532222222222222e-05,
      "loss": 0.0351,
      "step": 21050
    },
    {
      "epoch": 2.808,
      "grad_norm": 0.05879537761211395,
      "learning_rate": 9.532000000000002e-05,
      "loss": 0.0306,
      "step": 21060
    },
    {
      "epoch": 2.8093333333333335,
      "grad_norm": 0.5188964605331421,
      "learning_rate": 9.531777777777778e-05,
      "loss": 0.0452,
      "step": 21070
    },
    {
      "epoch": 2.8106666666666666,
      "grad_norm": 1.3826645612716675,
      "learning_rate": 9.531555555555556e-05,
      "loss": 0.039,
      "step": 21080
    },
    {
      "epoch": 2.8120000000000003,
      "grad_norm": 0.3371732831001282,
      "learning_rate": 9.531333333333335e-05,
      "loss": 0.0291,
      "step": 21090
    },
    {
      "epoch": 2.8133333333333335,
      "grad_norm": 0.9301306009292603,
      "learning_rate": 9.531111111111111e-05,
      "loss": 0.0362,
      "step": 21100
    },
    {
      "epoch": 2.8146666666666667,
      "grad_norm": 0.4743843972682953,
      "learning_rate": 9.530888888888889e-05,
      "loss": 0.0226,
      "step": 21110
    },
    {
      "epoch": 2.816,
      "grad_norm": 0.5939717888832092,
      "learning_rate": 9.530666666666667e-05,
      "loss": 0.0515,
      "step": 21120
    },
    {
      "epoch": 2.8173333333333335,
      "grad_norm": 0.036266908049583435,
      "learning_rate": 9.530444444444446e-05,
      "loss": 0.0285,
      "step": 21130
    },
    {
      "epoch": 2.8186666666666667,
      "grad_norm": 1.3352411985397339,
      "learning_rate": 9.530222222222222e-05,
      "loss": 0.0483,
      "step": 21140
    },
    {
      "epoch": 2.82,
      "grad_norm": 0.35055750608444214,
      "learning_rate": 9.53e-05,
      "loss": 0.0267,
      "step": 21150
    },
    {
      "epoch": 2.8213333333333335,
      "grad_norm": 0.2596307694911957,
      "learning_rate": 9.529777777777779e-05,
      "loss": 0.035,
      "step": 21160
    },
    {
      "epoch": 2.8226666666666667,
      "grad_norm": 0.9275414943695068,
      "learning_rate": 9.529555555555555e-05,
      "loss": 0.0416,
      "step": 21170
    },
    {
      "epoch": 2.824,
      "grad_norm": 0.22798943519592285,
      "learning_rate": 9.529333333333333e-05,
      "loss": 0.0314,
      "step": 21180
    },
    {
      "epoch": 2.8253333333333335,
      "grad_norm": 0.28083986043930054,
      "learning_rate": 9.529111111111112e-05,
      "loss": 0.0303,
      "step": 21190
    },
    {
      "epoch": 2.8266666666666667,
      "grad_norm": 0.6128933429718018,
      "learning_rate": 9.52888888888889e-05,
      "loss": 0.0315,
      "step": 21200
    },
    {
      "epoch": 2.828,
      "grad_norm": 0.6951034665107727,
      "learning_rate": 9.528666666666666e-05,
      "loss": 0.034,
      "step": 21210
    },
    {
      "epoch": 2.8293333333333335,
      "grad_norm": 0.16186518967151642,
      "learning_rate": 9.528444444444445e-05,
      "loss": 0.0289,
      "step": 21220
    },
    {
      "epoch": 2.8306666666666667,
      "grad_norm": 0.37243470549583435,
      "learning_rate": 9.528222222222223e-05,
      "loss": 0.0302,
      "step": 21230
    },
    {
      "epoch": 2.832,
      "grad_norm": 0.3631432354450226,
      "learning_rate": 9.528000000000001e-05,
      "loss": 0.032,
      "step": 21240
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 0.3251899182796478,
      "learning_rate": 9.527777777777777e-05,
      "loss": 0.0287,
      "step": 21250
    },
    {
      "epoch": 2.8346666666666667,
      "grad_norm": 0.7433431148529053,
      "learning_rate": 9.527555555555556e-05,
      "loss": 0.0226,
      "step": 21260
    },
    {
      "epoch": 2.836,
      "grad_norm": 0.3526640236377716,
      "learning_rate": 9.527333333333334e-05,
      "loss": 0.029,
      "step": 21270
    },
    {
      "epoch": 2.8373333333333335,
      "grad_norm": 1.3672906160354614,
      "learning_rate": 9.52711111111111e-05,
      "loss": 0.0239,
      "step": 21280
    },
    {
      "epoch": 2.8386666666666667,
      "grad_norm": 0.3525923490524292,
      "learning_rate": 9.52688888888889e-05,
      "loss": 0.0493,
      "step": 21290
    },
    {
      "epoch": 2.84,
      "grad_norm": 0.40564605593681335,
      "learning_rate": 9.526666666666667e-05,
      "loss": 0.0458,
      "step": 21300
    },
    {
      "epoch": 2.8413333333333335,
      "grad_norm": 0.3381313383579254,
      "learning_rate": 9.526444444444445e-05,
      "loss": 0.0287,
      "step": 21310
    },
    {
      "epoch": 2.8426666666666667,
      "grad_norm": 0.22965078055858612,
      "learning_rate": 9.526222222222223e-05,
      "loss": 0.0232,
      "step": 21320
    },
    {
      "epoch": 2.844,
      "grad_norm": 0.4580181837081909,
      "learning_rate": 9.526e-05,
      "loss": 0.0348,
      "step": 21330
    },
    {
      "epoch": 2.8453333333333335,
      "grad_norm": 0.6095913052558899,
      "learning_rate": 9.525777777777778e-05,
      "loss": 0.0245,
      "step": 21340
    },
    {
      "epoch": 2.8466666666666667,
      "grad_norm": 0.6313440203666687,
      "learning_rate": 9.525555555555556e-05,
      "loss": 0.0427,
      "step": 21350
    },
    {
      "epoch": 2.848,
      "grad_norm": 0.5763639211654663,
      "learning_rate": 9.525333333333334e-05,
      "loss": 0.0326,
      "step": 21360
    },
    {
      "epoch": 2.8493333333333335,
      "grad_norm": 0.27206555008888245,
      "learning_rate": 9.525111111111112e-05,
      "loss": 0.0262,
      "step": 21370
    },
    {
      "epoch": 2.8506666666666667,
      "grad_norm": 0.604194700717926,
      "learning_rate": 9.52488888888889e-05,
      "loss": 0.0347,
      "step": 21380
    },
    {
      "epoch": 2.852,
      "grad_norm": 0.6332956552505493,
      "learning_rate": 9.524666666666667e-05,
      "loss": 0.0257,
      "step": 21390
    },
    {
      "epoch": 2.8533333333333335,
      "grad_norm": 0.4180423617362976,
      "learning_rate": 9.524444444444445e-05,
      "loss": 0.0234,
      "step": 21400
    },
    {
      "epoch": 2.8546666666666667,
      "grad_norm": 0.657505989074707,
      "learning_rate": 9.524222222222223e-05,
      "loss": 0.0288,
      "step": 21410
    },
    {
      "epoch": 2.856,
      "grad_norm": 0.5594490170478821,
      "learning_rate": 9.524e-05,
      "loss": 0.0314,
      "step": 21420
    },
    {
      "epoch": 2.857333333333333,
      "grad_norm": 1.033909559249878,
      "learning_rate": 9.523777777777778e-05,
      "loss": 0.0271,
      "step": 21430
    },
    {
      "epoch": 2.8586666666666667,
      "grad_norm": 0.7005453109741211,
      "learning_rate": 9.523555555555556e-05,
      "loss": 0.0235,
      "step": 21440
    },
    {
      "epoch": 2.86,
      "grad_norm": 0.7645341157913208,
      "learning_rate": 9.523333333333334e-05,
      "loss": 0.0371,
      "step": 21450
    },
    {
      "epoch": 2.8613333333333335,
      "grad_norm": 0.5174455642700195,
      "learning_rate": 9.523111111111111e-05,
      "loss": 0.0279,
      "step": 21460
    },
    {
      "epoch": 2.8626666666666667,
      "grad_norm": 1.0215814113616943,
      "learning_rate": 9.522888888888889e-05,
      "loss": 0.0355,
      "step": 21470
    },
    {
      "epoch": 2.864,
      "grad_norm": 1.1481813192367554,
      "learning_rate": 9.522666666666668e-05,
      "loss": 0.0358,
      "step": 21480
    },
    {
      "epoch": 2.865333333333333,
      "grad_norm": 1.0534765720367432,
      "learning_rate": 9.522444444444444e-05,
      "loss": 0.0347,
      "step": 21490
    },
    {
      "epoch": 2.8666666666666667,
      "grad_norm": 0.5837336778640747,
      "learning_rate": 9.522222222222222e-05,
      "loss": 0.0441,
      "step": 21500
    },
    {
      "epoch": 2.868,
      "grad_norm": 0.345281720161438,
      "learning_rate": 9.522000000000001e-05,
      "loss": 0.0292,
      "step": 21510
    },
    {
      "epoch": 2.8693333333333335,
      "grad_norm": 0.4061550498008728,
      "learning_rate": 9.521777777777778e-05,
      "loss": 0.0248,
      "step": 21520
    },
    {
      "epoch": 2.8706666666666667,
      "grad_norm": 0.7239487171173096,
      "learning_rate": 9.521555555555555e-05,
      "loss": 0.0293,
      "step": 21530
    },
    {
      "epoch": 2.872,
      "grad_norm": 0.8037379384040833,
      "learning_rate": 9.521333333333335e-05,
      "loss": 0.0351,
      "step": 21540
    },
    {
      "epoch": 2.873333333333333,
      "grad_norm": 0.8872528672218323,
      "learning_rate": 9.521111111111112e-05,
      "loss": 0.0271,
      "step": 21550
    },
    {
      "epoch": 2.8746666666666667,
      "grad_norm": 0.4386550188064575,
      "learning_rate": 9.520888888888889e-05,
      "loss": 0.0542,
      "step": 21560
    },
    {
      "epoch": 2.876,
      "grad_norm": 0.53925621509552,
      "learning_rate": 9.520666666666666e-05,
      "loss": 0.0424,
      "step": 21570
    },
    {
      "epoch": 2.8773333333333335,
      "grad_norm": 0.3295002579689026,
      "learning_rate": 9.520444444444446e-05,
      "loss": 0.0327,
      "step": 21580
    },
    {
      "epoch": 2.8786666666666667,
      "grad_norm": 0.9200447201728821,
      "learning_rate": 9.520222222222223e-05,
      "loss": 0.0314,
      "step": 21590
    },
    {
      "epoch": 2.88,
      "grad_norm": 0.284559041261673,
      "learning_rate": 9.52e-05,
      "loss": 0.0284,
      "step": 21600
    },
    {
      "epoch": 2.881333333333333,
      "grad_norm": 0.6380084753036499,
      "learning_rate": 9.519777777777779e-05,
      "loss": 0.0248,
      "step": 21610
    },
    {
      "epoch": 2.8826666666666667,
      "grad_norm": 0.31144511699676514,
      "learning_rate": 9.519555555555556e-05,
      "loss": 0.0257,
      "step": 21620
    },
    {
      "epoch": 2.884,
      "grad_norm": 0.3155890703201294,
      "learning_rate": 9.519333333333333e-05,
      "loss": 0.0378,
      "step": 21630
    },
    {
      "epoch": 2.8853333333333335,
      "grad_norm": 0.383894681930542,
      "learning_rate": 9.519111111111112e-05,
      "loss": 0.0337,
      "step": 21640
    },
    {
      "epoch": 2.8866666666666667,
      "grad_norm": 1.3511117696762085,
      "learning_rate": 9.51888888888889e-05,
      "loss": 0.0371,
      "step": 21650
    },
    {
      "epoch": 2.888,
      "grad_norm": 0.3555639386177063,
      "learning_rate": 9.518666666666667e-05,
      "loss": 0.0287,
      "step": 21660
    },
    {
      "epoch": 2.889333333333333,
      "grad_norm": 0.22214607894420624,
      "learning_rate": 9.518444444444445e-05,
      "loss": 0.0264,
      "step": 21670
    },
    {
      "epoch": 2.8906666666666667,
      "grad_norm": 0.6807377934455872,
      "learning_rate": 9.518222222222223e-05,
      "loss": 0.0245,
      "step": 21680
    },
    {
      "epoch": 2.892,
      "grad_norm": 0.4405062794685364,
      "learning_rate": 9.518000000000001e-05,
      "loss": 0.0387,
      "step": 21690
    },
    {
      "epoch": 2.8933333333333335,
      "grad_norm": 0.5003458857536316,
      "learning_rate": 9.517777777777777e-05,
      "loss": 0.028,
      "step": 21700
    },
    {
      "epoch": 2.8946666666666667,
      "grad_norm": 0.5759548544883728,
      "learning_rate": 9.517555555555556e-05,
      "loss": 0.0286,
      "step": 21710
    },
    {
      "epoch": 2.896,
      "grad_norm": 0.8784622550010681,
      "learning_rate": 9.517333333333334e-05,
      "loss": 0.0447,
      "step": 21720
    },
    {
      "epoch": 2.897333333333333,
      "grad_norm": 0.5461878180503845,
      "learning_rate": 9.517111111111112e-05,
      "loss": 0.037,
      "step": 21730
    },
    {
      "epoch": 2.8986666666666667,
      "grad_norm": 0.6148354411125183,
      "learning_rate": 9.51688888888889e-05,
      "loss": 0.0252,
      "step": 21740
    },
    {
      "epoch": 2.9,
      "grad_norm": 0.725440263748169,
      "learning_rate": 9.516666666666667e-05,
      "loss": 0.0461,
      "step": 21750
    },
    {
      "epoch": 2.9013333333333335,
      "grad_norm": 0.3721258342266083,
      "learning_rate": 9.516444444444445e-05,
      "loss": 0.0314,
      "step": 21760
    },
    {
      "epoch": 2.9026666666666667,
      "grad_norm": 0.5377553105354309,
      "learning_rate": 9.516222222222223e-05,
      "loss": 0.0308,
      "step": 21770
    },
    {
      "epoch": 2.904,
      "grad_norm": 1.8991323709487915,
      "learning_rate": 9.516e-05,
      "loss": 0.0451,
      "step": 21780
    },
    {
      "epoch": 2.905333333333333,
      "grad_norm": 0.3447725176811218,
      "learning_rate": 9.515777777777778e-05,
      "loss": 0.0217,
      "step": 21790
    },
    {
      "epoch": 2.9066666666666667,
      "grad_norm": 0.3136313259601593,
      "learning_rate": 9.515555555555556e-05,
      "loss": 0.0256,
      "step": 21800
    },
    {
      "epoch": 2.908,
      "grad_norm": 0.6346924304962158,
      "learning_rate": 9.515333333333334e-05,
      "loss": 0.045,
      "step": 21810
    },
    {
      "epoch": 2.9093333333333335,
      "grad_norm": 0.6584683060646057,
      "learning_rate": 9.515111111111111e-05,
      "loss": 0.0459,
      "step": 21820
    },
    {
      "epoch": 2.9106666666666667,
      "grad_norm": 0.5720866918563843,
      "learning_rate": 9.51488888888889e-05,
      "loss": 0.0354,
      "step": 21830
    },
    {
      "epoch": 2.912,
      "grad_norm": 0.6695102453231812,
      "learning_rate": 9.514666666666667e-05,
      "loss": 0.0274,
      "step": 21840
    },
    {
      "epoch": 2.913333333333333,
      "grad_norm": 0.5544036626815796,
      "learning_rate": 9.514444444444445e-05,
      "loss": 0.0319,
      "step": 21850
    },
    {
      "epoch": 2.9146666666666667,
      "grad_norm": 0.6715977191925049,
      "learning_rate": 9.514222222222222e-05,
      "loss": 0.0497,
      "step": 21860
    },
    {
      "epoch": 2.916,
      "grad_norm": 0.6132674217224121,
      "learning_rate": 9.514e-05,
      "loss": 0.0296,
      "step": 21870
    },
    {
      "epoch": 2.9173333333333336,
      "grad_norm": 0.10765150934457779,
      "learning_rate": 9.513777777777778e-05,
      "loss": 0.028,
      "step": 21880
    },
    {
      "epoch": 2.9186666666666667,
      "grad_norm": 0.4252791702747345,
      "learning_rate": 9.513555555555556e-05,
      "loss": 0.0255,
      "step": 21890
    },
    {
      "epoch": 2.92,
      "grad_norm": 0.38565629720687866,
      "learning_rate": 9.513333333333335e-05,
      "loss": 0.0359,
      "step": 21900
    },
    {
      "epoch": 2.921333333333333,
      "grad_norm": 0.484480082988739,
      "learning_rate": 9.513111111111111e-05,
      "loss": 0.0356,
      "step": 21910
    },
    {
      "epoch": 2.9226666666666667,
      "grad_norm": 1.0171751976013184,
      "learning_rate": 9.512888888888889e-05,
      "loss": 0.0399,
      "step": 21920
    },
    {
      "epoch": 2.924,
      "grad_norm": 0.4999683201313019,
      "learning_rate": 9.512666666666668e-05,
      "loss": 0.031,
      "step": 21930
    },
    {
      "epoch": 2.9253333333333336,
      "grad_norm": 0.46805715560913086,
      "learning_rate": 9.512444444444446e-05,
      "loss": 0.0362,
      "step": 21940
    },
    {
      "epoch": 2.9266666666666667,
      "grad_norm": 0.5570663809776306,
      "learning_rate": 9.512222222222222e-05,
      "loss": 0.0299,
      "step": 21950
    },
    {
      "epoch": 2.928,
      "grad_norm": 0.910277247428894,
      "learning_rate": 9.512000000000001e-05,
      "loss": 0.0347,
      "step": 21960
    },
    {
      "epoch": 2.929333333333333,
      "grad_norm": 0.8126081228256226,
      "learning_rate": 9.511777777777779e-05,
      "loss": 0.0347,
      "step": 21970
    },
    {
      "epoch": 2.9306666666666668,
      "grad_norm": 0.4443158209323883,
      "learning_rate": 9.511555555555555e-05,
      "loss": 0.0282,
      "step": 21980
    },
    {
      "epoch": 2.932,
      "grad_norm": 0.9922450184822083,
      "learning_rate": 9.511333333333334e-05,
      "loss": 0.0329,
      "step": 21990
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 0.8684448599815369,
      "learning_rate": 9.511111111111112e-05,
      "loss": 0.0345,
      "step": 22000
    },
    {
      "epoch": 2.9346666666666668,
      "grad_norm": 0.48629748821258545,
      "learning_rate": 9.51088888888889e-05,
      "loss": 0.0291,
      "step": 22010
    },
    {
      "epoch": 2.936,
      "grad_norm": 0.5425295829772949,
      "learning_rate": 9.510666666666666e-05,
      "loss": 0.0299,
      "step": 22020
    },
    {
      "epoch": 2.937333333333333,
      "grad_norm": 0.46919921040534973,
      "learning_rate": 9.510444444444445e-05,
      "loss": 0.0283,
      "step": 22030
    },
    {
      "epoch": 2.9386666666666668,
      "grad_norm": 1.2441096305847168,
      "learning_rate": 9.510222222222223e-05,
      "loss": 0.0191,
      "step": 22040
    },
    {
      "epoch": 2.94,
      "grad_norm": 0.5615765452384949,
      "learning_rate": 9.51e-05,
      "loss": 0.0246,
      "step": 22050
    },
    {
      "epoch": 2.9413333333333336,
      "grad_norm": 1.2317819595336914,
      "learning_rate": 9.509777777777779e-05,
      "loss": 0.0255,
      "step": 22060
    },
    {
      "epoch": 2.9426666666666668,
      "grad_norm": 0.5539036393165588,
      "learning_rate": 9.509555555555556e-05,
      "loss": 0.0335,
      "step": 22070
    },
    {
      "epoch": 2.944,
      "grad_norm": 0.7174826264381409,
      "learning_rate": 9.509333333333334e-05,
      "loss": 0.0325,
      "step": 22080
    },
    {
      "epoch": 2.945333333333333,
      "grad_norm": 0.9493825435638428,
      "learning_rate": 9.509111111111112e-05,
      "loss": 0.0411,
      "step": 22090
    },
    {
      "epoch": 2.9466666666666668,
      "grad_norm": 4.440033435821533,
      "learning_rate": 9.50888888888889e-05,
      "loss": 0.0427,
      "step": 22100
    },
    {
      "epoch": 2.948,
      "grad_norm": 0.24694035947322845,
      "learning_rate": 9.508666666666667e-05,
      "loss": 0.0318,
      "step": 22110
    },
    {
      "epoch": 2.9493333333333336,
      "grad_norm": 0.5222215056419373,
      "learning_rate": 9.508444444444445e-05,
      "loss": 0.0333,
      "step": 22120
    },
    {
      "epoch": 2.9506666666666668,
      "grad_norm": 0.37805426120758057,
      "learning_rate": 9.508222222222223e-05,
      "loss": 0.0196,
      "step": 22130
    },
    {
      "epoch": 2.952,
      "grad_norm": 0.487422913312912,
      "learning_rate": 9.508e-05,
      "loss": 0.0356,
      "step": 22140
    },
    {
      "epoch": 2.953333333333333,
      "grad_norm": 0.446773499250412,
      "learning_rate": 9.507777777777778e-05,
      "loss": 0.0371,
      "step": 22150
    },
    {
      "epoch": 2.9546666666666668,
      "grad_norm": 0.2302873134613037,
      "learning_rate": 9.507555555555556e-05,
      "loss": 0.0451,
      "step": 22160
    },
    {
      "epoch": 2.956,
      "grad_norm": 0.41806238889694214,
      "learning_rate": 9.507333333333334e-05,
      "loss": 0.0304,
      "step": 22170
    },
    {
      "epoch": 2.9573333333333336,
      "grad_norm": 1.988652229309082,
      "learning_rate": 9.507111111111111e-05,
      "loss": 0.0363,
      "step": 22180
    },
    {
      "epoch": 2.958666666666667,
      "grad_norm": 1.1701290607452393,
      "learning_rate": 9.506888888888889e-05,
      "loss": 0.038,
      "step": 22190
    },
    {
      "epoch": 2.96,
      "grad_norm": 0.7121066451072693,
      "learning_rate": 9.506666666666667e-05,
      "loss": 0.0424,
      "step": 22200
    },
    {
      "epoch": 2.961333333333333,
      "grad_norm": 0.5367130637168884,
      "learning_rate": 9.506444444444445e-05,
      "loss": 0.029,
      "step": 22210
    },
    {
      "epoch": 2.962666666666667,
      "grad_norm": 0.3734252452850342,
      "learning_rate": 9.506222222222222e-05,
      "loss": 0.0341,
      "step": 22220
    },
    {
      "epoch": 2.964,
      "grad_norm": 0.28198543190956116,
      "learning_rate": 9.506e-05,
      "loss": 0.0316,
      "step": 22230
    },
    {
      "epoch": 2.9653333333333336,
      "grad_norm": 0.49448099732398987,
      "learning_rate": 9.505777777777778e-05,
      "loss": 0.0344,
      "step": 22240
    },
    {
      "epoch": 2.966666666666667,
      "grad_norm": 0.8615112900733948,
      "learning_rate": 9.505555555555557e-05,
      "loss": 0.0291,
      "step": 22250
    },
    {
      "epoch": 2.968,
      "grad_norm": 0.6929412484169006,
      "learning_rate": 9.505333333333333e-05,
      "loss": 0.0281,
      "step": 22260
    },
    {
      "epoch": 2.969333333333333,
      "grad_norm": 0.5393769145011902,
      "learning_rate": 9.505111111111111e-05,
      "loss": 0.027,
      "step": 22270
    },
    {
      "epoch": 2.970666666666667,
      "grad_norm": 0.47481170296669006,
      "learning_rate": 9.50488888888889e-05,
      "loss": 0.0416,
      "step": 22280
    },
    {
      "epoch": 2.972,
      "grad_norm": 0.38929975032806396,
      "learning_rate": 9.504666666666668e-05,
      "loss": 0.0191,
      "step": 22290
    },
    {
      "epoch": 2.9733333333333336,
      "grad_norm": 0.3696437478065491,
      "learning_rate": 9.504444444444444e-05,
      "loss": 0.021,
      "step": 22300
    },
    {
      "epoch": 2.974666666666667,
      "grad_norm": 0.2754306197166443,
      "learning_rate": 9.504222222222222e-05,
      "loss": 0.0258,
      "step": 22310
    },
    {
      "epoch": 2.976,
      "grad_norm": 0.6537690758705139,
      "learning_rate": 9.504000000000001e-05,
      "loss": 0.0466,
      "step": 22320
    },
    {
      "epoch": 2.977333333333333,
      "grad_norm": 0.7535597085952759,
      "learning_rate": 9.503777777777778e-05,
      "loss": 0.0299,
      "step": 22330
    },
    {
      "epoch": 2.978666666666667,
      "grad_norm": 0.6621925234794617,
      "learning_rate": 9.503555555555555e-05,
      "loss": 0.0408,
      "step": 22340
    },
    {
      "epoch": 2.98,
      "grad_norm": 1.0886272192001343,
      "learning_rate": 9.503333333333334e-05,
      "loss": 0.0305,
      "step": 22350
    },
    {
      "epoch": 2.981333333333333,
      "grad_norm": 0.4419422745704651,
      "learning_rate": 9.503111111111112e-05,
      "loss": 0.0325,
      "step": 22360
    },
    {
      "epoch": 2.982666666666667,
      "grad_norm": 0.5543863773345947,
      "learning_rate": 9.502888888888889e-05,
      "loss": 0.0386,
      "step": 22370
    },
    {
      "epoch": 2.984,
      "grad_norm": 0.5611380338668823,
      "learning_rate": 9.502666666666668e-05,
      "loss": 0.0364,
      "step": 22380
    },
    {
      "epoch": 2.985333333333333,
      "grad_norm": 0.572309136390686,
      "learning_rate": 9.502444444444445e-05,
      "loss": 0.0244,
      "step": 22390
    },
    {
      "epoch": 2.986666666666667,
      "grad_norm": 0.5079936981201172,
      "learning_rate": 9.502222222222222e-05,
      "loss": 0.0306,
      "step": 22400
    },
    {
      "epoch": 2.988,
      "grad_norm": 0.5811052918434143,
      "learning_rate": 9.502000000000001e-05,
      "loss": 0.0329,
      "step": 22410
    },
    {
      "epoch": 2.989333333333333,
      "grad_norm": 0.6012449264526367,
      "learning_rate": 9.501777777777779e-05,
      "loss": 0.0321,
      "step": 22420
    },
    {
      "epoch": 2.990666666666667,
      "grad_norm": 0.3950135111808777,
      "learning_rate": 9.501555555555556e-05,
      "loss": 0.0372,
      "step": 22430
    },
    {
      "epoch": 2.992,
      "grad_norm": 0.5876250863075256,
      "learning_rate": 9.501333333333334e-05,
      "loss": 0.0243,
      "step": 22440
    },
    {
      "epoch": 2.993333333333333,
      "grad_norm": 0.341848224401474,
      "learning_rate": 9.501111111111112e-05,
      "loss": 0.0326,
      "step": 22450
    },
    {
      "epoch": 2.994666666666667,
      "grad_norm": 0.21274881064891815,
      "learning_rate": 9.50088888888889e-05,
      "loss": 0.0216,
      "step": 22460
    },
    {
      "epoch": 2.996,
      "grad_norm": 0.7816921472549438,
      "learning_rate": 9.500666666666666e-05,
      "loss": 0.0324,
      "step": 22470
    },
    {
      "epoch": 2.997333333333333,
      "grad_norm": 0.5352827906608582,
      "learning_rate": 9.500444444444445e-05,
      "loss": 0.0336,
      "step": 22480
    },
    {
      "epoch": 2.998666666666667,
      "grad_norm": 0.33101189136505127,
      "learning_rate": 9.500222222222223e-05,
      "loss": 0.0336,
      "step": 22490
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.5487565994262695,
      "learning_rate": 9.5e-05,
      "loss": 0.0349,
      "step": 22500
    },
    {
      "epoch": 3.0,
      "eval_loss": 0.025582047179341316,
      "eval_runtime": 37.0002,
      "eval_samples_per_second": 81.081,
      "eval_steps_per_second": 5.081,
      "step": 22500
    },
    {
      "epoch": 3.001333333333333,
      "grad_norm": 0.5028296709060669,
      "learning_rate": 9.499777777777778e-05,
      "loss": 0.0298,
      "step": 22510
    },
    {
      "epoch": 3.002666666666667,
      "grad_norm": 0.21683821082115173,
      "learning_rate": 9.499555555555556e-05,
      "loss": 0.0224,
      "step": 22520
    },
    {
      "epoch": 3.004,
      "grad_norm": 2.509185791015625,
      "learning_rate": 9.499333333333334e-05,
      "loss": 0.0344,
      "step": 22530
    },
    {
      "epoch": 3.005333333333333,
      "grad_norm": 0.5754513144493103,
      "learning_rate": 9.499111111111111e-05,
      "loss": 0.0342,
      "step": 22540
    },
    {
      "epoch": 3.006666666666667,
      "grad_norm": 0.5513519644737244,
      "learning_rate": 9.498888888888889e-05,
      "loss": 0.0247,
      "step": 22550
    },
    {
      "epoch": 3.008,
      "grad_norm": 0.40390193462371826,
      "learning_rate": 9.498666666666667e-05,
      "loss": 0.0247,
      "step": 22560
    },
    {
      "epoch": 3.009333333333333,
      "grad_norm": 0.8165059685707092,
      "learning_rate": 9.498444444444445e-05,
      "loss": 0.0224,
      "step": 22570
    },
    {
      "epoch": 3.010666666666667,
      "grad_norm": 0.2923583388328552,
      "learning_rate": 9.498222222222222e-05,
      "loss": 0.0335,
      "step": 22580
    },
    {
      "epoch": 3.012,
      "grad_norm": 0.61977618932724,
      "learning_rate": 9.498e-05,
      "loss": 0.018,
      "step": 22590
    },
    {
      "epoch": 3.013333333333333,
      "grad_norm": 0.8841947317123413,
      "learning_rate": 9.497777777777779e-05,
      "loss": 0.0264,
      "step": 22600
    },
    {
      "epoch": 3.014666666666667,
      "grad_norm": 0.20074935257434845,
      "learning_rate": 9.497555555555556e-05,
      "loss": 0.0287,
      "step": 22610
    },
    {
      "epoch": 3.016,
      "grad_norm": 0.21442699432373047,
      "learning_rate": 9.497333333333333e-05,
      "loss": 0.0277,
      "step": 22620
    },
    {
      "epoch": 3.017333333333333,
      "grad_norm": 1.0716943740844727,
      "learning_rate": 9.497111111111111e-05,
      "loss": 0.0315,
      "step": 22630
    },
    {
      "epoch": 3.018666666666667,
      "grad_norm": 0.4337051212787628,
      "learning_rate": 9.49688888888889e-05,
      "loss": 0.0253,
      "step": 22640
    },
    {
      "epoch": 3.02,
      "grad_norm": 0.5118994116783142,
      "learning_rate": 9.496666666666667e-05,
      "loss": 0.0251,
      "step": 22650
    },
    {
      "epoch": 3.021333333333333,
      "grad_norm": 1.3781002759933472,
      "learning_rate": 9.496444444444444e-05,
      "loss": 0.0312,
      "step": 22660
    },
    {
      "epoch": 3.022666666666667,
      "grad_norm": 0.7802347540855408,
      "learning_rate": 9.496222222222223e-05,
      "loss": 0.0257,
      "step": 22670
    },
    {
      "epoch": 3.024,
      "grad_norm": 0.31376564502716064,
      "learning_rate": 9.496e-05,
      "loss": 0.0256,
      "step": 22680
    },
    {
      "epoch": 3.025333333333333,
      "grad_norm": 0.5323730707168579,
      "learning_rate": 9.495777777777778e-05,
      "loss": 0.0284,
      "step": 22690
    },
    {
      "epoch": 3.026666666666667,
      "grad_norm": 0.40165969729423523,
      "learning_rate": 9.495555555555557e-05,
      "loss": 0.0207,
      "step": 22700
    },
    {
      "epoch": 3.028,
      "grad_norm": 0.450876921415329,
      "learning_rate": 9.495333333333334e-05,
      "loss": 0.0267,
      "step": 22710
    },
    {
      "epoch": 3.029333333333333,
      "grad_norm": 0.25756028294563293,
      "learning_rate": 9.495111111111111e-05,
      "loss": 0.0376,
      "step": 22720
    },
    {
      "epoch": 3.030666666666667,
      "grad_norm": 0.9239904284477234,
      "learning_rate": 9.49488888888889e-05,
      "loss": 0.0368,
      "step": 22730
    },
    {
      "epoch": 3.032,
      "grad_norm": 0.18503481149673462,
      "learning_rate": 9.494666666666668e-05,
      "loss": 0.0237,
      "step": 22740
    },
    {
      "epoch": 3.033333333333333,
      "grad_norm": 0.5225067734718323,
      "learning_rate": 9.494444444444444e-05,
      "loss": 0.0293,
      "step": 22750
    },
    {
      "epoch": 3.034666666666667,
      "grad_norm": 0.5575760006904602,
      "learning_rate": 9.494222222222222e-05,
      "loss": 0.0387,
      "step": 22760
    },
    {
      "epoch": 3.036,
      "grad_norm": 1.7630327939987183,
      "learning_rate": 9.494000000000001e-05,
      "loss": 0.0342,
      "step": 22770
    },
    {
      "epoch": 3.037333333333333,
      "grad_norm": 0.1421104073524475,
      "learning_rate": 9.493777777777779e-05,
      "loss": 0.0241,
      "step": 22780
    },
    {
      "epoch": 3.038666666666667,
      "grad_norm": 0.47620663046836853,
      "learning_rate": 9.493555555555555e-05,
      "loss": 0.0247,
      "step": 22790
    },
    {
      "epoch": 3.04,
      "grad_norm": 0.4699302315711975,
      "learning_rate": 9.493333333333334e-05,
      "loss": 0.0219,
      "step": 22800
    },
    {
      "epoch": 3.041333333333333,
      "grad_norm": 0.9843353629112244,
      "learning_rate": 9.493111111111112e-05,
      "loss": 0.0293,
      "step": 22810
    },
    {
      "epoch": 3.042666666666667,
      "grad_norm": 0.3359408974647522,
      "learning_rate": 9.492888888888888e-05,
      "loss": 0.0284,
      "step": 22820
    },
    {
      "epoch": 3.044,
      "grad_norm": 0.549389123916626,
      "learning_rate": 9.492666666666667e-05,
      "loss": 0.0275,
      "step": 22830
    },
    {
      "epoch": 3.0453333333333332,
      "grad_norm": 0.5060495138168335,
      "learning_rate": 9.492444444444445e-05,
      "loss": 0.0316,
      "step": 22840
    },
    {
      "epoch": 3.046666666666667,
      "grad_norm": 0.3621394634246826,
      "learning_rate": 9.492222222222223e-05,
      "loss": 0.0324,
      "step": 22850
    },
    {
      "epoch": 3.048,
      "grad_norm": 0.8643296360969543,
      "learning_rate": 9.492e-05,
      "loss": 0.0297,
      "step": 22860
    },
    {
      "epoch": 3.0493333333333332,
      "grad_norm": 0.566659688949585,
      "learning_rate": 9.491777777777778e-05,
      "loss": 0.027,
      "step": 22870
    },
    {
      "epoch": 3.050666666666667,
      "grad_norm": 1.0217077732086182,
      "learning_rate": 9.491555555555556e-05,
      "loss": 0.0334,
      "step": 22880
    },
    {
      "epoch": 3.052,
      "grad_norm": 1.11752188205719,
      "learning_rate": 9.491333333333334e-05,
      "loss": 0.0265,
      "step": 22890
    },
    {
      "epoch": 3.0533333333333332,
      "grad_norm": 0.6939092874526978,
      "learning_rate": 9.491111111111112e-05,
      "loss": 0.0384,
      "step": 22900
    },
    {
      "epoch": 3.054666666666667,
      "grad_norm": 1.9188371896743774,
      "learning_rate": 9.490888888888889e-05,
      "loss": 0.0315,
      "step": 22910
    },
    {
      "epoch": 3.056,
      "grad_norm": 0.2935425639152527,
      "learning_rate": 9.490666666666667e-05,
      "loss": 0.028,
      "step": 22920
    },
    {
      "epoch": 3.0573333333333332,
      "grad_norm": 0.6274077296257019,
      "learning_rate": 9.490444444444445e-05,
      "loss": 0.0418,
      "step": 22930
    },
    {
      "epoch": 3.058666666666667,
      "grad_norm": 0.5592819452285767,
      "learning_rate": 9.490222222222223e-05,
      "loss": 0.0194,
      "step": 22940
    },
    {
      "epoch": 3.06,
      "grad_norm": 0.9363384246826172,
      "learning_rate": 9.49e-05,
      "loss": 0.0282,
      "step": 22950
    },
    {
      "epoch": 3.0613333333333332,
      "grad_norm": 0.6134663224220276,
      "learning_rate": 9.489777777777778e-05,
      "loss": 0.0334,
      "step": 22960
    },
    {
      "epoch": 3.062666666666667,
      "grad_norm": 0.2982045114040375,
      "learning_rate": 9.489555555555556e-05,
      "loss": 0.0241,
      "step": 22970
    },
    {
      "epoch": 3.064,
      "grad_norm": 1.0492347478866577,
      "learning_rate": 9.489333333333334e-05,
      "loss": 0.0334,
      "step": 22980
    },
    {
      "epoch": 3.0653333333333332,
      "grad_norm": 0.45833516120910645,
      "learning_rate": 9.489111111111113e-05,
      "loss": 0.03,
      "step": 22990
    },
    {
      "epoch": 3.066666666666667,
      "grad_norm": 0.2667372226715088,
      "learning_rate": 9.488888888888889e-05,
      "loss": 0.0269,
      "step": 23000
    },
    {
      "epoch": 3.068,
      "grad_norm": 0.5272933840751648,
      "learning_rate": 9.488666666666667e-05,
      "loss": 0.0267,
      "step": 23010
    },
    {
      "epoch": 3.0693333333333332,
      "grad_norm": 0.3959818482398987,
      "learning_rate": 9.488444444444446e-05,
      "loss": 0.0349,
      "step": 23020
    },
    {
      "epoch": 3.070666666666667,
      "grad_norm": 4.056170463562012,
      "learning_rate": 9.488222222222222e-05,
      "loss": 0.02,
      "step": 23030
    },
    {
      "epoch": 3.072,
      "grad_norm": 0.24681508541107178,
      "learning_rate": 9.488e-05,
      "loss": 0.023,
      "step": 23040
    },
    {
      "epoch": 3.0733333333333333,
      "grad_norm": 0.6029731631278992,
      "learning_rate": 9.487777777777779e-05,
      "loss": 0.0246,
      "step": 23050
    },
    {
      "epoch": 3.074666666666667,
      "grad_norm": 0.664804995059967,
      "learning_rate": 9.487555555555557e-05,
      "loss": 0.0282,
      "step": 23060
    },
    {
      "epoch": 3.076,
      "grad_norm": 0.09762292355298996,
      "learning_rate": 9.487333333333333e-05,
      "loss": 0.0166,
      "step": 23070
    },
    {
      "epoch": 3.0773333333333333,
      "grad_norm": 0.18536484241485596,
      "learning_rate": 9.487111111111111e-05,
      "loss": 0.0352,
      "step": 23080
    },
    {
      "epoch": 3.078666666666667,
      "grad_norm": 0.6588460206985474,
      "learning_rate": 9.48688888888889e-05,
      "loss": 0.0302,
      "step": 23090
    },
    {
      "epoch": 3.08,
      "grad_norm": 0.7353718280792236,
      "learning_rate": 9.486666666666666e-05,
      "loss": 0.0175,
      "step": 23100
    },
    {
      "epoch": 3.0813333333333333,
      "grad_norm": 0.4269452691078186,
      "learning_rate": 9.486444444444444e-05,
      "loss": 0.0331,
      "step": 23110
    },
    {
      "epoch": 3.0826666666666664,
      "grad_norm": 0.3411766588687897,
      "learning_rate": 9.486222222222223e-05,
      "loss": 0.0279,
      "step": 23120
    },
    {
      "epoch": 3.084,
      "grad_norm": 1.9802278280258179,
      "learning_rate": 9.486000000000001e-05,
      "loss": 0.0409,
      "step": 23130
    },
    {
      "epoch": 3.0853333333333333,
      "grad_norm": 0.29585179686546326,
      "learning_rate": 9.485777777777777e-05,
      "loss": 0.0216,
      "step": 23140
    },
    {
      "epoch": 3.086666666666667,
      "grad_norm": 1.022977352142334,
      "learning_rate": 9.485555555555556e-05,
      "loss": 0.0301,
      "step": 23150
    },
    {
      "epoch": 3.088,
      "grad_norm": 0.598878026008606,
      "learning_rate": 9.485333333333334e-05,
      "loss": 0.0269,
      "step": 23160
    },
    {
      "epoch": 3.0893333333333333,
      "grad_norm": 0.6933562159538269,
      "learning_rate": 9.48511111111111e-05,
      "loss": 0.0344,
      "step": 23170
    },
    {
      "epoch": 3.0906666666666665,
      "grad_norm": 0.35400301218032837,
      "learning_rate": 9.48488888888889e-05,
      "loss": 0.0258,
      "step": 23180
    },
    {
      "epoch": 3.092,
      "grad_norm": 0.8950262069702148,
      "learning_rate": 9.484666666666667e-05,
      "loss": 0.0401,
      "step": 23190
    },
    {
      "epoch": 3.0933333333333333,
      "grad_norm": 0.622204065322876,
      "learning_rate": 9.484444444444445e-05,
      "loss": 0.0309,
      "step": 23200
    },
    {
      "epoch": 3.0946666666666665,
      "grad_norm": 0.4758768677711487,
      "learning_rate": 9.484222222222223e-05,
      "loss": 0.034,
      "step": 23210
    },
    {
      "epoch": 3.096,
      "grad_norm": 0.5924124121665955,
      "learning_rate": 9.484e-05,
      "loss": 0.0261,
      "step": 23220
    },
    {
      "epoch": 3.0973333333333333,
      "grad_norm": 0.6738733053207397,
      "learning_rate": 9.483777777777778e-05,
      "loss": 0.0258,
      "step": 23230
    },
    {
      "epoch": 3.0986666666666665,
      "grad_norm": 0.27343645691871643,
      "learning_rate": 9.483555555555556e-05,
      "loss": 0.0222,
      "step": 23240
    },
    {
      "epoch": 3.1,
      "grad_norm": 0.46379852294921875,
      "learning_rate": 9.483333333333334e-05,
      "loss": 0.0295,
      "step": 23250
    },
    {
      "epoch": 3.1013333333333333,
      "grad_norm": 0.7965339422225952,
      "learning_rate": 9.483111111111112e-05,
      "loss": 0.0313,
      "step": 23260
    },
    {
      "epoch": 3.1026666666666665,
      "grad_norm": 0.30756133794784546,
      "learning_rate": 9.48288888888889e-05,
      "loss": 0.0257,
      "step": 23270
    },
    {
      "epoch": 3.104,
      "grad_norm": 0.2730490565299988,
      "learning_rate": 9.482666666666667e-05,
      "loss": 0.0237,
      "step": 23280
    },
    {
      "epoch": 3.1053333333333333,
      "grad_norm": 0.5975673794746399,
      "learning_rate": 9.482444444444445e-05,
      "loss": 0.0306,
      "step": 23290
    },
    {
      "epoch": 3.1066666666666665,
      "grad_norm": 0.43176501989364624,
      "learning_rate": 9.482222222222223e-05,
      "loss": 0.0202,
      "step": 23300
    },
    {
      "epoch": 3.108,
      "grad_norm": 0.3936680853366852,
      "learning_rate": 9.482e-05,
      "loss": 0.0212,
      "step": 23310
    },
    {
      "epoch": 3.1093333333333333,
      "grad_norm": 0.48080769181251526,
      "learning_rate": 9.481777777777778e-05,
      "loss": 0.0327,
      "step": 23320
    },
    {
      "epoch": 3.1106666666666665,
      "grad_norm": 0.22964343428611755,
      "learning_rate": 9.481555555555556e-05,
      "loss": 0.0254,
      "step": 23330
    },
    {
      "epoch": 3.112,
      "grad_norm": 1.50710129737854,
      "learning_rate": 9.481333333333335e-05,
      "loss": 0.0327,
      "step": 23340
    },
    {
      "epoch": 3.1133333333333333,
      "grad_norm": 0.8966188430786133,
      "learning_rate": 9.481111111111111e-05,
      "loss": 0.0275,
      "step": 23350
    },
    {
      "epoch": 3.1146666666666665,
      "grad_norm": 0.5867711305618286,
      "learning_rate": 9.480888888888889e-05,
      "loss": 0.0303,
      "step": 23360
    },
    {
      "epoch": 3.116,
      "grad_norm": 0.19334279000759125,
      "learning_rate": 9.480666666666667e-05,
      "loss": 0.0217,
      "step": 23370
    },
    {
      "epoch": 3.1173333333333333,
      "grad_norm": 1.0834451913833618,
      "learning_rate": 9.480444444444445e-05,
      "loss": 0.0276,
      "step": 23380
    },
    {
      "epoch": 3.1186666666666665,
      "grad_norm": 0.6250331997871399,
      "learning_rate": 9.480222222222222e-05,
      "loss": 0.0183,
      "step": 23390
    },
    {
      "epoch": 3.12,
      "grad_norm": 0.28597012162208557,
      "learning_rate": 9.48e-05,
      "loss": 0.0252,
      "step": 23400
    },
    {
      "epoch": 3.1213333333333333,
      "grad_norm": 0.4434754252433777,
      "learning_rate": 9.479777777777779e-05,
      "loss": 0.0189,
      "step": 23410
    },
    {
      "epoch": 3.1226666666666665,
      "grad_norm": 0.39656320214271545,
      "learning_rate": 9.479555555555556e-05,
      "loss": 0.0294,
      "step": 23420
    },
    {
      "epoch": 3.124,
      "grad_norm": 0.4140060245990753,
      "learning_rate": 9.479333333333333e-05,
      "loss": 0.0282,
      "step": 23430
    },
    {
      "epoch": 3.1253333333333333,
      "grad_norm": 0.33410558104515076,
      "learning_rate": 9.479111111111112e-05,
      "loss": 0.0212,
      "step": 23440
    },
    {
      "epoch": 3.1266666666666665,
      "grad_norm": 0.4909897446632385,
      "learning_rate": 9.478888888888889e-05,
      "loss": 0.0232,
      "step": 23450
    },
    {
      "epoch": 3.128,
      "grad_norm": 1.8980975151062012,
      "learning_rate": 9.478666666666666e-05,
      "loss": 0.0274,
      "step": 23460
    },
    {
      "epoch": 3.1293333333333333,
      "grad_norm": 1.0170683860778809,
      "learning_rate": 9.478444444444446e-05,
      "loss": 0.03,
      "step": 23470
    },
    {
      "epoch": 3.1306666666666665,
      "grad_norm": 0.34521472454071045,
      "learning_rate": 9.478222222222223e-05,
      "loss": 0.026,
      "step": 23480
    },
    {
      "epoch": 3.132,
      "grad_norm": 0.19358395040035248,
      "learning_rate": 9.478e-05,
      "loss": 0.0217,
      "step": 23490
    },
    {
      "epoch": 3.1333333333333333,
      "grad_norm": 0.29899486899375916,
      "learning_rate": 9.477777777777779e-05,
      "loss": 0.0256,
      "step": 23500
    },
    {
      "epoch": 3.1346666666666665,
      "grad_norm": 0.34842708706855774,
      "learning_rate": 9.477555555555557e-05,
      "loss": 0.0225,
      "step": 23510
    },
    {
      "epoch": 3.136,
      "grad_norm": 0.8728980422019958,
      "learning_rate": 9.477333333333333e-05,
      "loss": 0.0282,
      "step": 23520
    },
    {
      "epoch": 3.1373333333333333,
      "grad_norm": 0.17917706072330475,
      "learning_rate": 9.477111111111111e-05,
      "loss": 0.031,
      "step": 23530
    },
    {
      "epoch": 3.1386666666666665,
      "grad_norm": 0.561672568321228,
      "learning_rate": 9.47688888888889e-05,
      "loss": 0.0246,
      "step": 23540
    },
    {
      "epoch": 3.14,
      "grad_norm": 0.36406829953193665,
      "learning_rate": 9.476666666666668e-05,
      "loss": 0.024,
      "step": 23550
    },
    {
      "epoch": 3.1413333333333333,
      "grad_norm": 0.602349579334259,
      "learning_rate": 9.476444444444444e-05,
      "loss": 0.0224,
      "step": 23560
    },
    {
      "epoch": 3.1426666666666665,
      "grad_norm": 0.5187544822692871,
      "learning_rate": 9.476222222222223e-05,
      "loss": 0.0295,
      "step": 23570
    },
    {
      "epoch": 3.144,
      "grad_norm": 0.7127497792243958,
      "learning_rate": 9.476000000000001e-05,
      "loss": 0.0273,
      "step": 23580
    },
    {
      "epoch": 3.1453333333333333,
      "grad_norm": 0.5536178946495056,
      "learning_rate": 9.475777777777778e-05,
      "loss": 0.024,
      "step": 23590
    },
    {
      "epoch": 3.1466666666666665,
      "grad_norm": 0.2983841300010681,
      "learning_rate": 9.475555555555556e-05,
      "loss": 0.022,
      "step": 23600
    },
    {
      "epoch": 3.148,
      "grad_norm": 0.8174502849578857,
      "learning_rate": 9.475333333333334e-05,
      "loss": 0.0367,
      "step": 23610
    },
    {
      "epoch": 3.1493333333333333,
      "grad_norm": 0.19234761595726013,
      "learning_rate": 9.475111111111112e-05,
      "loss": 0.0308,
      "step": 23620
    },
    {
      "epoch": 3.1506666666666665,
      "grad_norm": 0.9412145018577576,
      "learning_rate": 9.47488888888889e-05,
      "loss": 0.0269,
      "step": 23630
    },
    {
      "epoch": 3.152,
      "grad_norm": 0.7204574346542358,
      "learning_rate": 9.474666666666667e-05,
      "loss": 0.0289,
      "step": 23640
    },
    {
      "epoch": 3.1533333333333333,
      "grad_norm": 0.5217218995094299,
      "learning_rate": 9.474444444444445e-05,
      "loss": 0.0276,
      "step": 23650
    },
    {
      "epoch": 3.1546666666666665,
      "grad_norm": 0.7696345448493958,
      "learning_rate": 9.474222222222223e-05,
      "loss": 0.029,
      "step": 23660
    },
    {
      "epoch": 3.156,
      "grad_norm": 0.4920489490032196,
      "learning_rate": 9.474e-05,
      "loss": 0.0244,
      "step": 23670
    },
    {
      "epoch": 3.1573333333333333,
      "grad_norm": 1.0077950954437256,
      "learning_rate": 9.473777777777778e-05,
      "loss": 0.021,
      "step": 23680
    },
    {
      "epoch": 3.1586666666666665,
      "grad_norm": 0.4451638460159302,
      "learning_rate": 9.473555555555556e-05,
      "loss": 0.0244,
      "step": 23690
    },
    {
      "epoch": 3.16,
      "grad_norm": 0.38733845949172974,
      "learning_rate": 9.473333333333334e-05,
      "loss": 0.0331,
      "step": 23700
    },
    {
      "epoch": 3.1613333333333333,
      "grad_norm": 0.37259748578071594,
      "learning_rate": 9.473111111111111e-05,
      "loss": 0.0281,
      "step": 23710
    },
    {
      "epoch": 3.1626666666666665,
      "grad_norm": 1.5646675825119019,
      "learning_rate": 9.472888888888889e-05,
      "loss": 0.0391,
      "step": 23720
    },
    {
      "epoch": 3.164,
      "grad_norm": 1.030831217765808,
      "learning_rate": 9.472666666666667e-05,
      "loss": 0.0393,
      "step": 23730
    },
    {
      "epoch": 3.1653333333333333,
      "grad_norm": 0.5796888470649719,
      "learning_rate": 9.472444444444445e-05,
      "loss": 0.0329,
      "step": 23740
    },
    {
      "epoch": 3.1666666666666665,
      "grad_norm": 0.30990666151046753,
      "learning_rate": 9.472222222222222e-05,
      "loss": 0.0262,
      "step": 23750
    },
    {
      "epoch": 3.168,
      "grad_norm": 0.7399160265922546,
      "learning_rate": 9.472000000000001e-05,
      "loss": 0.0265,
      "step": 23760
    },
    {
      "epoch": 3.1693333333333333,
      "grad_norm": 0.5888646841049194,
      "learning_rate": 9.471777777777778e-05,
      "loss": 0.02,
      "step": 23770
    },
    {
      "epoch": 3.1706666666666665,
      "grad_norm": 0.5564165711402893,
      "learning_rate": 9.471555555555556e-05,
      "loss": 0.0229,
      "step": 23780
    },
    {
      "epoch": 3.172,
      "grad_norm": 1.311620831489563,
      "learning_rate": 9.471333333333335e-05,
      "loss": 0.0332,
      "step": 23790
    },
    {
      "epoch": 3.1733333333333333,
      "grad_norm": 0.5117433071136475,
      "learning_rate": 9.471111111111111e-05,
      "loss": 0.0243,
      "step": 23800
    },
    {
      "epoch": 3.1746666666666665,
      "grad_norm": 0.4680291712284088,
      "learning_rate": 9.470888888888889e-05,
      "loss": 0.0297,
      "step": 23810
    },
    {
      "epoch": 3.176,
      "grad_norm": 0.8422614336013794,
      "learning_rate": 9.470666666666667e-05,
      "loss": 0.0374,
      "step": 23820
    },
    {
      "epoch": 3.1773333333333333,
      "grad_norm": 0.32067564129829407,
      "learning_rate": 9.470444444444446e-05,
      "loss": 0.0344,
      "step": 23830
    },
    {
      "epoch": 3.1786666666666665,
      "grad_norm": 0.5186392068862915,
      "learning_rate": 9.470222222222222e-05,
      "loss": 0.0265,
      "step": 23840
    },
    {
      "epoch": 3.18,
      "grad_norm": 0.6131637692451477,
      "learning_rate": 9.47e-05,
      "loss": 0.0341,
      "step": 23850
    },
    {
      "epoch": 3.1813333333333333,
      "grad_norm": 0.5268310308456421,
      "learning_rate": 9.469777777777779e-05,
      "loss": 0.0337,
      "step": 23860
    },
    {
      "epoch": 3.1826666666666665,
      "grad_norm": 0.39696213603019714,
      "learning_rate": 9.469555555555557e-05,
      "loss": 0.0178,
      "step": 23870
    },
    {
      "epoch": 3.184,
      "grad_norm": 1.6606123447418213,
      "learning_rate": 9.469333333333333e-05,
      "loss": 0.0317,
      "step": 23880
    },
    {
      "epoch": 3.1853333333333333,
      "grad_norm": 2.0354411602020264,
      "learning_rate": 9.469111111111112e-05,
      "loss": 0.0238,
      "step": 23890
    },
    {
      "epoch": 3.1866666666666665,
      "grad_norm": 0.864856481552124,
      "learning_rate": 9.46888888888889e-05,
      "loss": 0.0227,
      "step": 23900
    },
    {
      "epoch": 3.188,
      "grad_norm": 0.4788775146007538,
      "learning_rate": 9.468666666666666e-05,
      "loss": 0.0332,
      "step": 23910
    },
    {
      "epoch": 3.1893333333333334,
      "grad_norm": 0.9219260215759277,
      "learning_rate": 9.468444444444445e-05,
      "loss": 0.018,
      "step": 23920
    },
    {
      "epoch": 3.1906666666666665,
      "grad_norm": 0.3561514616012573,
      "learning_rate": 9.468222222222223e-05,
      "loss": 0.0196,
      "step": 23930
    },
    {
      "epoch": 3.192,
      "grad_norm": 0.11513742059469223,
      "learning_rate": 9.468000000000001e-05,
      "loss": 0.0257,
      "step": 23940
    },
    {
      "epoch": 3.1933333333333334,
      "grad_norm": 1.0089178085327148,
      "learning_rate": 9.467777777777779e-05,
      "loss": 0.0238,
      "step": 23950
    },
    {
      "epoch": 3.1946666666666665,
      "grad_norm": 0.4947991967201233,
      "learning_rate": 9.467555555555556e-05,
      "loss": 0.0325,
      "step": 23960
    },
    {
      "epoch": 3.196,
      "grad_norm": 0.818634033203125,
      "learning_rate": 9.467333333333334e-05,
      "loss": 0.0273,
      "step": 23970
    },
    {
      "epoch": 3.1973333333333334,
      "grad_norm": 0.3233115077018738,
      "learning_rate": 9.46711111111111e-05,
      "loss": 0.025,
      "step": 23980
    },
    {
      "epoch": 3.1986666666666665,
      "grad_norm": 0.41261085867881775,
      "learning_rate": 9.46688888888889e-05,
      "loss": 0.0261,
      "step": 23990
    },
    {
      "epoch": 3.2,
      "grad_norm": 0.9212905764579773,
      "learning_rate": 9.466666666666667e-05,
      "loss": 0.0245,
      "step": 24000
    },
    {
      "epoch": 3.2013333333333334,
      "grad_norm": 0.9430761337280273,
      "learning_rate": 9.466444444444445e-05,
      "loss": 0.0286,
      "step": 24010
    },
    {
      "epoch": 3.2026666666666666,
      "grad_norm": 0.9176952242851257,
      "learning_rate": 9.466222222222223e-05,
      "loss": 0.0274,
      "step": 24020
    },
    {
      "epoch": 3.204,
      "grad_norm": 0.9260227680206299,
      "learning_rate": 9.466e-05,
      "loss": 0.0245,
      "step": 24030
    },
    {
      "epoch": 3.2053333333333334,
      "grad_norm": 3.1199042797088623,
      "learning_rate": 9.465777777777778e-05,
      "loss": 0.0236,
      "step": 24040
    },
    {
      "epoch": 3.2066666666666666,
      "grad_norm": 0.4731380343437195,
      "learning_rate": 9.465555555555556e-05,
      "loss": 0.0322,
      "step": 24050
    },
    {
      "epoch": 3.208,
      "grad_norm": 0.5089032053947449,
      "learning_rate": 9.465333333333334e-05,
      "loss": 0.0192,
      "step": 24060
    },
    {
      "epoch": 3.2093333333333334,
      "grad_norm": 0.18263041973114014,
      "learning_rate": 9.465111111111111e-05,
      "loss": 0.0416,
      "step": 24070
    },
    {
      "epoch": 3.2106666666666666,
      "grad_norm": 1.1608785390853882,
      "learning_rate": 9.464888888888889e-05,
      "loss": 0.029,
      "step": 24080
    },
    {
      "epoch": 3.212,
      "grad_norm": 0.9843615293502808,
      "learning_rate": 9.464666666666667e-05,
      "loss": 0.0305,
      "step": 24090
    },
    {
      "epoch": 3.2133333333333334,
      "grad_norm": 0.7344539165496826,
      "learning_rate": 9.464444444444445e-05,
      "loss": 0.0301,
      "step": 24100
    },
    {
      "epoch": 3.2146666666666666,
      "grad_norm": 0.4244738817214966,
      "learning_rate": 9.464222222222224e-05,
      "loss": 0.0273,
      "step": 24110
    },
    {
      "epoch": 3.216,
      "grad_norm": 1.0185052156448364,
      "learning_rate": 9.464e-05,
      "loss": 0.0357,
      "step": 24120
    },
    {
      "epoch": 3.2173333333333334,
      "grad_norm": 0.6503801941871643,
      "learning_rate": 9.463777777777778e-05,
      "loss": 0.0347,
      "step": 24130
    },
    {
      "epoch": 3.2186666666666666,
      "grad_norm": 0.4225272536277771,
      "learning_rate": 9.463555555555556e-05,
      "loss": 0.029,
      "step": 24140
    },
    {
      "epoch": 3.22,
      "grad_norm": 0.5501906275749207,
      "learning_rate": 9.463333333333333e-05,
      "loss": 0.0266,
      "step": 24150
    },
    {
      "epoch": 3.2213333333333334,
      "grad_norm": 0.8275126218795776,
      "learning_rate": 9.463111111111111e-05,
      "loss": 0.0358,
      "step": 24160
    },
    {
      "epoch": 3.2226666666666666,
      "grad_norm": 1.3318206071853638,
      "learning_rate": 9.462888888888889e-05,
      "loss": 0.034,
      "step": 24170
    },
    {
      "epoch": 3.224,
      "grad_norm": 0.1696489304304123,
      "learning_rate": 9.462666666666668e-05,
      "loss": 0.0253,
      "step": 24180
    },
    {
      "epoch": 3.2253333333333334,
      "grad_norm": 0.756649374961853,
      "learning_rate": 9.462444444444444e-05,
      "loss": 0.037,
      "step": 24190
    },
    {
      "epoch": 3.2266666666666666,
      "grad_norm": 0.44165393710136414,
      "learning_rate": 9.462222222222222e-05,
      "loss": 0.0304,
      "step": 24200
    },
    {
      "epoch": 3.228,
      "grad_norm": 0.40675702691078186,
      "learning_rate": 9.462000000000001e-05,
      "loss": 0.0266,
      "step": 24210
    },
    {
      "epoch": 3.2293333333333334,
      "grad_norm": 0.3954916000366211,
      "learning_rate": 9.461777777777779e-05,
      "loss": 0.026,
      "step": 24220
    },
    {
      "epoch": 3.2306666666666666,
      "grad_norm": 0.6692295074462891,
      "learning_rate": 9.461555555555555e-05,
      "loss": 0.0394,
      "step": 24230
    },
    {
      "epoch": 3.232,
      "grad_norm": 0.3591015040874481,
      "learning_rate": 9.461333333333334e-05,
      "loss": 0.0221,
      "step": 24240
    },
    {
      "epoch": 3.2333333333333334,
      "grad_norm": 0.8995891809463501,
      "learning_rate": 9.461111111111112e-05,
      "loss": 0.0509,
      "step": 24250
    },
    {
      "epoch": 3.2346666666666666,
      "grad_norm": 0.600212574005127,
      "learning_rate": 9.460888888888889e-05,
      "loss": 0.0176,
      "step": 24260
    },
    {
      "epoch": 3.2359999999999998,
      "grad_norm": 0.6946428418159485,
      "learning_rate": 9.460666666666666e-05,
      "loss": 0.0252,
      "step": 24270
    },
    {
      "epoch": 3.2373333333333334,
      "grad_norm": 0.2416895627975464,
      "learning_rate": 9.460444444444445e-05,
      "loss": 0.0283,
      "step": 24280
    },
    {
      "epoch": 3.2386666666666666,
      "grad_norm": 0.5682058334350586,
      "learning_rate": 9.460222222222223e-05,
      "loss": 0.0335,
      "step": 24290
    },
    {
      "epoch": 3.24,
      "grad_norm": 0.660821795463562,
      "learning_rate": 9.46e-05,
      "loss": 0.0214,
      "step": 24300
    },
    {
      "epoch": 3.2413333333333334,
      "grad_norm": 0.6079508066177368,
      "learning_rate": 9.459777777777779e-05,
      "loss": 0.0301,
      "step": 24310
    },
    {
      "epoch": 3.2426666666666666,
      "grad_norm": 0.3918357789516449,
      "learning_rate": 9.459555555555556e-05,
      "loss": 0.0291,
      "step": 24320
    },
    {
      "epoch": 3.2439999999999998,
      "grad_norm": 0.6020476222038269,
      "learning_rate": 9.459333333333333e-05,
      "loss": 0.0274,
      "step": 24330
    },
    {
      "epoch": 3.2453333333333334,
      "grad_norm": 0.6386033892631531,
      "learning_rate": 9.459111111111112e-05,
      "loss": 0.0213,
      "step": 24340
    },
    {
      "epoch": 3.2466666666666666,
      "grad_norm": 0.42968302965164185,
      "learning_rate": 9.45888888888889e-05,
      "loss": 0.0361,
      "step": 24350
    },
    {
      "epoch": 3.248,
      "grad_norm": 0.5061087012290955,
      "learning_rate": 9.458666666666667e-05,
      "loss": 0.0268,
      "step": 24360
    },
    {
      "epoch": 3.2493333333333334,
      "grad_norm": 0.15400221943855286,
      "learning_rate": 9.458444444444445e-05,
      "loss": 0.0257,
      "step": 24370
    },
    {
      "epoch": 3.2506666666666666,
      "grad_norm": 0.5887588262557983,
      "learning_rate": 9.458222222222223e-05,
      "loss": 0.0205,
      "step": 24380
    },
    {
      "epoch": 3.252,
      "grad_norm": 0.3382470905780792,
      "learning_rate": 9.458e-05,
      "loss": 0.0189,
      "step": 24390
    },
    {
      "epoch": 3.2533333333333334,
      "grad_norm": 1.097896695137024,
      "learning_rate": 9.457777777777778e-05,
      "loss": 0.0266,
      "step": 24400
    },
    {
      "epoch": 3.2546666666666666,
      "grad_norm": 0.30330872535705566,
      "learning_rate": 9.457555555555556e-05,
      "loss": 0.0206,
      "step": 24410
    },
    {
      "epoch": 3.2560000000000002,
      "grad_norm": 0.48052218556404114,
      "learning_rate": 9.457333333333334e-05,
      "loss": 0.0324,
      "step": 24420
    },
    {
      "epoch": 3.2573333333333334,
      "grad_norm": 0.36223697662353516,
      "learning_rate": 9.457111111111112e-05,
      "loss": 0.0296,
      "step": 24430
    },
    {
      "epoch": 3.2586666666666666,
      "grad_norm": 0.7623797655105591,
      "learning_rate": 9.456888888888889e-05,
      "loss": 0.0345,
      "step": 24440
    },
    {
      "epoch": 3.26,
      "grad_norm": 0.4750838279724121,
      "learning_rate": 9.456666666666667e-05,
      "loss": 0.0304,
      "step": 24450
    },
    {
      "epoch": 3.2613333333333334,
      "grad_norm": 0.29432299733161926,
      "learning_rate": 9.456444444444445e-05,
      "loss": 0.026,
      "step": 24460
    },
    {
      "epoch": 3.2626666666666666,
      "grad_norm": 0.20461608469486237,
      "learning_rate": 9.456222222222223e-05,
      "loss": 0.0184,
      "step": 24470
    },
    {
      "epoch": 3.2640000000000002,
      "grad_norm": 0.33901911973953247,
      "learning_rate": 9.456e-05,
      "loss": 0.0306,
      "step": 24480
    },
    {
      "epoch": 3.2653333333333334,
      "grad_norm": 1.875912070274353,
      "learning_rate": 9.455777777777778e-05,
      "loss": 0.0238,
      "step": 24490
    },
    {
      "epoch": 3.2666666666666666,
      "grad_norm": 0.4038659334182739,
      "learning_rate": 9.455555555555556e-05,
      "loss": 0.0402,
      "step": 24500
    },
    {
      "epoch": 3.268,
      "grad_norm": 1.0197478532791138,
      "learning_rate": 9.455333333333333e-05,
      "loss": 0.0198,
      "step": 24510
    },
    {
      "epoch": 3.2693333333333334,
      "grad_norm": 0.6336306929588318,
      "learning_rate": 9.455111111111111e-05,
      "loss": 0.0371,
      "step": 24520
    },
    {
      "epoch": 3.2706666666666666,
      "grad_norm": 0.26425331830978394,
      "learning_rate": 9.45488888888889e-05,
      "loss": 0.0224,
      "step": 24530
    },
    {
      "epoch": 3.2720000000000002,
      "grad_norm": 0.18726401031017303,
      "learning_rate": 9.454666666666667e-05,
      "loss": 0.0376,
      "step": 24540
    },
    {
      "epoch": 3.2733333333333334,
      "grad_norm": 0.3311801850795746,
      "learning_rate": 9.454444444444444e-05,
      "loss": 0.029,
      "step": 24550
    },
    {
      "epoch": 3.2746666666666666,
      "grad_norm": 0.23674815893173218,
      "learning_rate": 9.454222222222224e-05,
      "loss": 0.0278,
      "step": 24560
    },
    {
      "epoch": 3.276,
      "grad_norm": 0.3493455946445465,
      "learning_rate": 9.454000000000001e-05,
      "loss": 0.0283,
      "step": 24570
    },
    {
      "epoch": 3.2773333333333334,
      "grad_norm": 0.4771648943424225,
      "learning_rate": 9.453777777777778e-05,
      "loss": 0.0195,
      "step": 24580
    },
    {
      "epoch": 3.2786666666666666,
      "grad_norm": 0.3563610911369324,
      "learning_rate": 9.453555555555555e-05,
      "loss": 0.0235,
      "step": 24590
    },
    {
      "epoch": 3.2800000000000002,
      "grad_norm": 1.871954083442688,
      "learning_rate": 9.453333333333335e-05,
      "loss": 0.0373,
      "step": 24600
    },
    {
      "epoch": 3.2813333333333334,
      "grad_norm": 0.24610655009746552,
      "learning_rate": 9.453111111111111e-05,
      "loss": 0.0294,
      "step": 24610
    },
    {
      "epoch": 3.2826666666666666,
      "grad_norm": 0.8592230677604675,
      "learning_rate": 9.452888888888889e-05,
      "loss": 0.0273,
      "step": 24620
    },
    {
      "epoch": 3.284,
      "grad_norm": 0.2657318115234375,
      "learning_rate": 9.452666666666668e-05,
      "loss": 0.0249,
      "step": 24630
    },
    {
      "epoch": 3.2853333333333334,
      "grad_norm": 0.49782001972198486,
      "learning_rate": 9.452444444444445e-05,
      "loss": 0.0338,
      "step": 24640
    },
    {
      "epoch": 3.2866666666666666,
      "grad_norm": 0.37423720955848694,
      "learning_rate": 9.452222222222222e-05,
      "loss": 0.034,
      "step": 24650
    },
    {
      "epoch": 3.288,
      "grad_norm": 0.40412554144859314,
      "learning_rate": 9.452000000000001e-05,
      "loss": 0.0183,
      "step": 24660
    },
    {
      "epoch": 3.2893333333333334,
      "grad_norm": 0.40780818462371826,
      "learning_rate": 9.451777777777779e-05,
      "loss": 0.0293,
      "step": 24670
    },
    {
      "epoch": 3.2906666666666666,
      "grad_norm": 0.20416045188903809,
      "learning_rate": 9.451555555555555e-05,
      "loss": 0.0165,
      "step": 24680
    },
    {
      "epoch": 3.292,
      "grad_norm": 0.04200959950685501,
      "learning_rate": 9.451333333333334e-05,
      "loss": 0.0214,
      "step": 24690
    },
    {
      "epoch": 3.2933333333333334,
      "grad_norm": 0.49021098017692566,
      "learning_rate": 9.451111111111112e-05,
      "loss": 0.0383,
      "step": 24700
    },
    {
      "epoch": 3.2946666666666666,
      "grad_norm": 0.3684752881526947,
      "learning_rate": 9.45088888888889e-05,
      "loss": 0.0257,
      "step": 24710
    },
    {
      "epoch": 3.296,
      "grad_norm": 0.1905031055212021,
      "learning_rate": 9.450666666666667e-05,
      "loss": 0.0218,
      "step": 24720
    },
    {
      "epoch": 3.2973333333333334,
      "grad_norm": 0.7100822329521179,
      "learning_rate": 9.450444444444445e-05,
      "loss": 0.0292,
      "step": 24730
    },
    {
      "epoch": 3.2986666666666666,
      "grad_norm": 0.5665894150733948,
      "learning_rate": 9.450222222222223e-05,
      "loss": 0.0308,
      "step": 24740
    },
    {
      "epoch": 3.3,
      "grad_norm": 0.18419083952903748,
      "learning_rate": 9.449999999999999e-05,
      "loss": 0.0234,
      "step": 24750
    },
    {
      "epoch": 3.3013333333333335,
      "grad_norm": 0.28026002645492554,
      "learning_rate": 9.449777777777778e-05,
      "loss": 0.0295,
      "step": 24760
    },
    {
      "epoch": 3.3026666666666666,
      "grad_norm": 0.4224267601966858,
      "learning_rate": 9.449555555555556e-05,
      "loss": 0.0312,
      "step": 24770
    },
    {
      "epoch": 3.304,
      "grad_norm": 0.23662765324115753,
      "learning_rate": 9.449333333333334e-05,
      "loss": 0.0195,
      "step": 24780
    },
    {
      "epoch": 3.3053333333333335,
      "grad_norm": 0.2910003960132599,
      "learning_rate": 9.449111111111112e-05,
      "loss": 0.0242,
      "step": 24790
    },
    {
      "epoch": 3.3066666666666666,
      "grad_norm": 0.33733636140823364,
      "learning_rate": 9.44888888888889e-05,
      "loss": 0.0255,
      "step": 24800
    },
    {
      "epoch": 3.308,
      "grad_norm": 0.9053089022636414,
      "learning_rate": 9.448666666666667e-05,
      "loss": 0.0418,
      "step": 24810
    },
    {
      "epoch": 3.3093333333333335,
      "grad_norm": 0.6538897752761841,
      "learning_rate": 9.448444444444445e-05,
      "loss": 0.0338,
      "step": 24820
    },
    {
      "epoch": 3.3106666666666666,
      "grad_norm": 0.7564350366592407,
      "learning_rate": 9.448222222222223e-05,
      "loss": 0.0374,
      "step": 24830
    },
    {
      "epoch": 3.312,
      "grad_norm": 0.3770138621330261,
      "learning_rate": 9.448e-05,
      "loss": 0.0318,
      "step": 24840
    },
    {
      "epoch": 3.3133333333333335,
      "grad_norm": 0.2939111292362213,
      "learning_rate": 9.447777777777778e-05,
      "loss": 0.0293,
      "step": 24850
    },
    {
      "epoch": 3.3146666666666667,
      "grad_norm": 0.2837173640727997,
      "learning_rate": 9.447555555555556e-05,
      "loss": 0.022,
      "step": 24860
    },
    {
      "epoch": 3.316,
      "grad_norm": 0.3858645558357239,
      "learning_rate": 9.447333333333334e-05,
      "loss": 0.0206,
      "step": 24870
    },
    {
      "epoch": 3.3173333333333335,
      "grad_norm": 0.6721527576446533,
      "learning_rate": 9.447111111111111e-05,
      "loss": 0.0318,
      "step": 24880
    },
    {
      "epoch": 3.3186666666666667,
      "grad_norm": 0.3738672435283661,
      "learning_rate": 9.446888888888889e-05,
      "loss": 0.0341,
      "step": 24890
    },
    {
      "epoch": 3.32,
      "grad_norm": 0.5723690390586853,
      "learning_rate": 9.446666666666667e-05,
      "loss": 0.0231,
      "step": 24900
    },
    {
      "epoch": 3.3213333333333335,
      "grad_norm": 0.6525343060493469,
      "learning_rate": 9.446444444444445e-05,
      "loss": 0.0284,
      "step": 24910
    },
    {
      "epoch": 3.3226666666666667,
      "grad_norm": 0.8747860193252563,
      "learning_rate": 9.446222222222224e-05,
      "loss": 0.023,
      "step": 24920
    },
    {
      "epoch": 3.324,
      "grad_norm": 0.6692826151847839,
      "learning_rate": 9.446e-05,
      "loss": 0.0314,
      "step": 24930
    },
    {
      "epoch": 3.3253333333333335,
      "grad_norm": 0.2671690285205841,
      "learning_rate": 9.445777777777778e-05,
      "loss": 0.0211,
      "step": 24940
    },
    {
      "epoch": 3.3266666666666667,
      "grad_norm": 0.7016699910163879,
      "learning_rate": 9.445555555555557e-05,
      "loss": 0.0287,
      "step": 24950
    },
    {
      "epoch": 3.328,
      "grad_norm": 0.5022969841957092,
      "learning_rate": 9.445333333333333e-05,
      "loss": 0.0426,
      "step": 24960
    },
    {
      "epoch": 3.3293333333333335,
      "grad_norm": 0.3216754198074341,
      "learning_rate": 9.445111111111111e-05,
      "loss": 0.02,
      "step": 24970
    },
    {
      "epoch": 3.3306666666666667,
      "grad_norm": 0.6634972095489502,
      "learning_rate": 9.44488888888889e-05,
      "loss": 0.0236,
      "step": 24980
    },
    {
      "epoch": 3.332,
      "grad_norm": 0.743378758430481,
      "learning_rate": 9.444666666666668e-05,
      "loss": 0.0225,
      "step": 24990
    },
    {
      "epoch": 3.3333333333333335,
      "grad_norm": 0.7154809236526489,
      "learning_rate": 9.444444444444444e-05,
      "loss": 0.0346,
      "step": 25000
    },
    {
      "epoch": 3.3346666666666667,
      "grad_norm": 0.6871220469474792,
      "learning_rate": 9.444222222222223e-05,
      "loss": 0.0398,
      "step": 25010
    },
    {
      "epoch": 3.336,
      "grad_norm": 0.5603730082511902,
      "learning_rate": 9.444000000000001e-05,
      "loss": 0.0326,
      "step": 25020
    },
    {
      "epoch": 3.3373333333333335,
      "grad_norm": 0.06018233299255371,
      "learning_rate": 9.443777777777777e-05,
      "loss": 0.0247,
      "step": 25030
    },
    {
      "epoch": 3.3386666666666667,
      "grad_norm": 1.811875343322754,
      "learning_rate": 9.443555555555555e-05,
      "loss": 0.0389,
      "step": 25040
    },
    {
      "epoch": 3.34,
      "grad_norm": 0.6767668128013611,
      "learning_rate": 9.443333333333334e-05,
      "loss": 0.0277,
      "step": 25050
    },
    {
      "epoch": 3.3413333333333335,
      "grad_norm": 1.1682134866714478,
      "learning_rate": 9.443111111111112e-05,
      "loss": 0.0295,
      "step": 25060
    },
    {
      "epoch": 3.3426666666666667,
      "grad_norm": 1.7149022817611694,
      "learning_rate": 9.442888888888888e-05,
      "loss": 0.0258,
      "step": 25070
    },
    {
      "epoch": 3.344,
      "grad_norm": 0.8132829070091248,
      "learning_rate": 9.442666666666668e-05,
      "loss": 0.0319,
      "step": 25080
    },
    {
      "epoch": 3.3453333333333335,
      "grad_norm": 0.34296461939811707,
      "learning_rate": 9.442444444444445e-05,
      "loss": 0.0302,
      "step": 25090
    },
    {
      "epoch": 3.3466666666666667,
      "grad_norm": 0.5524616241455078,
      "learning_rate": 9.442222222222222e-05,
      "loss": 0.0304,
      "step": 25100
    },
    {
      "epoch": 3.348,
      "grad_norm": 0.7048383951187134,
      "learning_rate": 9.442000000000001e-05,
      "loss": 0.0381,
      "step": 25110
    },
    {
      "epoch": 3.3493333333333335,
      "grad_norm": 0.5909417271614075,
      "learning_rate": 9.441777777777778e-05,
      "loss": 0.0193,
      "step": 25120
    },
    {
      "epoch": 3.3506666666666667,
      "grad_norm": 0.6308090686798096,
      "learning_rate": 9.441555555555556e-05,
      "loss": 0.0295,
      "step": 25130
    },
    {
      "epoch": 3.352,
      "grad_norm": 0.3139093816280365,
      "learning_rate": 9.441333333333334e-05,
      "loss": 0.0322,
      "step": 25140
    },
    {
      "epoch": 3.3533333333333335,
      "grad_norm": 0.6498149037361145,
      "learning_rate": 9.441111111111112e-05,
      "loss": 0.0368,
      "step": 25150
    },
    {
      "epoch": 3.3546666666666667,
      "grad_norm": 0.5951288342475891,
      "learning_rate": 9.44088888888889e-05,
      "loss": 0.041,
      "step": 25160
    },
    {
      "epoch": 3.356,
      "grad_norm": 0.45737186074256897,
      "learning_rate": 9.440666666666667e-05,
      "loss": 0.0257,
      "step": 25170
    },
    {
      "epoch": 3.3573333333333335,
      "grad_norm": 0.3581981360912323,
      "learning_rate": 9.440444444444445e-05,
      "loss": 0.0338,
      "step": 25180
    },
    {
      "epoch": 3.3586666666666667,
      "grad_norm": 1.2018446922302246,
      "learning_rate": 9.440222222222223e-05,
      "loss": 0.0258,
      "step": 25190
    },
    {
      "epoch": 3.36,
      "grad_norm": 0.18497121334075928,
      "learning_rate": 9.44e-05,
      "loss": 0.0154,
      "step": 25200
    },
    {
      "epoch": 3.3613333333333335,
      "grad_norm": 0.1813938319683075,
      "learning_rate": 9.439777777777778e-05,
      "loss": 0.029,
      "step": 25210
    },
    {
      "epoch": 3.3626666666666667,
      "grad_norm": 0.2481955885887146,
      "learning_rate": 9.439555555555556e-05,
      "loss": 0.0265,
      "step": 25220
    },
    {
      "epoch": 3.364,
      "grad_norm": 0.7112117409706116,
      "learning_rate": 9.439333333333334e-05,
      "loss": 0.0352,
      "step": 25230
    },
    {
      "epoch": 3.3653333333333335,
      "grad_norm": 0.7033568024635315,
      "learning_rate": 9.439111111111111e-05,
      "loss": 0.0363,
      "step": 25240
    },
    {
      "epoch": 3.3666666666666667,
      "grad_norm": 0.2907232344150543,
      "learning_rate": 9.438888888888889e-05,
      "loss": 0.0208,
      "step": 25250
    },
    {
      "epoch": 3.368,
      "grad_norm": 0.8843970894813538,
      "learning_rate": 9.438666666666667e-05,
      "loss": 0.0253,
      "step": 25260
    },
    {
      "epoch": 3.3693333333333335,
      "grad_norm": 0.5594443678855896,
      "learning_rate": 9.438444444444446e-05,
      "loss": 0.0189,
      "step": 25270
    },
    {
      "epoch": 3.3706666666666667,
      "grad_norm": 0.22042128443717957,
      "learning_rate": 9.438222222222222e-05,
      "loss": 0.0352,
      "step": 25280
    },
    {
      "epoch": 3.372,
      "grad_norm": 1.497078537940979,
      "learning_rate": 9.438e-05,
      "loss": 0.0341,
      "step": 25290
    },
    {
      "epoch": 3.3733333333333335,
      "grad_norm": 0.30400410294532776,
      "learning_rate": 9.437777777777779e-05,
      "loss": 0.0317,
      "step": 25300
    },
    {
      "epoch": 3.3746666666666667,
      "grad_norm": 0.3888482451438904,
      "learning_rate": 9.437555555555556e-05,
      "loss": 0.0268,
      "step": 25310
    },
    {
      "epoch": 3.376,
      "grad_norm": 0.661078155040741,
      "learning_rate": 9.437333333333333e-05,
      "loss": 0.0248,
      "step": 25320
    },
    {
      "epoch": 3.3773333333333335,
      "grad_norm": 0.9503363370895386,
      "learning_rate": 9.437111111111111e-05,
      "loss": 0.0393,
      "step": 25330
    },
    {
      "epoch": 3.3786666666666667,
      "grad_norm": 0.5476573705673218,
      "learning_rate": 9.43688888888889e-05,
      "loss": 0.0309,
      "step": 25340
    },
    {
      "epoch": 3.38,
      "grad_norm": 0.2726328372955322,
      "learning_rate": 9.436666666666667e-05,
      "loss": 0.0296,
      "step": 25350
    },
    {
      "epoch": 3.3813333333333335,
      "grad_norm": 0.6086564660072327,
      "learning_rate": 9.436444444444444e-05,
      "loss": 0.0337,
      "step": 25360
    },
    {
      "epoch": 3.3826666666666667,
      "grad_norm": 0.32977092266082764,
      "learning_rate": 9.436222222222223e-05,
      "loss": 0.027,
      "step": 25370
    },
    {
      "epoch": 3.384,
      "grad_norm": 0.2559990882873535,
      "learning_rate": 9.436e-05,
      "loss": 0.0224,
      "step": 25380
    },
    {
      "epoch": 3.3853333333333335,
      "grad_norm": 0.45533624291419983,
      "learning_rate": 9.435777777777778e-05,
      "loss": 0.0258,
      "step": 25390
    },
    {
      "epoch": 3.3866666666666667,
      "grad_norm": 0.7697494626045227,
      "learning_rate": 9.435555555555557e-05,
      "loss": 0.0211,
      "step": 25400
    },
    {
      "epoch": 3.388,
      "grad_norm": 0.22194421291351318,
      "learning_rate": 9.435333333333334e-05,
      "loss": 0.0161,
      "step": 25410
    },
    {
      "epoch": 3.389333333333333,
      "grad_norm": 0.41182562708854675,
      "learning_rate": 9.435111111111111e-05,
      "loss": 0.0319,
      "step": 25420
    },
    {
      "epoch": 3.3906666666666667,
      "grad_norm": 0.4590153694152832,
      "learning_rate": 9.43488888888889e-05,
      "loss": 0.0294,
      "step": 25430
    },
    {
      "epoch": 3.392,
      "grad_norm": 1.0164194107055664,
      "learning_rate": 9.434666666666668e-05,
      "loss": 0.0362,
      "step": 25440
    },
    {
      "epoch": 3.3933333333333335,
      "grad_norm": 1.6334227323532104,
      "learning_rate": 9.434444444444444e-05,
      "loss": 0.0303,
      "step": 25450
    },
    {
      "epoch": 3.3946666666666667,
      "grad_norm": 0.440978467464447,
      "learning_rate": 9.434222222222223e-05,
      "loss": 0.0228,
      "step": 25460
    },
    {
      "epoch": 3.396,
      "grad_norm": 0.18632067739963531,
      "learning_rate": 9.434000000000001e-05,
      "loss": 0.0244,
      "step": 25470
    },
    {
      "epoch": 3.397333333333333,
      "grad_norm": 0.26371654868125916,
      "learning_rate": 9.433777777777779e-05,
      "loss": 0.0222,
      "step": 25480
    },
    {
      "epoch": 3.3986666666666667,
      "grad_norm": 0.4379192590713501,
      "learning_rate": 9.433555555555555e-05,
      "loss": 0.0323,
      "step": 25490
    },
    {
      "epoch": 3.4,
      "grad_norm": 0.5123776197433472,
      "learning_rate": 9.433333333333334e-05,
      "loss": 0.0271,
      "step": 25500
    },
    {
      "epoch": 3.4013333333333335,
      "grad_norm": 1.228623628616333,
      "learning_rate": 9.433111111111112e-05,
      "loss": 0.024,
      "step": 25510
    },
    {
      "epoch": 3.4026666666666667,
      "grad_norm": 0.8808583617210388,
      "learning_rate": 9.43288888888889e-05,
      "loss": 0.0283,
      "step": 25520
    },
    {
      "epoch": 3.404,
      "grad_norm": 0.2177472710609436,
      "learning_rate": 9.432666666666667e-05,
      "loss": 0.0228,
      "step": 25530
    },
    {
      "epoch": 3.405333333333333,
      "grad_norm": 0.16160807013511658,
      "learning_rate": 9.432444444444445e-05,
      "loss": 0.0232,
      "step": 25540
    },
    {
      "epoch": 3.4066666666666667,
      "grad_norm": 1.046447992324829,
      "learning_rate": 9.432222222222223e-05,
      "loss": 0.0321,
      "step": 25550
    },
    {
      "epoch": 3.408,
      "grad_norm": 0.6379709839820862,
      "learning_rate": 9.432e-05,
      "loss": 0.018,
      "step": 25560
    },
    {
      "epoch": 3.4093333333333335,
      "grad_norm": 0.770254373550415,
      "learning_rate": 9.431777777777778e-05,
      "loss": 0.0243,
      "step": 25570
    },
    {
      "epoch": 3.4106666666666667,
      "grad_norm": 0.32815372943878174,
      "learning_rate": 9.431555555555556e-05,
      "loss": 0.0251,
      "step": 25580
    },
    {
      "epoch": 3.412,
      "grad_norm": 1.0483219623565674,
      "learning_rate": 9.431333333333334e-05,
      "loss": 0.0301,
      "step": 25590
    },
    {
      "epoch": 3.413333333333333,
      "grad_norm": 0.2242843359708786,
      "learning_rate": 9.431111111111111e-05,
      "loss": 0.0301,
      "step": 25600
    },
    {
      "epoch": 3.4146666666666667,
      "grad_norm": 0.1613616943359375,
      "learning_rate": 9.430888888888889e-05,
      "loss": 0.0225,
      "step": 25610
    },
    {
      "epoch": 3.416,
      "grad_norm": 0.3845289647579193,
      "learning_rate": 9.430666666666668e-05,
      "loss": 0.0265,
      "step": 25620
    },
    {
      "epoch": 3.4173333333333336,
      "grad_norm": 0.5892455577850342,
      "learning_rate": 9.430444444444445e-05,
      "loss": 0.0284,
      "step": 25630
    },
    {
      "epoch": 3.4186666666666667,
      "grad_norm": 0.7003692984580994,
      "learning_rate": 9.430222222222222e-05,
      "loss": 0.0304,
      "step": 25640
    },
    {
      "epoch": 3.42,
      "grad_norm": 0.8315842747688293,
      "learning_rate": 9.43e-05,
      "loss": 0.0329,
      "step": 25650
    },
    {
      "epoch": 3.421333333333333,
      "grad_norm": 0.9061678647994995,
      "learning_rate": 9.429777777777778e-05,
      "loss": 0.0567,
      "step": 25660
    },
    {
      "epoch": 3.4226666666666667,
      "grad_norm": 1.0081405639648438,
      "learning_rate": 9.429555555555556e-05,
      "loss": 0.0266,
      "step": 25670
    },
    {
      "epoch": 3.424,
      "grad_norm": 0.9767163395881653,
      "learning_rate": 9.429333333333333e-05,
      "loss": 0.0276,
      "step": 25680
    },
    {
      "epoch": 3.4253333333333336,
      "grad_norm": 0.5580597519874573,
      "learning_rate": 9.429111111111113e-05,
      "loss": 0.0278,
      "step": 25690
    },
    {
      "epoch": 3.4266666666666667,
      "grad_norm": 1.1619259119033813,
      "learning_rate": 9.428888888888889e-05,
      "loss": 0.0332,
      "step": 25700
    },
    {
      "epoch": 3.428,
      "grad_norm": 0.24116750061511993,
      "learning_rate": 9.428666666666667e-05,
      "loss": 0.0228,
      "step": 25710
    },
    {
      "epoch": 3.429333333333333,
      "grad_norm": 0.8821757435798645,
      "learning_rate": 9.428444444444446e-05,
      "loss": 0.0337,
      "step": 25720
    },
    {
      "epoch": 3.4306666666666668,
      "grad_norm": 0.6121224761009216,
      "learning_rate": 9.428222222222222e-05,
      "loss": 0.0241,
      "step": 25730
    },
    {
      "epoch": 3.432,
      "grad_norm": 1.5607868432998657,
      "learning_rate": 9.428e-05,
      "loss": 0.0326,
      "step": 25740
    },
    {
      "epoch": 3.4333333333333336,
      "grad_norm": 0.23545227944850922,
      "learning_rate": 9.427777777777779e-05,
      "loss": 0.0232,
      "step": 25750
    },
    {
      "epoch": 3.4346666666666668,
      "grad_norm": 0.22545135021209717,
      "learning_rate": 9.427555555555557e-05,
      "loss": 0.024,
      "step": 25760
    },
    {
      "epoch": 3.436,
      "grad_norm": 0.7052139639854431,
      "learning_rate": 9.427333333333333e-05,
      "loss": 0.024,
      "step": 25770
    },
    {
      "epoch": 3.437333333333333,
      "grad_norm": 0.33149388432502747,
      "learning_rate": 9.427111111111112e-05,
      "loss": 0.026,
      "step": 25780
    },
    {
      "epoch": 3.4386666666666668,
      "grad_norm": 0.3431616723537445,
      "learning_rate": 9.42688888888889e-05,
      "loss": 0.0244,
      "step": 25790
    },
    {
      "epoch": 3.44,
      "grad_norm": 0.8129814267158508,
      "learning_rate": 9.426666666666666e-05,
      "loss": 0.0295,
      "step": 25800
    },
    {
      "epoch": 3.4413333333333336,
      "grad_norm": 0.4370427131652832,
      "learning_rate": 9.426444444444444e-05,
      "loss": 0.0342,
      "step": 25810
    },
    {
      "epoch": 3.4426666666666668,
      "grad_norm": 0.4437004625797272,
      "learning_rate": 9.426222222222223e-05,
      "loss": 0.0207,
      "step": 25820
    },
    {
      "epoch": 3.444,
      "grad_norm": 0.916084885597229,
      "learning_rate": 9.426000000000001e-05,
      "loss": 0.0286,
      "step": 25830
    },
    {
      "epoch": 3.445333333333333,
      "grad_norm": 0.35886991024017334,
      "learning_rate": 9.425777777777777e-05,
      "loss": 0.0225,
      "step": 25840
    },
    {
      "epoch": 3.4466666666666668,
      "grad_norm": 0.6723425984382629,
      "learning_rate": 9.425555555555556e-05,
      "loss": 0.0306,
      "step": 25850
    },
    {
      "epoch": 3.448,
      "grad_norm": 0.6202813386917114,
      "learning_rate": 9.425333333333334e-05,
      "loss": 0.0322,
      "step": 25860
    },
    {
      "epoch": 3.449333333333333,
      "grad_norm": 0.5824846625328064,
      "learning_rate": 9.425111111111112e-05,
      "loss": 0.0382,
      "step": 25870
    },
    {
      "epoch": 3.4506666666666668,
      "grad_norm": 0.2540702819824219,
      "learning_rate": 9.42488888888889e-05,
      "loss": 0.0366,
      "step": 25880
    },
    {
      "epoch": 3.452,
      "grad_norm": 0.5854280591011047,
      "learning_rate": 9.424666666666667e-05,
      "loss": 0.0371,
      "step": 25890
    },
    {
      "epoch": 3.453333333333333,
      "grad_norm": 0.1137404516339302,
      "learning_rate": 9.424444444444445e-05,
      "loss": 0.0282,
      "step": 25900
    },
    {
      "epoch": 3.4546666666666668,
      "grad_norm": 0.49545884132385254,
      "learning_rate": 9.424222222222223e-05,
      "loss": 0.0232,
      "step": 25910
    },
    {
      "epoch": 3.456,
      "grad_norm": 1.1460471153259277,
      "learning_rate": 9.424e-05,
      "loss": 0.0257,
      "step": 25920
    },
    {
      "epoch": 3.457333333333333,
      "grad_norm": 0.3085991144180298,
      "learning_rate": 9.423777777777778e-05,
      "loss": 0.0179,
      "step": 25930
    },
    {
      "epoch": 3.458666666666667,
      "grad_norm": 0.8004486560821533,
      "learning_rate": 9.423555555555556e-05,
      "loss": 0.0314,
      "step": 25940
    },
    {
      "epoch": 3.46,
      "grad_norm": 0.31761351227760315,
      "learning_rate": 9.423333333333334e-05,
      "loss": 0.0238,
      "step": 25950
    },
    {
      "epoch": 3.461333333333333,
      "grad_norm": 1.1573164463043213,
      "learning_rate": 9.423111111111112e-05,
      "loss": 0.0239,
      "step": 25960
    },
    {
      "epoch": 3.462666666666667,
      "grad_norm": 0.3809686005115509,
      "learning_rate": 9.422888888888889e-05,
      "loss": 0.0246,
      "step": 25970
    },
    {
      "epoch": 3.464,
      "grad_norm": 0.6369917392730713,
      "learning_rate": 9.422666666666667e-05,
      "loss": 0.0193,
      "step": 25980
    },
    {
      "epoch": 3.465333333333333,
      "grad_norm": 0.35404911637306213,
      "learning_rate": 9.422444444444445e-05,
      "loss": 0.0279,
      "step": 25990
    },
    {
      "epoch": 3.466666666666667,
      "grad_norm": 0.2001895308494568,
      "learning_rate": 9.422222222222223e-05,
      "loss": 0.0265,
      "step": 26000
    },
    {
      "epoch": 3.468,
      "grad_norm": 0.6257609724998474,
      "learning_rate": 9.422e-05,
      "loss": 0.0389,
      "step": 26010
    },
    {
      "epoch": 3.469333333333333,
      "grad_norm": 0.42800697684288025,
      "learning_rate": 9.421777777777778e-05,
      "loss": 0.0407,
      "step": 26020
    },
    {
      "epoch": 3.470666666666667,
      "grad_norm": 0.7516911625862122,
      "learning_rate": 9.421555555555556e-05,
      "loss": 0.0152,
      "step": 26030
    },
    {
      "epoch": 3.472,
      "grad_norm": 0.632407546043396,
      "learning_rate": 9.421333333333335e-05,
      "loss": 0.0271,
      "step": 26040
    },
    {
      "epoch": 3.473333333333333,
      "grad_norm": 0.4351198971271515,
      "learning_rate": 9.421111111111111e-05,
      "loss": 0.0253,
      "step": 26050
    },
    {
      "epoch": 3.474666666666667,
      "grad_norm": 0.6506757736206055,
      "learning_rate": 9.420888888888889e-05,
      "loss": 0.0335,
      "step": 26060
    },
    {
      "epoch": 3.476,
      "grad_norm": 0.43959569931030273,
      "learning_rate": 9.420666666666668e-05,
      "loss": 0.0375,
      "step": 26070
    },
    {
      "epoch": 3.477333333333333,
      "grad_norm": 0.660513699054718,
      "learning_rate": 9.420444444444444e-05,
      "loss": 0.016,
      "step": 26080
    },
    {
      "epoch": 3.478666666666667,
      "grad_norm": 0.3216601312160492,
      "learning_rate": 9.420222222222222e-05,
      "loss": 0.0279,
      "step": 26090
    },
    {
      "epoch": 3.48,
      "grad_norm": 0.772808849811554,
      "learning_rate": 9.42e-05,
      "loss": 0.0291,
      "step": 26100
    },
    {
      "epoch": 3.481333333333333,
      "grad_norm": 0.3514482378959656,
      "learning_rate": 9.419777777777779e-05,
      "loss": 0.0354,
      "step": 26110
    },
    {
      "epoch": 3.482666666666667,
      "grad_norm": 0.394761323928833,
      "learning_rate": 9.419555555555555e-05,
      "loss": 0.0235,
      "step": 26120
    },
    {
      "epoch": 3.484,
      "grad_norm": 0.6770943403244019,
      "learning_rate": 9.419333333333333e-05,
      "loss": 0.0259,
      "step": 26130
    },
    {
      "epoch": 3.485333333333333,
      "grad_norm": 0.6193612217903137,
      "learning_rate": 9.419111111111112e-05,
      "loss": 0.0272,
      "step": 26140
    },
    {
      "epoch": 3.486666666666667,
      "grad_norm": 0.4080556631088257,
      "learning_rate": 9.418888888888889e-05,
      "loss": 0.0215,
      "step": 26150
    },
    {
      "epoch": 3.488,
      "grad_norm": 0.2555312514305115,
      "learning_rate": 9.418666666666666e-05,
      "loss": 0.0311,
      "step": 26160
    },
    {
      "epoch": 3.489333333333333,
      "grad_norm": 0.21873635053634644,
      "learning_rate": 9.418444444444445e-05,
      "loss": 0.0315,
      "step": 26170
    },
    {
      "epoch": 3.490666666666667,
      "grad_norm": 0.9965255260467529,
      "learning_rate": 9.418222222222223e-05,
      "loss": 0.027,
      "step": 26180
    },
    {
      "epoch": 3.492,
      "grad_norm": 0.35078391432762146,
      "learning_rate": 9.418e-05,
      "loss": 0.034,
      "step": 26190
    },
    {
      "epoch": 3.493333333333333,
      "grad_norm": 0.29375383257865906,
      "learning_rate": 9.417777777777779e-05,
      "loss": 0.028,
      "step": 26200
    },
    {
      "epoch": 3.494666666666667,
      "grad_norm": 0.18159694969654083,
      "learning_rate": 9.417555555555556e-05,
      "loss": 0.0245,
      "step": 26210
    },
    {
      "epoch": 3.496,
      "grad_norm": 1.13392972946167,
      "learning_rate": 9.417333333333334e-05,
      "loss": 0.0237,
      "step": 26220
    },
    {
      "epoch": 3.497333333333333,
      "grad_norm": 0.6301179528236389,
      "learning_rate": 9.417111111111112e-05,
      "loss": 0.0221,
      "step": 26230
    },
    {
      "epoch": 3.498666666666667,
      "grad_norm": 0.3442510962486267,
      "learning_rate": 9.41688888888889e-05,
      "loss": 0.0207,
      "step": 26240
    },
    {
      "epoch": 3.5,
      "grad_norm": 0.31411436200141907,
      "learning_rate": 9.416666666666667e-05,
      "loss": 0.0265,
      "step": 26250
    },
    {
      "epoch": 3.501333333333333,
      "grad_norm": 0.6532400846481323,
      "learning_rate": 9.416444444444444e-05,
      "loss": 0.0383,
      "step": 26260
    },
    {
      "epoch": 3.502666666666667,
      "grad_norm": 0.41220077872276306,
      "learning_rate": 9.416222222222223e-05,
      "loss": 0.0385,
      "step": 26270
    },
    {
      "epoch": 3.504,
      "grad_norm": 0.2774151861667633,
      "learning_rate": 9.416e-05,
      "loss": 0.0338,
      "step": 26280
    },
    {
      "epoch": 3.505333333333333,
      "grad_norm": 0.3233396112918854,
      "learning_rate": 9.415777777777778e-05,
      "loss": 0.0278,
      "step": 26290
    },
    {
      "epoch": 3.506666666666667,
      "grad_norm": 0.6935306787490845,
      "learning_rate": 9.415555555555556e-05,
      "loss": 0.028,
      "step": 26300
    },
    {
      "epoch": 3.508,
      "grad_norm": 0.7921779155731201,
      "learning_rate": 9.415333333333334e-05,
      "loss": 0.0202,
      "step": 26310
    },
    {
      "epoch": 3.509333333333333,
      "grad_norm": 0.6497468948364258,
      "learning_rate": 9.415111111111112e-05,
      "loss": 0.0423,
      "step": 26320
    },
    {
      "epoch": 3.510666666666667,
      "grad_norm": 0.4627073109149933,
      "learning_rate": 9.41488888888889e-05,
      "loss": 0.0357,
      "step": 26330
    },
    {
      "epoch": 3.512,
      "grad_norm": 1.2328060865402222,
      "learning_rate": 9.414666666666667e-05,
      "loss": 0.0324,
      "step": 26340
    },
    {
      "epoch": 3.513333333333333,
      "grad_norm": 0.6014381647109985,
      "learning_rate": 9.414444444444445e-05,
      "loss": 0.0268,
      "step": 26350
    },
    {
      "epoch": 3.514666666666667,
      "grad_norm": 0.5071402192115784,
      "learning_rate": 9.414222222222223e-05,
      "loss": 0.0305,
      "step": 26360
    },
    {
      "epoch": 3.516,
      "grad_norm": 0.552696943283081,
      "learning_rate": 9.414e-05,
      "loss": 0.032,
      "step": 26370
    },
    {
      "epoch": 3.517333333333333,
      "grad_norm": 0.31788796186447144,
      "learning_rate": 9.413777777777778e-05,
      "loss": 0.0249,
      "step": 26380
    },
    {
      "epoch": 3.518666666666667,
      "grad_norm": 0.23608490824699402,
      "learning_rate": 9.413555555555556e-05,
      "loss": 0.0478,
      "step": 26390
    },
    {
      "epoch": 3.52,
      "grad_norm": 0.4246591031551361,
      "learning_rate": 9.413333333333334e-05,
      "loss": 0.0348,
      "step": 26400
    },
    {
      "epoch": 3.521333333333333,
      "grad_norm": 0.5679569244384766,
      "learning_rate": 9.413111111111111e-05,
      "loss": 0.0357,
      "step": 26410
    },
    {
      "epoch": 3.522666666666667,
      "grad_norm": 0.9996973872184753,
      "learning_rate": 9.412888888888889e-05,
      "loss": 0.0283,
      "step": 26420
    },
    {
      "epoch": 3.524,
      "grad_norm": 0.5082636475563049,
      "learning_rate": 9.412666666666667e-05,
      "loss": 0.0358,
      "step": 26430
    },
    {
      "epoch": 3.525333333333333,
      "grad_norm": 0.9061333537101746,
      "learning_rate": 9.412444444444445e-05,
      "loss": 0.0315,
      "step": 26440
    },
    {
      "epoch": 3.5266666666666664,
      "grad_norm": 0.6727373600006104,
      "learning_rate": 9.412222222222222e-05,
      "loss": 0.0323,
      "step": 26450
    },
    {
      "epoch": 3.528,
      "grad_norm": 0.3782162070274353,
      "learning_rate": 9.412000000000001e-05,
      "loss": 0.0254,
      "step": 26460
    },
    {
      "epoch": 3.529333333333333,
      "grad_norm": 0.2971031963825226,
      "learning_rate": 9.411777777777778e-05,
      "loss": 0.0193,
      "step": 26470
    },
    {
      "epoch": 3.530666666666667,
      "grad_norm": 1.615706443786621,
      "learning_rate": 9.411555555555555e-05,
      "loss": 0.0331,
      "step": 26480
    },
    {
      "epoch": 3.532,
      "grad_norm": 0.8921637535095215,
      "learning_rate": 9.411333333333335e-05,
      "loss": 0.0245,
      "step": 26490
    },
    {
      "epoch": 3.533333333333333,
      "grad_norm": 1.1292086839675903,
      "learning_rate": 9.411111111111111e-05,
      "loss": 0.0297,
      "step": 26500
    },
    {
      "epoch": 3.5346666666666664,
      "grad_norm": 1.0526835918426514,
      "learning_rate": 9.410888888888889e-05,
      "loss": 0.0273,
      "step": 26510
    },
    {
      "epoch": 3.536,
      "grad_norm": 0.4687351584434509,
      "learning_rate": 9.410666666666668e-05,
      "loss": 0.034,
      "step": 26520
    },
    {
      "epoch": 3.537333333333333,
      "grad_norm": 0.6511444449424744,
      "learning_rate": 9.410444444444446e-05,
      "loss": 0.0248,
      "step": 26530
    },
    {
      "epoch": 3.538666666666667,
      "grad_norm": 0.9812169671058655,
      "learning_rate": 9.410222222222222e-05,
      "loss": 0.0295,
      "step": 26540
    },
    {
      "epoch": 3.54,
      "grad_norm": 1.0272263288497925,
      "learning_rate": 9.41e-05,
      "loss": 0.0256,
      "step": 26550
    },
    {
      "epoch": 3.541333333333333,
      "grad_norm": 0.4847218692302704,
      "learning_rate": 9.409777777777779e-05,
      "loss": 0.0215,
      "step": 26560
    },
    {
      "epoch": 3.5426666666666664,
      "grad_norm": 1.1837166547775269,
      "learning_rate": 9.409555555555557e-05,
      "loss": 0.0317,
      "step": 26570
    },
    {
      "epoch": 3.544,
      "grad_norm": 0.5024080872535706,
      "learning_rate": 9.409333333333333e-05,
      "loss": 0.0319,
      "step": 26580
    },
    {
      "epoch": 3.5453333333333332,
      "grad_norm": 1.4662407636642456,
      "learning_rate": 9.409111111111112e-05,
      "loss": 0.0317,
      "step": 26590
    },
    {
      "epoch": 3.546666666666667,
      "grad_norm": 0.20707844197750092,
      "learning_rate": 9.40888888888889e-05,
      "loss": 0.012,
      "step": 26600
    },
    {
      "epoch": 3.548,
      "grad_norm": 0.6597322225570679,
      "learning_rate": 9.408666666666666e-05,
      "loss": 0.0298,
      "step": 26610
    },
    {
      "epoch": 3.5493333333333332,
      "grad_norm": 0.6576524972915649,
      "learning_rate": 9.408444444444445e-05,
      "loss": 0.0309,
      "step": 26620
    },
    {
      "epoch": 3.5506666666666664,
      "grad_norm": 0.3990698754787445,
      "learning_rate": 9.408222222222223e-05,
      "loss": 0.0271,
      "step": 26630
    },
    {
      "epoch": 3.552,
      "grad_norm": 0.4736171364784241,
      "learning_rate": 9.408000000000001e-05,
      "loss": 0.0256,
      "step": 26640
    },
    {
      "epoch": 3.5533333333333332,
      "grad_norm": 0.5487484335899353,
      "learning_rate": 9.407777777777778e-05,
      "loss": 0.0416,
      "step": 26650
    },
    {
      "epoch": 3.554666666666667,
      "grad_norm": 0.2530789077281952,
      "learning_rate": 9.407555555555556e-05,
      "loss": 0.0319,
      "step": 26660
    },
    {
      "epoch": 3.556,
      "grad_norm": 0.5220503807067871,
      "learning_rate": 9.407333333333334e-05,
      "loss": 0.0267,
      "step": 26670
    },
    {
      "epoch": 3.5573333333333332,
      "grad_norm": 1.3468449115753174,
      "learning_rate": 9.407111111111112e-05,
      "loss": 0.0189,
      "step": 26680
    },
    {
      "epoch": 3.5586666666666664,
      "grad_norm": 0.4783443510532379,
      "learning_rate": 9.40688888888889e-05,
      "loss": 0.028,
      "step": 26690
    },
    {
      "epoch": 3.56,
      "grad_norm": 0.632090151309967,
      "learning_rate": 9.406666666666667e-05,
      "loss": 0.0319,
      "step": 26700
    },
    {
      "epoch": 3.5613333333333332,
      "grad_norm": 0.5279907584190369,
      "learning_rate": 9.406444444444445e-05,
      "loss": 0.0304,
      "step": 26710
    },
    {
      "epoch": 3.562666666666667,
      "grad_norm": 0.5081756114959717,
      "learning_rate": 9.406222222222223e-05,
      "loss": 0.028,
      "step": 26720
    },
    {
      "epoch": 3.564,
      "grad_norm": 0.8758452534675598,
      "learning_rate": 9.406e-05,
      "loss": 0.0315,
      "step": 26730
    },
    {
      "epoch": 3.5653333333333332,
      "grad_norm": 0.9504106640815735,
      "learning_rate": 9.405777777777778e-05,
      "loss": 0.0291,
      "step": 26740
    },
    {
      "epoch": 3.5666666666666664,
      "grad_norm": 0.9349777698516846,
      "learning_rate": 9.405555555555556e-05,
      "loss": 0.0215,
      "step": 26750
    },
    {
      "epoch": 3.568,
      "grad_norm": 0.6965269446372986,
      "learning_rate": 9.405333333333334e-05,
      "loss": 0.0367,
      "step": 26760
    },
    {
      "epoch": 3.5693333333333332,
      "grad_norm": 0.7430000901222229,
      "learning_rate": 9.405111111111111e-05,
      "loss": 0.0301,
      "step": 26770
    },
    {
      "epoch": 3.570666666666667,
      "grad_norm": 0.8290721774101257,
      "learning_rate": 9.404888888888889e-05,
      "loss": 0.0214,
      "step": 26780
    },
    {
      "epoch": 3.572,
      "grad_norm": 0.5892613530158997,
      "learning_rate": 9.404666666666667e-05,
      "loss": 0.0343,
      "step": 26790
    },
    {
      "epoch": 3.5733333333333333,
      "grad_norm": 0.3059999644756317,
      "learning_rate": 9.404444444444445e-05,
      "loss": 0.0278,
      "step": 26800
    },
    {
      "epoch": 3.5746666666666664,
      "grad_norm": 0.8589581847190857,
      "learning_rate": 9.404222222222224e-05,
      "loss": 0.0419,
      "step": 26810
    },
    {
      "epoch": 3.576,
      "grad_norm": 0.2265245020389557,
      "learning_rate": 9.404e-05,
      "loss": 0.0246,
      "step": 26820
    },
    {
      "epoch": 3.5773333333333333,
      "grad_norm": 0.19979442656040192,
      "learning_rate": 9.403777777777778e-05,
      "loss": 0.0253,
      "step": 26830
    },
    {
      "epoch": 3.578666666666667,
      "grad_norm": 0.8889650702476501,
      "learning_rate": 9.403555555555556e-05,
      "loss": 0.0244,
      "step": 26840
    },
    {
      "epoch": 3.58,
      "grad_norm": 0.5709031820297241,
      "learning_rate": 9.403333333333335e-05,
      "loss": 0.0206,
      "step": 26850
    },
    {
      "epoch": 3.5813333333333333,
      "grad_norm": 0.37337031960487366,
      "learning_rate": 9.403111111111111e-05,
      "loss": 0.0338,
      "step": 26860
    },
    {
      "epoch": 3.5826666666666664,
      "grad_norm": 0.24542935192584991,
      "learning_rate": 9.402888888888889e-05,
      "loss": 0.0259,
      "step": 26870
    },
    {
      "epoch": 3.584,
      "grad_norm": 0.2601598799228668,
      "learning_rate": 9.402666666666668e-05,
      "loss": 0.0239,
      "step": 26880
    },
    {
      "epoch": 3.5853333333333333,
      "grad_norm": 1.344833493232727,
      "learning_rate": 9.402444444444444e-05,
      "loss": 0.028,
      "step": 26890
    },
    {
      "epoch": 3.586666666666667,
      "grad_norm": 0.9387325048446655,
      "learning_rate": 9.402222222222222e-05,
      "loss": 0.039,
      "step": 26900
    },
    {
      "epoch": 3.588,
      "grad_norm": 0.22106558084487915,
      "learning_rate": 9.402000000000001e-05,
      "loss": 0.0253,
      "step": 26910
    },
    {
      "epoch": 3.5893333333333333,
      "grad_norm": 0.22856023907661438,
      "learning_rate": 9.401777777777779e-05,
      "loss": 0.0208,
      "step": 26920
    },
    {
      "epoch": 3.5906666666666665,
      "grad_norm": 0.41622623801231384,
      "learning_rate": 9.401555555555555e-05,
      "loss": 0.0222,
      "step": 26930
    },
    {
      "epoch": 3.592,
      "grad_norm": 0.4604856073856354,
      "learning_rate": 9.401333333333334e-05,
      "loss": 0.0243,
      "step": 26940
    },
    {
      "epoch": 3.5933333333333333,
      "grad_norm": 0.7353098392486572,
      "learning_rate": 9.401111111111112e-05,
      "loss": 0.0279,
      "step": 26950
    },
    {
      "epoch": 3.594666666666667,
      "grad_norm": 0.2027990072965622,
      "learning_rate": 9.400888888888888e-05,
      "loss": 0.0197,
      "step": 26960
    },
    {
      "epoch": 3.596,
      "grad_norm": 0.752242922782898,
      "learning_rate": 9.400666666666668e-05,
      "loss": 0.0322,
      "step": 26970
    },
    {
      "epoch": 3.5973333333333333,
      "grad_norm": 0.44155603647232056,
      "learning_rate": 9.400444444444445e-05,
      "loss": 0.0194,
      "step": 26980
    },
    {
      "epoch": 3.5986666666666665,
      "grad_norm": 0.34887412190437317,
      "learning_rate": 9.400222222222223e-05,
      "loss": 0.0409,
      "step": 26990
    },
    {
      "epoch": 3.6,
      "grad_norm": 0.7597559690475464,
      "learning_rate": 9.4e-05,
      "loss": 0.0305,
      "step": 27000
    },
    {
      "epoch": 3.6013333333333333,
      "grad_norm": 0.22974474728107452,
      "learning_rate": 9.399777777777779e-05,
      "loss": 0.0243,
      "step": 27010
    },
    {
      "epoch": 3.602666666666667,
      "grad_norm": 0.15237540006637573,
      "learning_rate": 9.399555555555556e-05,
      "loss": 0.0248,
      "step": 27020
    },
    {
      "epoch": 3.604,
      "grad_norm": 10.34514331817627,
      "learning_rate": 9.399333333333333e-05,
      "loss": 0.0138,
      "step": 27030
    },
    {
      "epoch": 3.6053333333333333,
      "grad_norm": 0.3225373923778534,
      "learning_rate": 9.399111111111112e-05,
      "loss": 0.0268,
      "step": 27040
    },
    {
      "epoch": 3.6066666666666665,
      "grad_norm": 0.9569776654243469,
      "learning_rate": 9.39888888888889e-05,
      "loss": 0.0321,
      "step": 27050
    },
    {
      "epoch": 3.608,
      "grad_norm": 1.29358971118927,
      "learning_rate": 9.398666666666667e-05,
      "loss": 0.026,
      "step": 27060
    },
    {
      "epoch": 3.6093333333333333,
      "grad_norm": 0.5299222469329834,
      "learning_rate": 9.398444444444445e-05,
      "loss": 0.0385,
      "step": 27070
    },
    {
      "epoch": 3.610666666666667,
      "grad_norm": 0.2863629162311554,
      "learning_rate": 9.398222222222223e-05,
      "loss": 0.0276,
      "step": 27080
    },
    {
      "epoch": 3.612,
      "grad_norm": 0.15260884165763855,
      "learning_rate": 9.398e-05,
      "loss": 0.0235,
      "step": 27090
    },
    {
      "epoch": 3.6133333333333333,
      "grad_norm": 0.7064318060874939,
      "learning_rate": 9.397777777777778e-05,
      "loss": 0.0302,
      "step": 27100
    },
    {
      "epoch": 3.6146666666666665,
      "grad_norm": 0.32397374510765076,
      "learning_rate": 9.397555555555556e-05,
      "loss": 0.0241,
      "step": 27110
    },
    {
      "epoch": 3.616,
      "grad_norm": 0.4253472685813904,
      "learning_rate": 9.397333333333334e-05,
      "loss": 0.0293,
      "step": 27120
    },
    {
      "epoch": 3.6173333333333333,
      "grad_norm": 0.3715526759624481,
      "learning_rate": 9.397111111111111e-05,
      "loss": 0.0321,
      "step": 27130
    },
    {
      "epoch": 3.618666666666667,
      "grad_norm": 0.14531604945659637,
      "learning_rate": 9.396888888888889e-05,
      "loss": 0.0251,
      "step": 27140
    },
    {
      "epoch": 3.62,
      "grad_norm": 0.583243727684021,
      "learning_rate": 9.396666666666667e-05,
      "loss": 0.0218,
      "step": 27150
    },
    {
      "epoch": 3.6213333333333333,
      "grad_norm": 0.7617109417915344,
      "learning_rate": 9.396444444444445e-05,
      "loss": 0.0221,
      "step": 27160
    },
    {
      "epoch": 3.6226666666666665,
      "grad_norm": 0.5353013277053833,
      "learning_rate": 9.396222222222222e-05,
      "loss": 0.0341,
      "step": 27170
    },
    {
      "epoch": 3.624,
      "grad_norm": 0.6667956113815308,
      "learning_rate": 9.396e-05,
      "loss": 0.0392,
      "step": 27180
    },
    {
      "epoch": 3.6253333333333333,
      "grad_norm": 1.0150700807571411,
      "learning_rate": 9.395777777777778e-05,
      "loss": 0.0311,
      "step": 27190
    },
    {
      "epoch": 3.626666666666667,
      "grad_norm": 0.9144138693809509,
      "learning_rate": 9.395555555555557e-05,
      "loss": 0.0208,
      "step": 27200
    },
    {
      "epoch": 3.628,
      "grad_norm": 1.1806379556655884,
      "learning_rate": 9.395333333333333e-05,
      "loss": 0.0265,
      "step": 27210
    },
    {
      "epoch": 3.6293333333333333,
      "grad_norm": 0.05892414599657059,
      "learning_rate": 9.395111111111111e-05,
      "loss": 0.0343,
      "step": 27220
    },
    {
      "epoch": 3.6306666666666665,
      "grad_norm": 0.36652040481567383,
      "learning_rate": 9.39488888888889e-05,
      "loss": 0.03,
      "step": 27230
    },
    {
      "epoch": 3.632,
      "grad_norm": 0.3322901725769043,
      "learning_rate": 9.394666666666667e-05,
      "loss": 0.025,
      "step": 27240
    },
    {
      "epoch": 3.6333333333333333,
      "grad_norm": 1.443524718284607,
      "learning_rate": 9.394444444444444e-05,
      "loss": 0.0247,
      "step": 27250
    },
    {
      "epoch": 3.634666666666667,
      "grad_norm": 0.20883439481258392,
      "learning_rate": 9.394222222222223e-05,
      "loss": 0.0235,
      "step": 27260
    },
    {
      "epoch": 3.636,
      "grad_norm": 0.4621782600879669,
      "learning_rate": 9.394000000000001e-05,
      "loss": 0.0346,
      "step": 27270
    },
    {
      "epoch": 3.6373333333333333,
      "grad_norm": 0.5715523958206177,
      "learning_rate": 9.393777777777778e-05,
      "loss": 0.021,
      "step": 27280
    },
    {
      "epoch": 3.6386666666666665,
      "grad_norm": 0.5707156658172607,
      "learning_rate": 9.393555555555557e-05,
      "loss": 0.0165,
      "step": 27290
    },
    {
      "epoch": 3.64,
      "grad_norm": 0.25011777877807617,
      "learning_rate": 9.393333333333334e-05,
      "loss": 0.0267,
      "step": 27300
    },
    {
      "epoch": 3.6413333333333333,
      "grad_norm": 0.5913934111595154,
      "learning_rate": 9.393111111111111e-05,
      "loss": 0.033,
      "step": 27310
    },
    {
      "epoch": 3.642666666666667,
      "grad_norm": 0.3749347925186157,
      "learning_rate": 9.392888888888889e-05,
      "loss": 0.0329,
      "step": 27320
    },
    {
      "epoch": 3.644,
      "grad_norm": 0.3605339527130127,
      "learning_rate": 9.392666666666668e-05,
      "loss": 0.0304,
      "step": 27330
    },
    {
      "epoch": 3.6453333333333333,
      "grad_norm": 0.2433723658323288,
      "learning_rate": 9.392444444444445e-05,
      "loss": 0.0189,
      "step": 27340
    },
    {
      "epoch": 3.6466666666666665,
      "grad_norm": 0.26640114188194275,
      "learning_rate": 9.392222222222222e-05,
      "loss": 0.021,
      "step": 27350
    },
    {
      "epoch": 3.648,
      "grad_norm": 0.24459315836429596,
      "learning_rate": 9.392000000000001e-05,
      "loss": 0.0214,
      "step": 27360
    },
    {
      "epoch": 3.6493333333333333,
      "grad_norm": 0.6039735078811646,
      "learning_rate": 9.391777777777779e-05,
      "loss": 0.0245,
      "step": 27370
    },
    {
      "epoch": 3.6506666666666665,
      "grad_norm": 1.4210158586502075,
      "learning_rate": 9.391555555555555e-05,
      "loss": 0.028,
      "step": 27380
    },
    {
      "epoch": 3.652,
      "grad_norm": 0.2718936800956726,
      "learning_rate": 9.391333333333334e-05,
      "loss": 0.0221,
      "step": 27390
    },
    {
      "epoch": 3.6533333333333333,
      "grad_norm": 0.15543648600578308,
      "learning_rate": 9.391111111111112e-05,
      "loss": 0.025,
      "step": 27400
    },
    {
      "epoch": 3.6546666666666665,
      "grad_norm": 0.6968856453895569,
      "learning_rate": 9.39088888888889e-05,
      "loss": 0.0263,
      "step": 27410
    },
    {
      "epoch": 3.656,
      "grad_norm": 0.2772206962108612,
      "learning_rate": 9.390666666666667e-05,
      "loss": 0.0346,
      "step": 27420
    },
    {
      "epoch": 3.6573333333333333,
      "grad_norm": 0.37110066413879395,
      "learning_rate": 9.390444444444445e-05,
      "loss": 0.0304,
      "step": 27430
    },
    {
      "epoch": 3.6586666666666665,
      "grad_norm": 0.36145198345184326,
      "learning_rate": 9.390222222222223e-05,
      "loss": 0.02,
      "step": 27440
    },
    {
      "epoch": 3.66,
      "grad_norm": 0.27530398964881897,
      "learning_rate": 9.39e-05,
      "loss": 0.0334,
      "step": 27450
    },
    {
      "epoch": 3.6613333333333333,
      "grad_norm": 0.4511626064777374,
      "learning_rate": 9.389777777777778e-05,
      "loss": 0.0236,
      "step": 27460
    },
    {
      "epoch": 3.6626666666666665,
      "grad_norm": 0.3560444414615631,
      "learning_rate": 9.389555555555556e-05,
      "loss": 0.0276,
      "step": 27470
    },
    {
      "epoch": 3.664,
      "grad_norm": 0.6227571964263916,
      "learning_rate": 9.389333333333334e-05,
      "loss": 0.0192,
      "step": 27480
    },
    {
      "epoch": 3.6653333333333333,
      "grad_norm": 0.4677693843841553,
      "learning_rate": 9.389111111111112e-05,
      "loss": 0.0281,
      "step": 27490
    },
    {
      "epoch": 3.6666666666666665,
      "grad_norm": 0.8280113339424133,
      "learning_rate": 9.388888888888889e-05,
      "loss": 0.0347,
      "step": 27500
    },
    {
      "epoch": 3.668,
      "grad_norm": 0.5703561902046204,
      "learning_rate": 9.388666666666667e-05,
      "loss": 0.0263,
      "step": 27510
    },
    {
      "epoch": 3.6693333333333333,
      "grad_norm": 0.5837733149528503,
      "learning_rate": 9.388444444444445e-05,
      "loss": 0.0296,
      "step": 27520
    },
    {
      "epoch": 3.6706666666666665,
      "grad_norm": 0.517556369304657,
      "learning_rate": 9.388222222222222e-05,
      "loss": 0.0346,
      "step": 27530
    },
    {
      "epoch": 3.672,
      "grad_norm": 0.13222815096378326,
      "learning_rate": 9.388e-05,
      "loss": 0.0234,
      "step": 27540
    },
    {
      "epoch": 3.6733333333333333,
      "grad_norm": 0.5190373659133911,
      "learning_rate": 9.38777777777778e-05,
      "loss": 0.0226,
      "step": 27550
    },
    {
      "epoch": 3.6746666666666665,
      "grad_norm": 0.39723917841911316,
      "learning_rate": 9.387555555555556e-05,
      "loss": 0.0177,
      "step": 27560
    },
    {
      "epoch": 3.676,
      "grad_norm": 0.575684666633606,
      "learning_rate": 9.387333333333333e-05,
      "loss": 0.0342,
      "step": 27570
    },
    {
      "epoch": 3.6773333333333333,
      "grad_norm": 0.5509892106056213,
      "learning_rate": 9.387111111111113e-05,
      "loss": 0.0261,
      "step": 27580
    },
    {
      "epoch": 3.6786666666666665,
      "grad_norm": 0.5205665826797485,
      "learning_rate": 9.386888888888889e-05,
      "loss": 0.034,
      "step": 27590
    },
    {
      "epoch": 3.68,
      "grad_norm": 0.2762635350227356,
      "learning_rate": 9.386666666666667e-05,
      "loss": 0.0361,
      "step": 27600
    },
    {
      "epoch": 3.6813333333333333,
      "grad_norm": 0.5326270461082458,
      "learning_rate": 9.386444444444444e-05,
      "loss": 0.0309,
      "step": 27610
    },
    {
      "epoch": 3.6826666666666665,
      "grad_norm": 0.3522695004940033,
      "learning_rate": 9.386222222222224e-05,
      "loss": 0.0232,
      "step": 27620
    },
    {
      "epoch": 3.684,
      "grad_norm": 0.2528749406337738,
      "learning_rate": 9.386e-05,
      "loss": 0.0245,
      "step": 27630
    },
    {
      "epoch": 3.6853333333333333,
      "grad_norm": 0.8861498236656189,
      "learning_rate": 9.385777777777778e-05,
      "loss": 0.0249,
      "step": 27640
    },
    {
      "epoch": 3.6866666666666665,
      "grad_norm": 1.0825750827789307,
      "learning_rate": 9.385555555555557e-05,
      "loss": 0.0223,
      "step": 27650
    },
    {
      "epoch": 3.6879999999999997,
      "grad_norm": 0.7133045196533203,
      "learning_rate": 9.385333333333333e-05,
      "loss": 0.0195,
      "step": 27660
    },
    {
      "epoch": 3.6893333333333334,
      "grad_norm": 0.7897799015045166,
      "learning_rate": 9.385111111111111e-05,
      "loss": 0.0243,
      "step": 27670
    },
    {
      "epoch": 3.6906666666666665,
      "grad_norm": 0.5879543423652649,
      "learning_rate": 9.38488888888889e-05,
      "loss": 0.0248,
      "step": 27680
    },
    {
      "epoch": 3.692,
      "grad_norm": 0.16207250952720642,
      "learning_rate": 9.384666666666668e-05,
      "loss": 0.0235,
      "step": 27690
    },
    {
      "epoch": 3.6933333333333334,
      "grad_norm": 0.5840312242507935,
      "learning_rate": 9.384444444444444e-05,
      "loss": 0.0186,
      "step": 27700
    },
    {
      "epoch": 3.6946666666666665,
      "grad_norm": 0.5914244651794434,
      "learning_rate": 9.384222222222223e-05,
      "loss": 0.0342,
      "step": 27710
    },
    {
      "epoch": 3.6959999999999997,
      "grad_norm": 0.43105438351631165,
      "learning_rate": 9.384000000000001e-05,
      "loss": 0.0257,
      "step": 27720
    },
    {
      "epoch": 3.6973333333333334,
      "grad_norm": 0.19045008718967438,
      "learning_rate": 9.383777777777777e-05,
      "loss": 0.0328,
      "step": 27730
    },
    {
      "epoch": 3.6986666666666665,
      "grad_norm": 0.5656752586364746,
      "learning_rate": 9.383555555555556e-05,
      "loss": 0.0242,
      "step": 27740
    },
    {
      "epoch": 3.7,
      "grad_norm": 0.7798103094100952,
      "learning_rate": 9.383333333333334e-05,
      "loss": 0.0304,
      "step": 27750
    },
    {
      "epoch": 3.7013333333333334,
      "grad_norm": 0.42630109190940857,
      "learning_rate": 9.383111111111112e-05,
      "loss": 0.0251,
      "step": 27760
    },
    {
      "epoch": 3.7026666666666666,
      "grad_norm": 1.114007830619812,
      "learning_rate": 9.382888888888888e-05,
      "loss": 0.0227,
      "step": 27770
    },
    {
      "epoch": 3.7039999999999997,
      "grad_norm": 8.108842849731445,
      "learning_rate": 9.382666666666667e-05,
      "loss": 0.0306,
      "step": 27780
    },
    {
      "epoch": 3.7053333333333334,
      "grad_norm": 0.5239218473434448,
      "learning_rate": 9.382444444444445e-05,
      "loss": 0.021,
      "step": 27790
    },
    {
      "epoch": 3.7066666666666666,
      "grad_norm": 0.20689664781093597,
      "learning_rate": 9.382222222222223e-05,
      "loss": 0.0214,
      "step": 27800
    },
    {
      "epoch": 3.708,
      "grad_norm": 0.8472675085067749,
      "learning_rate": 9.382e-05,
      "loss": 0.0337,
      "step": 27810
    },
    {
      "epoch": 3.7093333333333334,
      "grad_norm": 0.06502549350261688,
      "learning_rate": 9.381777777777778e-05,
      "loss": 0.0382,
      "step": 27820
    },
    {
      "epoch": 3.7106666666666666,
      "grad_norm": 0.5375338196754456,
      "learning_rate": 9.381555555555556e-05,
      "loss": 0.03,
      "step": 27830
    },
    {
      "epoch": 3.7119999999999997,
      "grad_norm": 0.7973454594612122,
      "learning_rate": 9.381333333333334e-05,
      "loss": 0.0359,
      "step": 27840
    },
    {
      "epoch": 3.7133333333333334,
      "grad_norm": 1.1084836721420288,
      "learning_rate": 9.381111111111112e-05,
      "loss": 0.0335,
      "step": 27850
    },
    {
      "epoch": 3.7146666666666666,
      "grad_norm": 0.5504181981086731,
      "learning_rate": 9.38088888888889e-05,
      "loss": 0.0395,
      "step": 27860
    },
    {
      "epoch": 3.716,
      "grad_norm": 0.2050045281648636,
      "learning_rate": 9.380666666666667e-05,
      "loss": 0.0436,
      "step": 27870
    },
    {
      "epoch": 3.7173333333333334,
      "grad_norm": 1.585814356803894,
      "learning_rate": 9.380444444444445e-05,
      "loss": 0.0353,
      "step": 27880
    },
    {
      "epoch": 3.7186666666666666,
      "grad_norm": 0.2513592839241028,
      "learning_rate": 9.380222222222223e-05,
      "loss": 0.0272,
      "step": 27890
    },
    {
      "epoch": 3.7199999999999998,
      "grad_norm": 0.9792119264602661,
      "learning_rate": 9.38e-05,
      "loss": 0.0319,
      "step": 27900
    },
    {
      "epoch": 3.7213333333333334,
      "grad_norm": 1.3325728178024292,
      "learning_rate": 9.379777777777778e-05,
      "loss": 0.0304,
      "step": 27910
    },
    {
      "epoch": 3.7226666666666666,
      "grad_norm": 0.265900194644928,
      "learning_rate": 9.379555555555556e-05,
      "loss": 0.0277,
      "step": 27920
    },
    {
      "epoch": 3.724,
      "grad_norm": 0.6913327574729919,
      "learning_rate": 9.379333333333334e-05,
      "loss": 0.0271,
      "step": 27930
    },
    {
      "epoch": 3.7253333333333334,
      "grad_norm": 0.28767964243888855,
      "learning_rate": 9.379111111111111e-05,
      "loss": 0.0205,
      "step": 27940
    },
    {
      "epoch": 3.7266666666666666,
      "grad_norm": 0.9612109661102295,
      "learning_rate": 9.378888888888889e-05,
      "loss": 0.0224,
      "step": 27950
    },
    {
      "epoch": 3.7279999999999998,
      "grad_norm": 0.4209098815917969,
      "learning_rate": 9.378666666666667e-05,
      "loss": 0.0221,
      "step": 27960
    },
    {
      "epoch": 3.7293333333333334,
      "grad_norm": 0.966431200504303,
      "learning_rate": 9.378444444444446e-05,
      "loss": 0.0344,
      "step": 27970
    },
    {
      "epoch": 3.7306666666666666,
      "grad_norm": 1.0435385704040527,
      "learning_rate": 9.378222222222222e-05,
      "loss": 0.0395,
      "step": 27980
    },
    {
      "epoch": 3.732,
      "grad_norm": 0.272372841835022,
      "learning_rate": 9.378e-05,
      "loss": 0.0314,
      "step": 27990
    },
    {
      "epoch": 3.7333333333333334,
      "grad_norm": 0.5998086929321289,
      "learning_rate": 9.377777777777779e-05,
      "loss": 0.039,
      "step": 28000
    },
    {
      "epoch": 3.7346666666666666,
      "grad_norm": 0.19165365397930145,
      "learning_rate": 9.377555555555555e-05,
      "loss": 0.0208,
      "step": 28010
    },
    {
      "epoch": 3.7359999999999998,
      "grad_norm": 0.4401390254497528,
      "learning_rate": 9.377333333333333e-05,
      "loss": 0.0305,
      "step": 28020
    },
    {
      "epoch": 3.7373333333333334,
      "grad_norm": 0.3114754259586334,
      "learning_rate": 9.377111111111112e-05,
      "loss": 0.0233,
      "step": 28030
    },
    {
      "epoch": 3.7386666666666666,
      "grad_norm": 0.5559306144714355,
      "learning_rate": 9.37688888888889e-05,
      "loss": 0.0295,
      "step": 28040
    },
    {
      "epoch": 3.74,
      "grad_norm": 0.3578583896160126,
      "learning_rate": 9.376666666666666e-05,
      "loss": 0.0259,
      "step": 28050
    },
    {
      "epoch": 3.7413333333333334,
      "grad_norm": 1.6452136039733887,
      "learning_rate": 9.376444444444444e-05,
      "loss": 0.0382,
      "step": 28060
    },
    {
      "epoch": 3.7426666666666666,
      "grad_norm": 0.4119473397731781,
      "learning_rate": 9.376222222222223e-05,
      "loss": 0.026,
      "step": 28070
    },
    {
      "epoch": 3.7439999999999998,
      "grad_norm": 0.5410856008529663,
      "learning_rate": 9.376e-05,
      "loss": 0.0256,
      "step": 28080
    },
    {
      "epoch": 3.7453333333333334,
      "grad_norm": 0.4187414348125458,
      "learning_rate": 9.375777777777777e-05,
      "loss": 0.0302,
      "step": 28090
    },
    {
      "epoch": 3.7466666666666666,
      "grad_norm": 0.06858543306589127,
      "learning_rate": 9.375555555555557e-05,
      "loss": 0.0243,
      "step": 28100
    },
    {
      "epoch": 3.748,
      "grad_norm": 0.19810213148593903,
      "learning_rate": 9.375333333333334e-05,
      "loss": 0.0248,
      "step": 28110
    },
    {
      "epoch": 3.7493333333333334,
      "grad_norm": 0.2565367519855499,
      "learning_rate": 9.37511111111111e-05,
      "loss": 0.0247,
      "step": 28120
    },
    {
      "epoch": 3.7506666666666666,
      "grad_norm": 1.0854241847991943,
      "learning_rate": 9.37488888888889e-05,
      "loss": 0.0278,
      "step": 28130
    },
    {
      "epoch": 3.752,
      "grad_norm": 0.6557205319404602,
      "learning_rate": 9.374666666666667e-05,
      "loss": 0.0307,
      "step": 28140
    },
    {
      "epoch": 3.7533333333333334,
      "grad_norm": 0.37727007269859314,
      "learning_rate": 9.374444444444445e-05,
      "loss": 0.0274,
      "step": 28150
    },
    {
      "epoch": 3.7546666666666666,
      "grad_norm": 0.8095840215682983,
      "learning_rate": 9.374222222222223e-05,
      "loss": 0.0358,
      "step": 28160
    },
    {
      "epoch": 3.7560000000000002,
      "grad_norm": 0.609412431716919,
      "learning_rate": 9.374000000000001e-05,
      "loss": 0.0261,
      "step": 28170
    },
    {
      "epoch": 3.7573333333333334,
      "grad_norm": 0.8880996108055115,
      "learning_rate": 9.373777777777778e-05,
      "loss": 0.0235,
      "step": 28180
    },
    {
      "epoch": 3.7586666666666666,
      "grad_norm": 0.3893938362598419,
      "learning_rate": 9.373555555555556e-05,
      "loss": 0.0297,
      "step": 28190
    },
    {
      "epoch": 3.76,
      "grad_norm": 0.4666935205459595,
      "learning_rate": 9.373333333333334e-05,
      "loss": 0.0319,
      "step": 28200
    },
    {
      "epoch": 3.7613333333333334,
      "grad_norm": 1.260842204093933,
      "learning_rate": 9.373111111111112e-05,
      "loss": 0.0248,
      "step": 28210
    },
    {
      "epoch": 3.7626666666666666,
      "grad_norm": 0.3169081509113312,
      "learning_rate": 9.37288888888889e-05,
      "loss": 0.0399,
      "step": 28220
    },
    {
      "epoch": 3.7640000000000002,
      "grad_norm": 0.24769262969493866,
      "learning_rate": 9.372666666666667e-05,
      "loss": 0.0295,
      "step": 28230
    },
    {
      "epoch": 3.7653333333333334,
      "grad_norm": 0.878499448299408,
      "learning_rate": 9.372444444444445e-05,
      "loss": 0.0275,
      "step": 28240
    },
    {
      "epoch": 3.7666666666666666,
      "grad_norm": 0.31657183170318604,
      "learning_rate": 9.372222222222223e-05,
      "loss": 0.0231,
      "step": 28250
    },
    {
      "epoch": 3.768,
      "grad_norm": 0.2888514995574951,
      "learning_rate": 9.372e-05,
      "loss": 0.0227,
      "step": 28260
    },
    {
      "epoch": 3.7693333333333334,
      "grad_norm": 0.45493510365486145,
      "learning_rate": 9.371777777777778e-05,
      "loss": 0.0392,
      "step": 28270
    },
    {
      "epoch": 3.7706666666666666,
      "grad_norm": 0.3614450693130493,
      "learning_rate": 9.371555555555556e-05,
      "loss": 0.0312,
      "step": 28280
    },
    {
      "epoch": 3.7720000000000002,
      "grad_norm": 0.30708613991737366,
      "learning_rate": 9.371333333333334e-05,
      "loss": 0.0186,
      "step": 28290
    },
    {
      "epoch": 3.7733333333333334,
      "grad_norm": 0.623123049736023,
      "learning_rate": 9.371111111111111e-05,
      "loss": 0.0258,
      "step": 28300
    },
    {
      "epoch": 3.7746666666666666,
      "grad_norm": 0.22967566549777985,
      "learning_rate": 9.370888888888889e-05,
      "loss": 0.0262,
      "step": 28310
    },
    {
      "epoch": 3.776,
      "grad_norm": 0.5809189081192017,
      "learning_rate": 9.370666666666668e-05,
      "loss": 0.0243,
      "step": 28320
    },
    {
      "epoch": 3.7773333333333334,
      "grad_norm": 1.5670180320739746,
      "learning_rate": 9.370444444444445e-05,
      "loss": 0.0309,
      "step": 28330
    },
    {
      "epoch": 3.7786666666666666,
      "grad_norm": 0.9540814161300659,
      "learning_rate": 9.370222222222222e-05,
      "loss": 0.0273,
      "step": 28340
    },
    {
      "epoch": 3.7800000000000002,
      "grad_norm": 0.4225718379020691,
      "learning_rate": 9.370000000000001e-05,
      "loss": 0.0268,
      "step": 28350
    },
    {
      "epoch": 3.7813333333333334,
      "grad_norm": 0.4264068305492401,
      "learning_rate": 9.369777777777778e-05,
      "loss": 0.0276,
      "step": 28360
    },
    {
      "epoch": 3.7826666666666666,
      "grad_norm": 0.4582277238368988,
      "learning_rate": 9.369555555555556e-05,
      "loss": 0.0412,
      "step": 28370
    },
    {
      "epoch": 3.784,
      "grad_norm": 0.4032959043979645,
      "learning_rate": 9.369333333333333e-05,
      "loss": 0.0254,
      "step": 28380
    },
    {
      "epoch": 3.7853333333333334,
      "grad_norm": 0.18552258610725403,
      "learning_rate": 9.369111111111112e-05,
      "loss": 0.0261,
      "step": 28390
    },
    {
      "epoch": 3.7866666666666666,
      "grad_norm": 0.2812378406524658,
      "learning_rate": 9.368888888888889e-05,
      "loss": 0.0228,
      "step": 28400
    },
    {
      "epoch": 3.7880000000000003,
      "grad_norm": 0.3414999842643738,
      "learning_rate": 9.368666666666667e-05,
      "loss": 0.0185,
      "step": 28410
    },
    {
      "epoch": 3.7893333333333334,
      "grad_norm": 0.839002788066864,
      "learning_rate": 9.368444444444446e-05,
      "loss": 0.026,
      "step": 28420
    },
    {
      "epoch": 3.7906666666666666,
      "grad_norm": 1.2006803750991821,
      "learning_rate": 9.368222222222222e-05,
      "loss": 0.0437,
      "step": 28430
    },
    {
      "epoch": 3.792,
      "grad_norm": 0.20480741560459137,
      "learning_rate": 9.368e-05,
      "loss": 0.0286,
      "step": 28440
    },
    {
      "epoch": 3.7933333333333334,
      "grad_norm": 0.29907137155532837,
      "learning_rate": 9.367777777777779e-05,
      "loss": 0.0345,
      "step": 28450
    },
    {
      "epoch": 3.7946666666666666,
      "grad_norm": 0.3074794411659241,
      "learning_rate": 9.367555555555557e-05,
      "loss": 0.0204,
      "step": 28460
    },
    {
      "epoch": 3.7960000000000003,
      "grad_norm": 0.501878559589386,
      "learning_rate": 9.367333333333333e-05,
      "loss": 0.0221,
      "step": 28470
    },
    {
      "epoch": 3.7973333333333334,
      "grad_norm": 0.4909992516040802,
      "learning_rate": 9.367111111111112e-05,
      "loss": 0.0233,
      "step": 28480
    },
    {
      "epoch": 3.7986666666666666,
      "grad_norm": 0.6853829026222229,
      "learning_rate": 9.36688888888889e-05,
      "loss": 0.0291,
      "step": 28490
    },
    {
      "epoch": 3.8,
      "grad_norm": 0.4132571816444397,
      "learning_rate": 9.366666666666668e-05,
      "loss": 0.0227,
      "step": 28500
    },
    {
      "epoch": 3.8013333333333335,
      "grad_norm": 0.3305041491985321,
      "learning_rate": 9.366444444444444e-05,
      "loss": 0.0293,
      "step": 28510
    },
    {
      "epoch": 3.8026666666666666,
      "grad_norm": 0.19226939976215363,
      "learning_rate": 9.366222222222223e-05,
      "loss": 0.0268,
      "step": 28520
    },
    {
      "epoch": 3.8040000000000003,
      "grad_norm": 0.6083579659461975,
      "learning_rate": 9.366000000000001e-05,
      "loss": 0.0232,
      "step": 28530
    },
    {
      "epoch": 3.8053333333333335,
      "grad_norm": 1.7344244718551636,
      "learning_rate": 9.365777777777777e-05,
      "loss": 0.0245,
      "step": 28540
    },
    {
      "epoch": 3.8066666666666666,
      "grad_norm": 0.3981460928916931,
      "learning_rate": 9.365555555555556e-05,
      "loss": 0.0226,
      "step": 28550
    },
    {
      "epoch": 3.808,
      "grad_norm": 0.6840691566467285,
      "learning_rate": 9.365333333333334e-05,
      "loss": 0.031,
      "step": 28560
    },
    {
      "epoch": 3.8093333333333335,
      "grad_norm": 0.6364924311637878,
      "learning_rate": 9.365111111111112e-05,
      "loss": 0.0274,
      "step": 28570
    },
    {
      "epoch": 3.8106666666666666,
      "grad_norm": 0.22500625252723694,
      "learning_rate": 9.36488888888889e-05,
      "loss": 0.0513,
      "step": 28580
    },
    {
      "epoch": 3.8120000000000003,
      "grad_norm": 0.8458082675933838,
      "learning_rate": 9.364666666666667e-05,
      "loss": 0.0228,
      "step": 28590
    },
    {
      "epoch": 3.8133333333333335,
      "grad_norm": 0.12024552375078201,
      "learning_rate": 9.364444444444445e-05,
      "loss": 0.0261,
      "step": 28600
    },
    {
      "epoch": 3.8146666666666667,
      "grad_norm": 0.15137788653373718,
      "learning_rate": 9.364222222222223e-05,
      "loss": 0.0194,
      "step": 28610
    },
    {
      "epoch": 3.816,
      "grad_norm": 0.2441902607679367,
      "learning_rate": 9.364e-05,
      "loss": 0.0246,
      "step": 28620
    },
    {
      "epoch": 3.8173333333333335,
      "grad_norm": 0.49365857243537903,
      "learning_rate": 9.363777777777778e-05,
      "loss": 0.0291,
      "step": 28630
    },
    {
      "epoch": 3.8186666666666667,
      "grad_norm": 0.3494376242160797,
      "learning_rate": 9.363555555555556e-05,
      "loss": 0.0356,
      "step": 28640
    },
    {
      "epoch": 3.82,
      "grad_norm": 0.37076178193092346,
      "learning_rate": 9.363333333333334e-05,
      "loss": 0.0216,
      "step": 28650
    },
    {
      "epoch": 3.8213333333333335,
      "grad_norm": 0.894263505935669,
      "learning_rate": 9.363111111111111e-05,
      "loss": 0.025,
      "step": 28660
    },
    {
      "epoch": 3.8226666666666667,
      "grad_norm": 0.4425038695335388,
      "learning_rate": 9.362888888888889e-05,
      "loss": 0.042,
      "step": 28670
    },
    {
      "epoch": 3.824,
      "grad_norm": 0.8824204206466675,
      "learning_rate": 9.362666666666667e-05,
      "loss": 0.0333,
      "step": 28680
    },
    {
      "epoch": 3.8253333333333335,
      "grad_norm": 0.8731219172477722,
      "learning_rate": 9.362444444444445e-05,
      "loss": 0.0292,
      "step": 28690
    },
    {
      "epoch": 3.8266666666666667,
      "grad_norm": 0.3677760660648346,
      "learning_rate": 9.362222222222222e-05,
      "loss": 0.0209,
      "step": 28700
    },
    {
      "epoch": 3.828,
      "grad_norm": 0.6047857999801636,
      "learning_rate": 9.362e-05,
      "loss": 0.0295,
      "step": 28710
    },
    {
      "epoch": 3.8293333333333335,
      "grad_norm": 0.7018272876739502,
      "learning_rate": 9.361777777777778e-05,
      "loss": 0.0302,
      "step": 28720
    },
    {
      "epoch": 3.8306666666666667,
      "grad_norm": 1.474798560142517,
      "learning_rate": 9.361555555555556e-05,
      "loss": 0.0292,
      "step": 28730
    },
    {
      "epoch": 3.832,
      "grad_norm": 0.654146134853363,
      "learning_rate": 9.361333333333335e-05,
      "loss": 0.024,
      "step": 28740
    },
    {
      "epoch": 3.8333333333333335,
      "grad_norm": 0.309906005859375,
      "learning_rate": 9.361111111111111e-05,
      "loss": 0.0371,
      "step": 28750
    },
    {
      "epoch": 3.8346666666666667,
      "grad_norm": 0.2519194185733795,
      "learning_rate": 9.360888888888889e-05,
      "loss": 0.0352,
      "step": 28760
    },
    {
      "epoch": 3.836,
      "grad_norm": 0.3545193076133728,
      "learning_rate": 9.360666666666668e-05,
      "loss": 0.0311,
      "step": 28770
    },
    {
      "epoch": 3.8373333333333335,
      "grad_norm": 0.43514713644981384,
      "learning_rate": 9.360444444444444e-05,
      "loss": 0.0256,
      "step": 28780
    },
    {
      "epoch": 3.8386666666666667,
      "grad_norm": 1.100932002067566,
      "learning_rate": 9.360222222222222e-05,
      "loss": 0.0191,
      "step": 28790
    },
    {
      "epoch": 3.84,
      "grad_norm": 0.46388691663742065,
      "learning_rate": 9.360000000000001e-05,
      "loss": 0.0233,
      "step": 28800
    },
    {
      "epoch": 3.8413333333333335,
      "grad_norm": 0.6737690567970276,
      "learning_rate": 9.359777777777779e-05,
      "loss": 0.0242,
      "step": 28810
    },
    {
      "epoch": 3.8426666666666667,
      "grad_norm": 0.34109193086624146,
      "learning_rate": 9.359555555555555e-05,
      "loss": 0.0317,
      "step": 28820
    },
    {
      "epoch": 3.844,
      "grad_norm": 0.5572346448898315,
      "learning_rate": 9.359333333333333e-05,
      "loss": 0.0317,
      "step": 28830
    },
    {
      "epoch": 3.8453333333333335,
      "grad_norm": 0.36724576354026794,
      "learning_rate": 9.359111111111112e-05,
      "loss": 0.0303,
      "step": 28840
    },
    {
      "epoch": 3.8466666666666667,
      "grad_norm": 0.25996851921081543,
      "learning_rate": 9.35888888888889e-05,
      "loss": 0.0239,
      "step": 28850
    },
    {
      "epoch": 3.848,
      "grad_norm": 1.1332587003707886,
      "learning_rate": 9.358666666666666e-05,
      "loss": 0.0347,
      "step": 28860
    },
    {
      "epoch": 3.8493333333333335,
      "grad_norm": 0.40027880668640137,
      "learning_rate": 9.358444444444445e-05,
      "loss": 0.0274,
      "step": 28870
    },
    {
      "epoch": 3.8506666666666667,
      "grad_norm": 0.36317217350006104,
      "learning_rate": 9.358222222222223e-05,
      "loss": 0.0324,
      "step": 28880
    },
    {
      "epoch": 3.852,
      "grad_norm": 0.7365932464599609,
      "learning_rate": 9.358e-05,
      "loss": 0.0317,
      "step": 28890
    },
    {
      "epoch": 3.8533333333333335,
      "grad_norm": 0.37893790006637573,
      "learning_rate": 9.357777777777779e-05,
      "loss": 0.0336,
      "step": 28900
    },
    {
      "epoch": 3.8546666666666667,
      "grad_norm": 0.3643483817577362,
      "learning_rate": 9.357555555555556e-05,
      "loss": 0.0192,
      "step": 28910
    },
    {
      "epoch": 3.856,
      "grad_norm": 0.8334216475486755,
      "learning_rate": 9.357333333333334e-05,
      "loss": 0.0302,
      "step": 28920
    },
    {
      "epoch": 3.857333333333333,
      "grad_norm": 0.31499412655830383,
      "learning_rate": 9.357111111111112e-05,
      "loss": 0.0399,
      "step": 28930
    },
    {
      "epoch": 3.8586666666666667,
      "grad_norm": 0.17590752243995667,
      "learning_rate": 9.35688888888889e-05,
      "loss": 0.0355,
      "step": 28940
    },
    {
      "epoch": 3.86,
      "grad_norm": 0.014026562683284283,
      "learning_rate": 9.356666666666667e-05,
      "loss": 0.0256,
      "step": 28950
    },
    {
      "epoch": 3.8613333333333335,
      "grad_norm": 1.2197006940841675,
      "learning_rate": 9.356444444444444e-05,
      "loss": 0.0344,
      "step": 28960
    },
    {
      "epoch": 3.8626666666666667,
      "grad_norm": 1.4853630065917969,
      "learning_rate": 9.356222222222223e-05,
      "loss": 0.035,
      "step": 28970
    },
    {
      "epoch": 3.864,
      "grad_norm": 0.4844714105129242,
      "learning_rate": 9.356e-05,
      "loss": 0.0216,
      "step": 28980
    },
    {
      "epoch": 3.865333333333333,
      "grad_norm": 0.16668760776519775,
      "learning_rate": 9.355777777777778e-05,
      "loss": 0.0434,
      "step": 28990
    },
    {
      "epoch": 3.8666666666666667,
      "grad_norm": 0.621584415435791,
      "learning_rate": 9.355555555555556e-05,
      "loss": 0.0274,
      "step": 29000
    },
    {
      "epoch": 3.868,
      "grad_norm": 0.41003841161727905,
      "learning_rate": 9.355333333333334e-05,
      "loss": 0.0296,
      "step": 29010
    },
    {
      "epoch": 3.8693333333333335,
      "grad_norm": 0.4693470895290375,
      "learning_rate": 9.355111111111112e-05,
      "loss": 0.0276,
      "step": 29020
    },
    {
      "epoch": 3.8706666666666667,
      "grad_norm": 0.4570586383342743,
      "learning_rate": 9.354888888888889e-05,
      "loss": 0.0403,
      "step": 29030
    },
    {
      "epoch": 3.872,
      "grad_norm": 0.2843676209449768,
      "learning_rate": 9.354666666666667e-05,
      "loss": 0.0322,
      "step": 29040
    },
    {
      "epoch": 3.873333333333333,
      "grad_norm": 0.2572331130504608,
      "learning_rate": 9.354444444444445e-05,
      "loss": 0.0344,
      "step": 29050
    },
    {
      "epoch": 3.8746666666666667,
      "grad_norm": 0.43505367636680603,
      "learning_rate": 9.354222222222222e-05,
      "loss": 0.0343,
      "step": 29060
    },
    {
      "epoch": 3.876,
      "grad_norm": 0.2808617353439331,
      "learning_rate": 9.354e-05,
      "loss": 0.0273,
      "step": 29070
    },
    {
      "epoch": 3.8773333333333335,
      "grad_norm": 0.46012282371520996,
      "learning_rate": 9.353777777777778e-05,
      "loss": 0.027,
      "step": 29080
    },
    {
      "epoch": 3.8786666666666667,
      "grad_norm": 1.176526665687561,
      "learning_rate": 9.353555555555557e-05,
      "loss": 0.0473,
      "step": 29090
    },
    {
      "epoch": 3.88,
      "grad_norm": 0.29172831773757935,
      "learning_rate": 9.353333333333333e-05,
      "loss": 0.0228,
      "step": 29100
    },
    {
      "epoch": 3.881333333333333,
      "grad_norm": 0.750556468963623,
      "learning_rate": 9.353111111111111e-05,
      "loss": 0.0256,
      "step": 29110
    },
    {
      "epoch": 3.8826666666666667,
      "grad_norm": 0.3307327926158905,
      "learning_rate": 9.352888888888889e-05,
      "loss": 0.0303,
      "step": 29120
    },
    {
      "epoch": 3.884,
      "grad_norm": 0.613860011100769,
      "learning_rate": 9.352666666666667e-05,
      "loss": 0.0336,
      "step": 29130
    },
    {
      "epoch": 3.8853333333333335,
      "grad_norm": 1.2531604766845703,
      "learning_rate": 9.352444444444444e-05,
      "loss": 0.032,
      "step": 29140
    },
    {
      "epoch": 3.8866666666666667,
      "grad_norm": 0.18826471269130707,
      "learning_rate": 9.352222222222222e-05,
      "loss": 0.0359,
      "step": 29150
    },
    {
      "epoch": 3.888,
      "grad_norm": 0.2866692841053009,
      "learning_rate": 9.352000000000001e-05,
      "loss": 0.0269,
      "step": 29160
    },
    {
      "epoch": 3.889333333333333,
      "grad_norm": 0.8553494811058044,
      "learning_rate": 9.351777777777778e-05,
      "loss": 0.0307,
      "step": 29170
    },
    {
      "epoch": 3.8906666666666667,
      "grad_norm": 0.5363701581954956,
      "learning_rate": 9.351555555555555e-05,
      "loss": 0.027,
      "step": 29180
    },
    {
      "epoch": 3.892,
      "grad_norm": 0.4955478608608246,
      "learning_rate": 9.351333333333334e-05,
      "loss": 0.0251,
      "step": 29190
    },
    {
      "epoch": 3.8933333333333335,
      "grad_norm": 0.2696409523487091,
      "learning_rate": 9.351111111111112e-05,
      "loss": 0.0334,
      "step": 29200
    },
    {
      "epoch": 3.8946666666666667,
      "grad_norm": 0.7359998226165771,
      "learning_rate": 9.350888888888889e-05,
      "loss": 0.023,
      "step": 29210
    },
    {
      "epoch": 3.896,
      "grad_norm": 1.0267322063446045,
      "learning_rate": 9.350666666666668e-05,
      "loss": 0.0533,
      "step": 29220
    },
    {
      "epoch": 3.897333333333333,
      "grad_norm": 0.43119511008262634,
      "learning_rate": 9.350444444444445e-05,
      "loss": 0.0238,
      "step": 29230
    },
    {
      "epoch": 3.8986666666666667,
      "grad_norm": 0.2504282295703888,
      "learning_rate": 9.350222222222222e-05,
      "loss": 0.0379,
      "step": 29240
    },
    {
      "epoch": 3.9,
      "grad_norm": 0.3104025423526764,
      "learning_rate": 9.350000000000001e-05,
      "loss": 0.0318,
      "step": 29250
    },
    {
      "epoch": 3.9013333333333335,
      "grad_norm": 0.34881266951560974,
      "learning_rate": 9.349777777777779e-05,
      "loss": 0.0298,
      "step": 29260
    },
    {
      "epoch": 3.9026666666666667,
      "grad_norm": 0.4577329456806183,
      "learning_rate": 9.349555555555556e-05,
      "loss": 0.0251,
      "step": 29270
    },
    {
      "epoch": 3.904,
      "grad_norm": 0.5168555974960327,
      "learning_rate": 9.349333333333333e-05,
      "loss": 0.0286,
      "step": 29280
    },
    {
      "epoch": 3.905333333333333,
      "grad_norm": 0.5485386252403259,
      "learning_rate": 9.349111111111112e-05,
      "loss": 0.0313,
      "step": 29290
    },
    {
      "epoch": 3.9066666666666667,
      "grad_norm": 1.5049809217453003,
      "learning_rate": 9.34888888888889e-05,
      "loss": 0.0376,
      "step": 29300
    },
    {
      "epoch": 3.908,
      "grad_norm": 0.5889553427696228,
      "learning_rate": 9.348666666666666e-05,
      "loss": 0.0311,
      "step": 29310
    },
    {
      "epoch": 3.9093333333333335,
      "grad_norm": 0.3653208911418915,
      "learning_rate": 9.348444444444445e-05,
      "loss": 0.0282,
      "step": 29320
    },
    {
      "epoch": 3.9106666666666667,
      "grad_norm": 0.18972985446453094,
      "learning_rate": 9.348222222222223e-05,
      "loss": 0.0211,
      "step": 29330
    },
    {
      "epoch": 3.912,
      "grad_norm": 2.030407428741455,
      "learning_rate": 9.348e-05,
      "loss": 0.0414,
      "step": 29340
    },
    {
      "epoch": 3.913333333333333,
      "grad_norm": 0.6875685453414917,
      "learning_rate": 9.347777777777778e-05,
      "loss": 0.0279,
      "step": 29350
    },
    {
      "epoch": 3.9146666666666667,
      "grad_norm": 0.4737904965877533,
      "learning_rate": 9.347555555555556e-05,
      "loss": 0.0379,
      "step": 29360
    },
    {
      "epoch": 3.916,
      "grad_norm": 0.5056411623954773,
      "learning_rate": 9.347333333333334e-05,
      "loss": 0.0231,
      "step": 29370
    },
    {
      "epoch": 3.9173333333333336,
      "grad_norm": 0.19889013469219208,
      "learning_rate": 9.347111111111112e-05,
      "loss": 0.0378,
      "step": 29380
    },
    {
      "epoch": 3.9186666666666667,
      "grad_norm": 0.6695780754089355,
      "learning_rate": 9.34688888888889e-05,
      "loss": 0.0194,
      "step": 29390
    },
    {
      "epoch": 3.92,
      "grad_norm": 0.35833480954170227,
      "learning_rate": 9.346666666666667e-05,
      "loss": 0.0226,
      "step": 29400
    },
    {
      "epoch": 3.921333333333333,
      "grad_norm": 0.2985626459121704,
      "learning_rate": 9.346444444444445e-05,
      "loss": 0.0356,
      "step": 29410
    },
    {
      "epoch": 3.9226666666666667,
      "grad_norm": 0.25613999366760254,
      "learning_rate": 9.346222222222223e-05,
      "loss": 0.0291,
      "step": 29420
    },
    {
      "epoch": 3.924,
      "grad_norm": 0.09618345648050308,
      "learning_rate": 9.346e-05,
      "loss": 0.0205,
      "step": 29430
    },
    {
      "epoch": 3.9253333333333336,
      "grad_norm": 0.2586853802204132,
      "learning_rate": 9.345777777777778e-05,
      "loss": 0.0199,
      "step": 29440
    },
    {
      "epoch": 3.9266666666666667,
      "grad_norm": 0.807690441608429,
      "learning_rate": 9.345555555555556e-05,
      "loss": 0.0258,
      "step": 29450
    },
    {
      "epoch": 3.928,
      "grad_norm": 0.46602991223335266,
      "learning_rate": 9.345333333333334e-05,
      "loss": 0.0243,
      "step": 29460
    },
    {
      "epoch": 3.929333333333333,
      "grad_norm": 0.4439902603626251,
      "learning_rate": 9.345111111111111e-05,
      "loss": 0.0229,
      "step": 29470
    },
    {
      "epoch": 3.9306666666666668,
      "grad_norm": 0.6223869323730469,
      "learning_rate": 9.34488888888889e-05,
      "loss": 0.0228,
      "step": 29480
    },
    {
      "epoch": 3.932,
      "grad_norm": 1.4228754043579102,
      "learning_rate": 9.344666666666667e-05,
      "loss": 0.035,
      "step": 29490
    },
    {
      "epoch": 3.9333333333333336,
      "grad_norm": 1.2924003601074219,
      "learning_rate": 9.344444444444444e-05,
      "loss": 0.0273,
      "step": 29500
    },
    {
      "epoch": 3.9346666666666668,
      "grad_norm": 0.5721853971481323,
      "learning_rate": 9.344222222222224e-05,
      "loss": 0.0282,
      "step": 29510
    },
    {
      "epoch": 3.936,
      "grad_norm": 0.3958580195903778,
      "learning_rate": 9.344e-05,
      "loss": 0.0165,
      "step": 29520
    },
    {
      "epoch": 3.937333333333333,
      "grad_norm": 1.2241771221160889,
      "learning_rate": 9.343777777777778e-05,
      "loss": 0.0287,
      "step": 29530
    },
    {
      "epoch": 3.9386666666666668,
      "grad_norm": 0.738937258720398,
      "learning_rate": 9.343555555555557e-05,
      "loss": 0.0379,
      "step": 29540
    },
    {
      "epoch": 3.94,
      "grad_norm": 0.5523553490638733,
      "learning_rate": 9.343333333333335e-05,
      "loss": 0.0172,
      "step": 29550
    },
    {
      "epoch": 3.9413333333333336,
      "grad_norm": 0.31392529606819153,
      "learning_rate": 9.343111111111111e-05,
      "loss": 0.032,
      "step": 29560
    },
    {
      "epoch": 3.9426666666666668,
      "grad_norm": 0.6777248382568359,
      "learning_rate": 9.342888888888889e-05,
      "loss": 0.0261,
      "step": 29570
    },
    {
      "epoch": 3.944,
      "grad_norm": 0.6335834860801697,
      "learning_rate": 9.342666666666668e-05,
      "loss": 0.0272,
      "step": 29580
    },
    {
      "epoch": 3.945333333333333,
      "grad_norm": 1.0390982627868652,
      "learning_rate": 9.342444444444444e-05,
      "loss": 0.0256,
      "step": 29590
    },
    {
      "epoch": 3.9466666666666668,
      "grad_norm": 0.19685578346252441,
      "learning_rate": 9.342222222222222e-05,
      "loss": 0.0287,
      "step": 29600
    },
    {
      "epoch": 3.948,
      "grad_norm": 0.43254491686820984,
      "learning_rate": 9.342000000000001e-05,
      "loss": 0.0243,
      "step": 29610
    },
    {
      "epoch": 3.9493333333333336,
      "grad_norm": 0.13611218333244324,
      "learning_rate": 9.341777777777779e-05,
      "loss": 0.0382,
      "step": 29620
    },
    {
      "epoch": 3.9506666666666668,
      "grad_norm": 0.5639960765838623,
      "learning_rate": 9.341555555555555e-05,
      "loss": 0.0244,
      "step": 29630
    },
    {
      "epoch": 3.952,
      "grad_norm": 0.2381768524646759,
      "learning_rate": 9.341333333333334e-05,
      "loss": 0.0276,
      "step": 29640
    },
    {
      "epoch": 3.953333333333333,
      "grad_norm": 1.3954890966415405,
      "learning_rate": 9.341111111111112e-05,
      "loss": 0.0475,
      "step": 29650
    },
    {
      "epoch": 3.9546666666666668,
      "grad_norm": 0.16870132088661194,
      "learning_rate": 9.340888888888888e-05,
      "loss": 0.0373,
      "step": 29660
    },
    {
      "epoch": 3.956,
      "grad_norm": 0.37368911504745483,
      "learning_rate": 9.340666666666667e-05,
      "loss": 0.0404,
      "step": 29670
    },
    {
      "epoch": 3.9573333333333336,
      "grad_norm": 0.43710604310035706,
      "learning_rate": 9.340444444444445e-05,
      "loss": 0.0282,
      "step": 29680
    },
    {
      "epoch": 3.958666666666667,
      "grad_norm": 0.325237512588501,
      "learning_rate": 9.340222222222223e-05,
      "loss": 0.0321,
      "step": 29690
    },
    {
      "epoch": 3.96,
      "grad_norm": 0.3139830529689789,
      "learning_rate": 9.340000000000001e-05,
      "loss": 0.024,
      "step": 29700
    },
    {
      "epoch": 3.961333333333333,
      "grad_norm": 0.6848735213279724,
      "learning_rate": 9.339777777777778e-05,
      "loss": 0.0232,
      "step": 29710
    },
    {
      "epoch": 3.962666666666667,
      "grad_norm": 0.20097143948078156,
      "learning_rate": 9.339555555555556e-05,
      "loss": 0.0252,
      "step": 29720
    },
    {
      "epoch": 3.964,
      "grad_norm": 0.5160725712776184,
      "learning_rate": 9.339333333333334e-05,
      "loss": 0.034,
      "step": 29730
    },
    {
      "epoch": 3.9653333333333336,
      "grad_norm": 0.5430808663368225,
      "learning_rate": 9.339111111111112e-05,
      "loss": 0.02,
      "step": 29740
    },
    {
      "epoch": 3.966666666666667,
      "grad_norm": 0.5550430417060852,
      "learning_rate": 9.33888888888889e-05,
      "loss": 0.0238,
      "step": 29750
    },
    {
      "epoch": 3.968,
      "grad_norm": 0.4236747622489929,
      "learning_rate": 9.338666666666667e-05,
      "loss": 0.0334,
      "step": 29760
    },
    {
      "epoch": 3.969333333333333,
      "grad_norm": 0.3883941173553467,
      "learning_rate": 9.338444444444445e-05,
      "loss": 0.0235,
      "step": 29770
    },
    {
      "epoch": 3.970666666666667,
      "grad_norm": 0.20877918601036072,
      "learning_rate": 9.338222222222223e-05,
      "loss": 0.0338,
      "step": 29780
    },
    {
      "epoch": 3.972,
      "grad_norm": 0.687880277633667,
      "learning_rate": 9.338e-05,
      "loss": 0.0338,
      "step": 29790
    },
    {
      "epoch": 3.9733333333333336,
      "grad_norm": 0.7717173099517822,
      "learning_rate": 9.337777777777778e-05,
      "loss": 0.0195,
      "step": 29800
    },
    {
      "epoch": 3.974666666666667,
      "grad_norm": 0.42746636271476746,
      "learning_rate": 9.337555555555556e-05,
      "loss": 0.0265,
      "step": 29810
    },
    {
      "epoch": 3.976,
      "grad_norm": 0.40099653601646423,
      "learning_rate": 9.337333333333334e-05,
      "loss": 0.0223,
      "step": 29820
    },
    {
      "epoch": 3.977333333333333,
      "grad_norm": 0.3712829053401947,
      "learning_rate": 9.337111111111113e-05,
      "loss": 0.028,
      "step": 29830
    },
    {
      "epoch": 3.978666666666667,
      "grad_norm": 0.22401918470859528,
      "learning_rate": 9.336888888888889e-05,
      "loss": 0.0169,
      "step": 29840
    },
    {
      "epoch": 3.98,
      "grad_norm": 1.6066083908081055,
      "learning_rate": 9.336666666666667e-05,
      "loss": 0.031,
      "step": 29850
    },
    {
      "epoch": 3.981333333333333,
      "grad_norm": 0.5095439553260803,
      "learning_rate": 9.336444444444446e-05,
      "loss": 0.0185,
      "step": 29860
    },
    {
      "epoch": 3.982666666666667,
      "grad_norm": 0.3684065341949463,
      "learning_rate": 9.336222222222222e-05,
      "loss": 0.0277,
      "step": 29870
    },
    {
      "epoch": 3.984,
      "grad_norm": 0.4742783308029175,
      "learning_rate": 9.336e-05,
      "loss": 0.0318,
      "step": 29880
    },
    {
      "epoch": 3.985333333333333,
      "grad_norm": 1.1039528846740723,
      "learning_rate": 9.335777777777778e-05,
      "loss": 0.0302,
      "step": 29890
    },
    {
      "epoch": 3.986666666666667,
      "grad_norm": 0.37971046566963196,
      "learning_rate": 9.335555555555557e-05,
      "loss": 0.0246,
      "step": 29900
    },
    {
      "epoch": 3.988,
      "grad_norm": 0.6154299974441528,
      "learning_rate": 9.335333333333333e-05,
      "loss": 0.0268,
      "step": 29910
    },
    {
      "epoch": 3.989333333333333,
      "grad_norm": 0.36926358938217163,
      "learning_rate": 9.335111111111111e-05,
      "loss": 0.0324,
      "step": 29920
    },
    {
      "epoch": 3.990666666666667,
      "grad_norm": 0.26880377531051636,
      "learning_rate": 9.33488888888889e-05,
      "loss": 0.0252,
      "step": 29930
    },
    {
      "epoch": 3.992,
      "grad_norm": 0.5340173244476318,
      "learning_rate": 9.334666666666667e-05,
      "loss": 0.028,
      "step": 29940
    },
    {
      "epoch": 3.993333333333333,
      "grad_norm": 0.13675887882709503,
      "learning_rate": 9.334444444444444e-05,
      "loss": 0.0301,
      "step": 29950
    },
    {
      "epoch": 3.994666666666667,
      "grad_norm": 0.803730845451355,
      "learning_rate": 9.334222222222223e-05,
      "loss": 0.0272,
      "step": 29960
    },
    {
      "epoch": 3.996,
      "grad_norm": 0.34621521830558777,
      "learning_rate": 9.334000000000001e-05,
      "loss": 0.0285,
      "step": 29970
    },
    {
      "epoch": 3.997333333333333,
      "grad_norm": 0.4571567475795746,
      "learning_rate": 9.333777777777777e-05,
      "loss": 0.0336,
      "step": 29980
    },
    {
      "epoch": 3.998666666666667,
      "grad_norm": 0.34934043884277344,
      "learning_rate": 9.333555555555557e-05,
      "loss": 0.017,
      "step": 29990
    },
    {
      "epoch": 4.0,
      "grad_norm": 1.3473923206329346,
      "learning_rate": 9.333333333333334e-05,
      "loss": 0.0295,
      "step": 30000
    },
    {
      "epoch": 4.0,
      "eval_loss": 0.023260051384568214,
      "eval_runtime": 36.7203,
      "eval_samples_per_second": 81.699,
      "eval_steps_per_second": 5.12,
      "step": 30000
    },
    {
      "epoch": 4.001333333333333,
      "grad_norm": 0.36336496472358704,
      "learning_rate": 9.333111111111111e-05,
      "loss": 0.0216,
      "step": 30010
    },
    {
      "epoch": 4.002666666666666,
      "grad_norm": 0.5578523278236389,
      "learning_rate": 9.332888888888888e-05,
      "loss": 0.0237,
      "step": 30020
    },
    {
      "epoch": 4.004,
      "grad_norm": 0.5520942807197571,
      "learning_rate": 9.332666666666668e-05,
      "loss": 0.027,
      "step": 30030
    },
    {
      "epoch": 4.005333333333334,
      "grad_norm": 0.1125616580247879,
      "learning_rate": 9.332444444444445e-05,
      "loss": 0.0185,
      "step": 30040
    },
    {
      "epoch": 4.006666666666667,
      "grad_norm": 0.07328304648399353,
      "learning_rate": 9.332222222222222e-05,
      "loss": 0.0259,
      "step": 30050
    },
    {
      "epoch": 4.008,
      "grad_norm": 0.8215768337249756,
      "learning_rate": 9.332000000000001e-05,
      "loss": 0.0231,
      "step": 30060
    },
    {
      "epoch": 4.009333333333333,
      "grad_norm": 0.6001905202865601,
      "learning_rate": 9.331777777777779e-05,
      "loss": 0.0258,
      "step": 30070
    },
    {
      "epoch": 4.010666666666666,
      "grad_norm": 0.43363866209983826,
      "learning_rate": 9.331555555555556e-05,
      "loss": 0.0282,
      "step": 30080
    },
    {
      "epoch": 4.012,
      "grad_norm": 0.49965938925743103,
      "learning_rate": 9.331333333333334e-05,
      "loss": 0.0178,
      "step": 30090
    },
    {
      "epoch": 4.013333333333334,
      "grad_norm": 0.19105380773544312,
      "learning_rate": 9.331111111111112e-05,
      "loss": 0.0292,
      "step": 30100
    },
    {
      "epoch": 4.014666666666667,
      "grad_norm": 0.5305050611495972,
      "learning_rate": 9.33088888888889e-05,
      "loss": 0.0178,
      "step": 30110
    },
    {
      "epoch": 4.016,
      "grad_norm": 1.3472230434417725,
      "learning_rate": 9.330666666666667e-05,
      "loss": 0.032,
      "step": 30120
    },
    {
      "epoch": 4.017333333333333,
      "grad_norm": 0.4518365263938904,
      "learning_rate": 9.330444444444445e-05,
      "loss": 0.0375,
      "step": 30130
    },
    {
      "epoch": 4.018666666666666,
      "grad_norm": 1.3435114622116089,
      "learning_rate": 9.330222222222223e-05,
      "loss": 0.0248,
      "step": 30140
    },
    {
      "epoch": 4.02,
      "grad_norm": 0.21689799427986145,
      "learning_rate": 9.33e-05,
      "loss": 0.0208,
      "step": 30150
    },
    {
      "epoch": 4.021333333333334,
      "grad_norm": 0.3665998876094818,
      "learning_rate": 9.329777777777778e-05,
      "loss": 0.0164,
      "step": 30160
    },
    {
      "epoch": 4.022666666666667,
      "grad_norm": 0.2686581611633301,
      "learning_rate": 9.329555555555556e-05,
      "loss": 0.0176,
      "step": 30170
    },
    {
      "epoch": 4.024,
      "grad_norm": 0.7212173938751221,
      "learning_rate": 9.329333333333334e-05,
      "loss": 0.0206,
      "step": 30180
    },
    {
      "epoch": 4.025333333333333,
      "grad_norm": 0.15137030184268951,
      "learning_rate": 9.329111111111111e-05,
      "loss": 0.021,
      "step": 30190
    },
    {
      "epoch": 4.026666666666666,
      "grad_norm": 0.23775571584701538,
      "learning_rate": 9.328888888888889e-05,
      "loss": 0.0225,
      "step": 30200
    },
    {
      "epoch": 4.028,
      "grad_norm": 0.3234576880931854,
      "learning_rate": 9.328666666666667e-05,
      "loss": 0.0283,
      "step": 30210
    },
    {
      "epoch": 4.029333333333334,
      "grad_norm": 0.8149381279945374,
      "learning_rate": 9.328444444444445e-05,
      "loss": 0.0351,
      "step": 30220
    },
    {
      "epoch": 4.030666666666667,
      "grad_norm": 0.24606376886367798,
      "learning_rate": 9.328222222222222e-05,
      "loss": 0.022,
      "step": 30230
    },
    {
      "epoch": 4.032,
      "grad_norm": 1.6700773239135742,
      "learning_rate": 9.328e-05,
      "loss": 0.0204,
      "step": 30240
    },
    {
      "epoch": 4.033333333333333,
      "grad_norm": 0.572351336479187,
      "learning_rate": 9.327777777777779e-05,
      "loss": 0.0227,
      "step": 30250
    },
    {
      "epoch": 4.034666666666666,
      "grad_norm": 0.5933334827423096,
      "learning_rate": 9.327555555555556e-05,
      "loss": 0.0286,
      "step": 30260
    },
    {
      "epoch": 4.036,
      "grad_norm": 0.4895942509174347,
      "learning_rate": 9.327333333333333e-05,
      "loss": 0.0229,
      "step": 30270
    },
    {
      "epoch": 4.037333333333334,
      "grad_norm": 0.38380536437034607,
      "learning_rate": 9.327111111111112e-05,
      "loss": 0.0265,
      "step": 30280
    },
    {
      "epoch": 4.038666666666667,
      "grad_norm": 0.28843918442726135,
      "learning_rate": 9.326888888888889e-05,
      "loss": 0.026,
      "step": 30290
    },
    {
      "epoch": 4.04,
      "grad_norm": 0.9847070574760437,
      "learning_rate": 9.326666666666667e-05,
      "loss": 0.0263,
      "step": 30300
    },
    {
      "epoch": 4.041333333333333,
      "grad_norm": 0.9918678402900696,
      "learning_rate": 9.326444444444446e-05,
      "loss": 0.0254,
      "step": 30310
    },
    {
      "epoch": 4.042666666666666,
      "grad_norm": 0.5513920783996582,
      "learning_rate": 9.326222222222223e-05,
      "loss": 0.0251,
      "step": 30320
    },
    {
      "epoch": 4.044,
      "grad_norm": 0.17676176130771637,
      "learning_rate": 9.326e-05,
      "loss": 0.0298,
      "step": 30330
    },
    {
      "epoch": 4.045333333333334,
      "grad_norm": 0.5056782960891724,
      "learning_rate": 9.325777777777778e-05,
      "loss": 0.0347,
      "step": 30340
    },
    {
      "epoch": 4.046666666666667,
      "grad_norm": 0.15682516992092133,
      "learning_rate": 9.325555555555557e-05,
      "loss": 0.0356,
      "step": 30350
    },
    {
      "epoch": 4.048,
      "grad_norm": 0.5194208025932312,
      "learning_rate": 9.325333333333333e-05,
      "loss": 0.0184,
      "step": 30360
    },
    {
      "epoch": 4.049333333333333,
      "grad_norm": 0.2170409858226776,
      "learning_rate": 9.325111111111111e-05,
      "loss": 0.03,
      "step": 30370
    },
    {
      "epoch": 4.050666666666666,
      "grad_norm": 0.4527602791786194,
      "learning_rate": 9.32488888888889e-05,
      "loss": 0.0224,
      "step": 30380
    },
    {
      "epoch": 4.052,
      "grad_norm": 0.8928447961807251,
      "learning_rate": 9.324666666666668e-05,
      "loss": 0.0254,
      "step": 30390
    },
    {
      "epoch": 4.053333333333334,
      "grad_norm": 0.32317644357681274,
      "learning_rate": 9.324444444444444e-05,
      "loss": 0.0266,
      "step": 30400
    },
    {
      "epoch": 4.054666666666667,
      "grad_norm": 0.22846117615699768,
      "learning_rate": 9.324222222222223e-05,
      "loss": 0.0176,
      "step": 30410
    },
    {
      "epoch": 4.056,
      "grad_norm": 0.5427713394165039,
      "learning_rate": 9.324000000000001e-05,
      "loss": 0.0247,
      "step": 30420
    },
    {
      "epoch": 4.057333333333333,
      "grad_norm": 0.3119974136352539,
      "learning_rate": 9.323777777777779e-05,
      "loss": 0.0239,
      "step": 30430
    },
    {
      "epoch": 4.058666666666666,
      "grad_norm": 0.606169581413269,
      "learning_rate": 9.323555555555556e-05,
      "loss": 0.0305,
      "step": 30440
    },
    {
      "epoch": 4.06,
      "grad_norm": 0.7112329602241516,
      "learning_rate": 9.323333333333334e-05,
      "loss": 0.0247,
      "step": 30450
    },
    {
      "epoch": 4.061333333333334,
      "grad_norm": 0.7754114866256714,
      "learning_rate": 9.323111111111112e-05,
      "loss": 0.0307,
      "step": 30460
    },
    {
      "epoch": 4.062666666666667,
      "grad_norm": 0.8348323702812195,
      "learning_rate": 9.322888888888888e-05,
      "loss": 0.0274,
      "step": 30470
    },
    {
      "epoch": 4.064,
      "grad_norm": 0.21451298892498016,
      "learning_rate": 9.322666666666667e-05,
      "loss": 0.036,
      "step": 30480
    },
    {
      "epoch": 4.065333333333333,
      "grad_norm": 0.26123446226119995,
      "learning_rate": 9.322444444444445e-05,
      "loss": 0.0314,
      "step": 30490
    },
    {
      "epoch": 4.066666666666666,
      "grad_norm": 0.48832085728645325,
      "learning_rate": 9.322222222222223e-05,
      "loss": 0.0192,
      "step": 30500
    },
    {
      "epoch": 4.068,
      "grad_norm": 0.19747647643089294,
      "learning_rate": 9.322e-05,
      "loss": 0.0218,
      "step": 30510
    },
    {
      "epoch": 4.069333333333334,
      "grad_norm": 0.6032150387763977,
      "learning_rate": 9.321777777777778e-05,
      "loss": 0.0288,
      "step": 30520
    },
    {
      "epoch": 4.070666666666667,
      "grad_norm": 0.4017427861690521,
      "learning_rate": 9.321555555555556e-05,
      "loss": 0.0268,
      "step": 30530
    },
    {
      "epoch": 4.072,
      "grad_norm": 0.2990356981754303,
      "learning_rate": 9.321333333333334e-05,
      "loss": 0.0186,
      "step": 30540
    },
    {
      "epoch": 4.073333333333333,
      "grad_norm": 0.2029470056295395,
      "learning_rate": 9.321111111111112e-05,
      "loss": 0.0228,
      "step": 30550
    },
    {
      "epoch": 4.074666666666666,
      "grad_norm": 0.419491708278656,
      "learning_rate": 9.320888888888889e-05,
      "loss": 0.0367,
      "step": 30560
    },
    {
      "epoch": 4.076,
      "grad_norm": 0.7305456399917603,
      "learning_rate": 9.320666666666667e-05,
      "loss": 0.0336,
      "step": 30570
    },
    {
      "epoch": 4.077333333333334,
      "grad_norm": 0.46730220317840576,
      "learning_rate": 9.320444444444445e-05,
      "loss": 0.0412,
      "step": 30580
    },
    {
      "epoch": 4.078666666666667,
      "grad_norm": 0.414231538772583,
      "learning_rate": 9.320222222222222e-05,
      "loss": 0.0249,
      "step": 30590
    },
    {
      "epoch": 4.08,
      "grad_norm": 0.8552785515785217,
      "learning_rate": 9.320000000000002e-05,
      "loss": 0.0292,
      "step": 30600
    },
    {
      "epoch": 4.081333333333333,
      "grad_norm": 0.6457135081291199,
      "learning_rate": 9.319777777777778e-05,
      "loss": 0.0227,
      "step": 30610
    },
    {
      "epoch": 4.082666666666666,
      "grad_norm": 0.6774312257766724,
      "learning_rate": 9.319555555555556e-05,
      "loss": 0.027,
      "step": 30620
    },
    {
      "epoch": 4.084,
      "grad_norm": 0.4733887314796448,
      "learning_rate": 9.319333333333333e-05,
      "loss": 0.0187,
      "step": 30630
    },
    {
      "epoch": 4.085333333333334,
      "grad_norm": 0.30030903220176697,
      "learning_rate": 9.319111111111111e-05,
      "loss": 0.0205,
      "step": 30640
    },
    {
      "epoch": 4.086666666666667,
      "grad_norm": 0.26521584391593933,
      "learning_rate": 9.318888888888889e-05,
      "loss": 0.0207,
      "step": 30650
    },
    {
      "epoch": 4.088,
      "grad_norm": 0.13713176548480988,
      "learning_rate": 9.318666666666667e-05,
      "loss": 0.0303,
      "step": 30660
    },
    {
      "epoch": 4.089333333333333,
      "grad_norm": 0.3692623972892761,
      "learning_rate": 9.318444444444446e-05,
      "loss": 0.0213,
      "step": 30670
    },
    {
      "epoch": 4.0906666666666665,
      "grad_norm": 0.4961017072200775,
      "learning_rate": 9.318222222222222e-05,
      "loss": 0.0207,
      "step": 30680
    },
    {
      "epoch": 4.092,
      "grad_norm": 2.4167613983154297,
      "learning_rate": 9.318e-05,
      "loss": 0.0257,
      "step": 30690
    },
    {
      "epoch": 4.093333333333334,
      "grad_norm": 0.5672833919525146,
      "learning_rate": 9.317777777777779e-05,
      "loss": 0.0282,
      "step": 30700
    },
    {
      "epoch": 4.094666666666667,
      "grad_norm": 0.9976653456687927,
      "learning_rate": 9.317555555555555e-05,
      "loss": 0.0198,
      "step": 30710
    },
    {
      "epoch": 4.096,
      "grad_norm": 0.7014450430870056,
      "learning_rate": 9.317333333333333e-05,
      "loss": 0.0278,
      "step": 30720
    },
    {
      "epoch": 4.097333333333333,
      "grad_norm": 0.19388669729232788,
      "learning_rate": 9.317111111111112e-05,
      "loss": 0.0204,
      "step": 30730
    },
    {
      "epoch": 4.0986666666666665,
      "grad_norm": 0.7978159189224243,
      "learning_rate": 9.31688888888889e-05,
      "loss": 0.0211,
      "step": 30740
    },
    {
      "epoch": 4.1,
      "grad_norm": 1.4516342878341675,
      "learning_rate": 9.316666666666666e-05,
      "loss": 0.0296,
      "step": 30750
    },
    {
      "epoch": 4.101333333333334,
      "grad_norm": 0.8735867142677307,
      "learning_rate": 9.316444444444445e-05,
      "loss": 0.0167,
      "step": 30760
    },
    {
      "epoch": 4.102666666666667,
      "grad_norm": 0.7641457915306091,
      "learning_rate": 9.316222222222223e-05,
      "loss": 0.0274,
      "step": 30770
    },
    {
      "epoch": 4.104,
      "grad_norm": 0.07859140634536743,
      "learning_rate": 9.316000000000001e-05,
      "loss": 0.0274,
      "step": 30780
    },
    {
      "epoch": 4.105333333333333,
      "grad_norm": 0.2876003384590149,
      "learning_rate": 9.315777777777777e-05,
      "loss": 0.0224,
      "step": 30790
    },
    {
      "epoch": 4.1066666666666665,
      "grad_norm": 0.4475780725479126,
      "learning_rate": 9.315555555555556e-05,
      "loss": 0.0266,
      "step": 30800
    },
    {
      "epoch": 4.108,
      "grad_norm": 0.6887837648391724,
      "learning_rate": 9.315333333333334e-05,
      "loss": 0.0438,
      "step": 30810
    },
    {
      "epoch": 4.109333333333334,
      "grad_norm": 0.9383347034454346,
      "learning_rate": 9.31511111111111e-05,
      "loss": 0.0205,
      "step": 30820
    },
    {
      "epoch": 4.110666666666667,
      "grad_norm": 1.2821515798568726,
      "learning_rate": 9.31488888888889e-05,
      "loss": 0.0248,
      "step": 30830
    },
    {
      "epoch": 4.112,
      "grad_norm": 0.8018108010292053,
      "learning_rate": 9.314666666666667e-05,
      "loss": 0.0268,
      "step": 30840
    },
    {
      "epoch": 4.113333333333333,
      "grad_norm": 0.5149369239807129,
      "learning_rate": 9.314444444444445e-05,
      "loss": 0.019,
      "step": 30850
    },
    {
      "epoch": 4.1146666666666665,
      "grad_norm": 0.33347266912460327,
      "learning_rate": 9.314222222222223e-05,
      "loss": 0.0206,
      "step": 30860
    },
    {
      "epoch": 4.116,
      "grad_norm": 0.20753741264343262,
      "learning_rate": 9.314e-05,
      "loss": 0.024,
      "step": 30870
    },
    {
      "epoch": 4.117333333333334,
      "grad_norm": 0.3377133905887604,
      "learning_rate": 9.313777777777778e-05,
      "loss": 0.0209,
      "step": 30880
    },
    {
      "epoch": 4.118666666666667,
      "grad_norm": 0.08589234203100204,
      "learning_rate": 9.313555555555556e-05,
      "loss": 0.0242,
      "step": 30890
    },
    {
      "epoch": 4.12,
      "grad_norm": 0.5952403545379639,
      "learning_rate": 9.313333333333334e-05,
      "loss": 0.0268,
      "step": 30900
    },
    {
      "epoch": 4.121333333333333,
      "grad_norm": 0.5320972204208374,
      "learning_rate": 9.313111111111112e-05,
      "loss": 0.0289,
      "step": 30910
    },
    {
      "epoch": 4.1226666666666665,
      "grad_norm": 0.20947681367397308,
      "learning_rate": 9.312888888888889e-05,
      "loss": 0.0263,
      "step": 30920
    },
    {
      "epoch": 4.124,
      "grad_norm": 0.5884188413619995,
      "learning_rate": 9.312666666666667e-05,
      "loss": 0.0172,
      "step": 30930
    },
    {
      "epoch": 4.125333333333334,
      "grad_norm": 0.49221131205558777,
      "learning_rate": 9.312444444444445e-05,
      "loss": 0.021,
      "step": 30940
    },
    {
      "epoch": 4.126666666666667,
      "grad_norm": 0.56212317943573,
      "learning_rate": 9.312222222222223e-05,
      "loss": 0.0285,
      "step": 30950
    },
    {
      "epoch": 4.128,
      "grad_norm": 1.0529251098632812,
      "learning_rate": 9.312e-05,
      "loss": 0.0203,
      "step": 30960
    },
    {
      "epoch": 4.129333333333333,
      "grad_norm": 0.7698112726211548,
      "learning_rate": 9.311777777777778e-05,
      "loss": 0.028,
      "step": 30970
    },
    {
      "epoch": 4.1306666666666665,
      "grad_norm": 0.5199430584907532,
      "learning_rate": 9.311555555555556e-05,
      "loss": 0.028,
      "step": 30980
    },
    {
      "epoch": 4.132,
      "grad_norm": 0.5986220836639404,
      "learning_rate": 9.311333333333334e-05,
      "loss": 0.0147,
      "step": 30990
    },
    {
      "epoch": 4.133333333333334,
      "grad_norm": 0.3035135269165039,
      "learning_rate": 9.311111111111111e-05,
      "loss": 0.0217,
      "step": 31000
    },
    {
      "epoch": 4.134666666666667,
      "grad_norm": 0.198785200715065,
      "learning_rate": 9.310888888888889e-05,
      "loss": 0.0188,
      "step": 31010
    },
    {
      "epoch": 4.136,
      "grad_norm": 0.2516859769821167,
      "learning_rate": 9.310666666666668e-05,
      "loss": 0.0289,
      "step": 31020
    },
    {
      "epoch": 4.137333333333333,
      "grad_norm": 1.1846293210983276,
      "learning_rate": 9.310444444444444e-05,
      "loss": 0.0317,
      "step": 31030
    },
    {
      "epoch": 4.1386666666666665,
      "grad_norm": 0.6842558979988098,
      "learning_rate": 9.310222222222222e-05,
      "loss": 0.026,
      "step": 31040
    },
    {
      "epoch": 4.14,
      "grad_norm": 0.5459785461425781,
      "learning_rate": 9.310000000000001e-05,
      "loss": 0.0224,
      "step": 31050
    },
    {
      "epoch": 4.141333333333334,
      "grad_norm": 0.1324222981929779,
      "learning_rate": 9.309777777777778e-05,
      "loss": 0.0286,
      "step": 31060
    },
    {
      "epoch": 4.142666666666667,
      "grad_norm": 0.8854917287826538,
      "learning_rate": 9.309555555555555e-05,
      "loss": 0.0265,
      "step": 31070
    },
    {
      "epoch": 4.144,
      "grad_norm": 0.36112740635871887,
      "learning_rate": 9.309333333333333e-05,
      "loss": 0.0205,
      "step": 31080
    },
    {
      "epoch": 4.145333333333333,
      "grad_norm": 0.589950680732727,
      "learning_rate": 9.309111111111112e-05,
      "loss": 0.0321,
      "step": 31090
    },
    {
      "epoch": 4.1466666666666665,
      "grad_norm": 0.2898927628993988,
      "learning_rate": 9.308888888888889e-05,
      "loss": 0.0225,
      "step": 31100
    },
    {
      "epoch": 4.148,
      "grad_norm": 0.687699019908905,
      "learning_rate": 9.308666666666666e-05,
      "loss": 0.0298,
      "step": 31110
    },
    {
      "epoch": 4.149333333333334,
      "grad_norm": 0.2727535367012024,
      "learning_rate": 9.308444444444446e-05,
      "loss": 0.029,
      "step": 31120
    },
    {
      "epoch": 4.150666666666667,
      "grad_norm": 0.35467854142189026,
      "learning_rate": 9.308222222222223e-05,
      "loss": 0.0178,
      "step": 31130
    },
    {
      "epoch": 4.152,
      "grad_norm": 0.463381826877594,
      "learning_rate": 9.308e-05,
      "loss": 0.0238,
      "step": 31140
    },
    {
      "epoch": 4.153333333333333,
      "grad_norm": 1.3538957834243774,
      "learning_rate": 9.307777777777779e-05,
      "loss": 0.0244,
      "step": 31150
    },
    {
      "epoch": 4.1546666666666665,
      "grad_norm": 0.402919203042984,
      "learning_rate": 9.307555555555556e-05,
      "loss": 0.0513,
      "step": 31160
    },
    {
      "epoch": 4.156,
      "grad_norm": 2.5681722164154053,
      "learning_rate": 9.307333333333333e-05,
      "loss": 0.026,
      "step": 31170
    },
    {
      "epoch": 4.157333333333334,
      "grad_norm": 0.15788283944129944,
      "learning_rate": 9.307111111111112e-05,
      "loss": 0.0203,
      "step": 31180
    },
    {
      "epoch": 4.158666666666667,
      "grad_norm": 0.22473278641700745,
      "learning_rate": 9.30688888888889e-05,
      "loss": 0.0267,
      "step": 31190
    },
    {
      "epoch": 4.16,
      "grad_norm": 0.23278498649597168,
      "learning_rate": 9.306666666666667e-05,
      "loss": 0.0252,
      "step": 31200
    },
    {
      "epoch": 4.161333333333333,
      "grad_norm": 0.21976888179779053,
      "learning_rate": 9.306444444444445e-05,
      "loss": 0.021,
      "step": 31210
    },
    {
      "epoch": 4.1626666666666665,
      "grad_norm": 0.38618505001068115,
      "learning_rate": 9.306222222222223e-05,
      "loss": 0.0207,
      "step": 31220
    },
    {
      "epoch": 4.164,
      "grad_norm": 0.5474566221237183,
      "learning_rate": 9.306000000000001e-05,
      "loss": 0.0256,
      "step": 31230
    },
    {
      "epoch": 4.165333333333333,
      "grad_norm": 0.6385856866836548,
      "learning_rate": 9.305777777777777e-05,
      "loss": 0.0251,
      "step": 31240
    },
    {
      "epoch": 4.166666666666667,
      "grad_norm": 0.0989328920841217,
      "learning_rate": 9.305555555555556e-05,
      "loss": 0.0167,
      "step": 31250
    },
    {
      "epoch": 4.168,
      "grad_norm": 0.5295788645744324,
      "learning_rate": 9.305333333333334e-05,
      "loss": 0.0256,
      "step": 31260
    },
    {
      "epoch": 4.169333333333333,
      "grad_norm": 0.749872088432312,
      "learning_rate": 9.305111111111112e-05,
      "loss": 0.0205,
      "step": 31270
    },
    {
      "epoch": 4.1706666666666665,
      "grad_norm": 0.45097148418426514,
      "learning_rate": 9.30488888888889e-05,
      "loss": 0.0258,
      "step": 31280
    },
    {
      "epoch": 4.172,
      "grad_norm": 0.2779576778411865,
      "learning_rate": 9.304666666666667e-05,
      "loss": 0.0199,
      "step": 31290
    },
    {
      "epoch": 4.173333333333334,
      "grad_norm": 0.22257724404335022,
      "learning_rate": 9.304444444444445e-05,
      "loss": 0.0219,
      "step": 31300
    },
    {
      "epoch": 4.174666666666667,
      "grad_norm": 0.9304080605506897,
      "learning_rate": 9.304222222222223e-05,
      "loss": 0.0249,
      "step": 31310
    },
    {
      "epoch": 4.176,
      "grad_norm": 0.7294774055480957,
      "learning_rate": 9.304e-05,
      "loss": 0.0527,
      "step": 31320
    },
    {
      "epoch": 4.177333333333333,
      "grad_norm": 0.12862364947795868,
      "learning_rate": 9.303777777777778e-05,
      "loss": 0.0162,
      "step": 31330
    },
    {
      "epoch": 4.1786666666666665,
      "grad_norm": 0.4435708224773407,
      "learning_rate": 9.303555555555556e-05,
      "loss": 0.0264,
      "step": 31340
    },
    {
      "epoch": 4.18,
      "grad_norm": 0.05219849944114685,
      "learning_rate": 9.303333333333334e-05,
      "loss": 0.0208,
      "step": 31350
    },
    {
      "epoch": 4.181333333333333,
      "grad_norm": 1.216105580329895,
      "learning_rate": 9.303111111111111e-05,
      "loss": 0.0177,
      "step": 31360
    },
    {
      "epoch": 4.182666666666667,
      "grad_norm": 0.3645345866680145,
      "learning_rate": 9.30288888888889e-05,
      "loss": 0.02,
      "step": 31370
    },
    {
      "epoch": 4.184,
      "grad_norm": 0.23976437747478485,
      "learning_rate": 9.302666666666667e-05,
      "loss": 0.0291,
      "step": 31380
    },
    {
      "epoch": 4.185333333333333,
      "grad_norm": 0.45451533794403076,
      "learning_rate": 9.302444444444445e-05,
      "loss": 0.0193,
      "step": 31390
    },
    {
      "epoch": 4.1866666666666665,
      "grad_norm": 0.581612229347229,
      "learning_rate": 9.302222222222222e-05,
      "loss": 0.0262,
      "step": 31400
    },
    {
      "epoch": 4.188,
      "grad_norm": 0.9052281975746155,
      "learning_rate": 9.302e-05,
      "loss": 0.0236,
      "step": 31410
    },
    {
      "epoch": 4.189333333333333,
      "grad_norm": 0.2678104341030121,
      "learning_rate": 9.301777777777778e-05,
      "loss": 0.0273,
      "step": 31420
    },
    {
      "epoch": 4.190666666666667,
      "grad_norm": 0.29579442739486694,
      "learning_rate": 9.301555555555556e-05,
      "loss": 0.0237,
      "step": 31430
    },
    {
      "epoch": 4.192,
      "grad_norm": 0.22275161743164062,
      "learning_rate": 9.301333333333335e-05,
      "loss": 0.0283,
      "step": 31440
    },
    {
      "epoch": 4.193333333333333,
      "grad_norm": 0.7343578934669495,
      "learning_rate": 9.301111111111111e-05,
      "loss": 0.0303,
      "step": 31450
    },
    {
      "epoch": 4.1946666666666665,
      "grad_norm": 0.3700592517852783,
      "learning_rate": 9.300888888888889e-05,
      "loss": 0.0194,
      "step": 31460
    },
    {
      "epoch": 4.196,
      "grad_norm": 0.5289264917373657,
      "learning_rate": 9.300666666666668e-05,
      "loss": 0.0206,
      "step": 31470
    },
    {
      "epoch": 4.197333333333333,
      "grad_norm": 0.45321518182754517,
      "learning_rate": 9.300444444444446e-05,
      "loss": 0.0262,
      "step": 31480
    },
    {
      "epoch": 4.198666666666667,
      "grad_norm": 0.6416343450546265,
      "learning_rate": 9.300222222222222e-05,
      "loss": 0.0246,
      "step": 31490
    },
    {
      "epoch": 4.2,
      "grad_norm": 0.5268011093139648,
      "learning_rate": 9.300000000000001e-05,
      "loss": 0.0138,
      "step": 31500
    },
    {
      "epoch": 4.201333333333333,
      "grad_norm": 0.6839638948440552,
      "learning_rate": 9.299777777777779e-05,
      "loss": 0.028,
      "step": 31510
    },
    {
      "epoch": 4.2026666666666666,
      "grad_norm": 0.6996198296546936,
      "learning_rate": 9.299555555555555e-05,
      "loss": 0.0232,
      "step": 31520
    },
    {
      "epoch": 4.204,
      "grad_norm": 0.19113945960998535,
      "learning_rate": 9.299333333333333e-05,
      "loss": 0.0289,
      "step": 31530
    },
    {
      "epoch": 4.205333333333333,
      "grad_norm": 0.7130977511405945,
      "learning_rate": 9.299111111111112e-05,
      "loss": 0.0252,
      "step": 31540
    },
    {
      "epoch": 4.206666666666667,
      "grad_norm": 0.38709503412246704,
      "learning_rate": 9.29888888888889e-05,
      "loss": 0.0305,
      "step": 31550
    },
    {
      "epoch": 4.208,
      "grad_norm": 0.23924434185028076,
      "learning_rate": 9.298666666666666e-05,
      "loss": 0.0215,
      "step": 31560
    },
    {
      "epoch": 4.209333333333333,
      "grad_norm": 1.5688202381134033,
      "learning_rate": 9.298444444444445e-05,
      "loss": 0.027,
      "step": 31570
    },
    {
      "epoch": 4.210666666666667,
      "grad_norm": 0.5668177008628845,
      "learning_rate": 9.298222222222223e-05,
      "loss": 0.0242,
      "step": 31580
    },
    {
      "epoch": 4.212,
      "grad_norm": 0.5372772216796875,
      "learning_rate": 9.298e-05,
      "loss": 0.0229,
      "step": 31590
    },
    {
      "epoch": 4.213333333333333,
      "grad_norm": 0.2791233956813812,
      "learning_rate": 9.297777777777779e-05,
      "loss": 0.0299,
      "step": 31600
    },
    {
      "epoch": 4.214666666666667,
      "grad_norm": 0.13394992053508759,
      "learning_rate": 9.297555555555556e-05,
      "loss": 0.0206,
      "step": 31610
    },
    {
      "epoch": 4.216,
      "grad_norm": 0.2460554838180542,
      "learning_rate": 9.297333333333334e-05,
      "loss": 0.0204,
      "step": 31620
    },
    {
      "epoch": 4.217333333333333,
      "grad_norm": 0.37186622619628906,
      "learning_rate": 9.297111111111112e-05,
      "loss": 0.0191,
      "step": 31630
    },
    {
      "epoch": 4.218666666666667,
      "grad_norm": 1.5572181940078735,
      "learning_rate": 9.29688888888889e-05,
      "loss": 0.0199,
      "step": 31640
    },
    {
      "epoch": 4.22,
      "grad_norm": 0.2828192114830017,
      "learning_rate": 9.296666666666667e-05,
      "loss": 0.0179,
      "step": 31650
    },
    {
      "epoch": 4.221333333333333,
      "grad_norm": 0.585878312587738,
      "learning_rate": 9.296444444444445e-05,
      "loss": 0.0279,
      "step": 31660
    },
    {
      "epoch": 4.222666666666667,
      "grad_norm": 0.3920210003852844,
      "learning_rate": 9.296222222222223e-05,
      "loss": 0.0188,
      "step": 31670
    },
    {
      "epoch": 4.224,
      "grad_norm": 0.7636315226554871,
      "learning_rate": 9.296e-05,
      "loss": 0.0325,
      "step": 31680
    },
    {
      "epoch": 4.225333333333333,
      "grad_norm": 0.8064398765563965,
      "learning_rate": 9.295777777777778e-05,
      "loss": 0.0229,
      "step": 31690
    },
    {
      "epoch": 4.226666666666667,
      "grad_norm": 0.014758070930838585,
      "learning_rate": 9.295555555555556e-05,
      "loss": 0.0182,
      "step": 31700
    },
    {
      "epoch": 4.228,
      "grad_norm": 0.2556292712688446,
      "learning_rate": 9.295333333333334e-05,
      "loss": 0.0157,
      "step": 31710
    },
    {
      "epoch": 4.229333333333333,
      "grad_norm": 0.5869928002357483,
      "learning_rate": 9.295111111111111e-05,
      "loss": 0.0188,
      "step": 31720
    },
    {
      "epoch": 4.230666666666667,
      "grad_norm": 1.484747290611267,
      "learning_rate": 9.294888888888889e-05,
      "loss": 0.0341,
      "step": 31730
    },
    {
      "epoch": 4.232,
      "grad_norm": 0.077621228992939,
      "learning_rate": 9.294666666666667e-05,
      "loss": 0.0184,
      "step": 31740
    },
    {
      "epoch": 4.233333333333333,
      "grad_norm": 1.6591418981552124,
      "learning_rate": 9.294444444444445e-05,
      "loss": 0.033,
      "step": 31750
    },
    {
      "epoch": 4.234666666666667,
      "grad_norm": 0.21324539184570312,
      "learning_rate": 9.294222222222222e-05,
      "loss": 0.0179,
      "step": 31760
    },
    {
      "epoch": 4.236,
      "grad_norm": 0.19262807071208954,
      "learning_rate": 9.294e-05,
      "loss": 0.0238,
      "step": 31770
    },
    {
      "epoch": 4.237333333333333,
      "grad_norm": 0.549519419670105,
      "learning_rate": 9.293777777777778e-05,
      "loss": 0.0193,
      "step": 31780
    },
    {
      "epoch": 4.238666666666667,
      "grad_norm": 0.3969205915927887,
      "learning_rate": 9.293555555555557e-05,
      "loss": 0.0139,
      "step": 31790
    },
    {
      "epoch": 4.24,
      "grad_norm": 1.6573452949523926,
      "learning_rate": 9.293333333333333e-05,
      "loss": 0.0249,
      "step": 31800
    },
    {
      "epoch": 4.241333333333333,
      "grad_norm": 0.3546985387802124,
      "learning_rate": 9.293111111111111e-05,
      "loss": 0.0136,
      "step": 31810
    },
    {
      "epoch": 4.242666666666667,
      "grad_norm": 1.3565176725387573,
      "learning_rate": 9.29288888888889e-05,
      "loss": 0.0269,
      "step": 31820
    },
    {
      "epoch": 4.244,
      "grad_norm": 0.4392310678958893,
      "learning_rate": 9.292666666666668e-05,
      "loss": 0.0178,
      "step": 31830
    },
    {
      "epoch": 4.245333333333333,
      "grad_norm": 1.1409580707550049,
      "learning_rate": 9.292444444444444e-05,
      "loss": 0.0249,
      "step": 31840
    },
    {
      "epoch": 4.246666666666667,
      "grad_norm": 0.7779623866081238,
      "learning_rate": 9.292222222222222e-05,
      "loss": 0.0264,
      "step": 31850
    },
    {
      "epoch": 4.248,
      "grad_norm": 0.5645133852958679,
      "learning_rate": 9.292000000000001e-05,
      "loss": 0.0262,
      "step": 31860
    },
    {
      "epoch": 4.249333333333333,
      "grad_norm": 0.8904556035995483,
      "learning_rate": 9.291777777777778e-05,
      "loss": 0.0269,
      "step": 31870
    },
    {
      "epoch": 4.250666666666667,
      "grad_norm": 0.6757627725601196,
      "learning_rate": 9.291555555555555e-05,
      "loss": 0.025,
      "step": 31880
    },
    {
      "epoch": 4.252,
      "grad_norm": 0.49827367067337036,
      "learning_rate": 9.291333333333334e-05,
      "loss": 0.0326,
      "step": 31890
    },
    {
      "epoch": 4.253333333333333,
      "grad_norm": 0.28342127799987793,
      "learning_rate": 9.291111111111112e-05,
      "loss": 0.0315,
      "step": 31900
    },
    {
      "epoch": 4.254666666666667,
      "grad_norm": 0.5638359785079956,
      "learning_rate": 9.290888888888889e-05,
      "loss": 0.0364,
      "step": 31910
    },
    {
      "epoch": 4.256,
      "grad_norm": 0.35261276364326477,
      "learning_rate": 9.290666666666668e-05,
      "loss": 0.0189,
      "step": 31920
    },
    {
      "epoch": 4.257333333333333,
      "grad_norm": 0.26673585176467896,
      "learning_rate": 9.290444444444445e-05,
      "loss": 0.0222,
      "step": 31930
    },
    {
      "epoch": 4.258666666666667,
      "grad_norm": 0.410919725894928,
      "learning_rate": 9.290222222222222e-05,
      "loss": 0.0279,
      "step": 31940
    },
    {
      "epoch": 4.26,
      "grad_norm": 0.35416513681411743,
      "learning_rate": 9.290000000000001e-05,
      "loss": 0.0214,
      "step": 31950
    },
    {
      "epoch": 4.261333333333333,
      "grad_norm": 1.6196331977844238,
      "learning_rate": 9.289777777777779e-05,
      "loss": 0.0254,
      "step": 31960
    },
    {
      "epoch": 4.262666666666667,
      "grad_norm": 0.9254390001296997,
      "learning_rate": 9.289555555555556e-05,
      "loss": 0.0327,
      "step": 31970
    },
    {
      "epoch": 4.264,
      "grad_norm": 0.5859501957893372,
      "learning_rate": 9.289333333333334e-05,
      "loss": 0.0222,
      "step": 31980
    },
    {
      "epoch": 4.265333333333333,
      "grad_norm": 0.2425285130739212,
      "learning_rate": 9.289111111111112e-05,
      "loss": 0.016,
      "step": 31990
    },
    {
      "epoch": 4.266666666666667,
      "grad_norm": 0.4855715334415436,
      "learning_rate": 9.28888888888889e-05,
      "loss": 0.0198,
      "step": 32000
    },
    {
      "epoch": 4.268,
      "grad_norm": 0.9458868503570557,
      "learning_rate": 9.288666666666667e-05,
      "loss": 0.021,
      "step": 32010
    },
    {
      "epoch": 4.269333333333333,
      "grad_norm": 0.14988066256046295,
      "learning_rate": 9.288444444444445e-05,
      "loss": 0.0344,
      "step": 32020
    },
    {
      "epoch": 4.270666666666667,
      "grad_norm": 0.3933088481426239,
      "learning_rate": 9.288222222222223e-05,
      "loss": 0.0309,
      "step": 32030
    },
    {
      "epoch": 4.272,
      "grad_norm": 0.45592156052589417,
      "learning_rate": 9.288e-05,
      "loss": 0.0237,
      "step": 32040
    },
    {
      "epoch": 4.273333333333333,
      "grad_norm": 0.15972405672073364,
      "learning_rate": 9.287777777777778e-05,
      "loss": 0.0112,
      "step": 32050
    },
    {
      "epoch": 4.274666666666667,
      "grad_norm": 0.43175360560417175,
      "learning_rate": 9.287555555555556e-05,
      "loss": 0.0228,
      "step": 32060
    },
    {
      "epoch": 4.276,
      "grad_norm": 1.187501311302185,
      "learning_rate": 9.287333333333334e-05,
      "loss": 0.0199,
      "step": 32070
    },
    {
      "epoch": 4.277333333333333,
      "grad_norm": 0.2358553409576416,
      "learning_rate": 9.287111111111111e-05,
      "loss": 0.0392,
      "step": 32080
    },
    {
      "epoch": 4.278666666666667,
      "grad_norm": 0.3723980188369751,
      "learning_rate": 9.286888888888889e-05,
      "loss": 0.0239,
      "step": 32090
    },
    {
      "epoch": 4.28,
      "grad_norm": 0.7534729838371277,
      "learning_rate": 9.286666666666667e-05,
      "loss": 0.0222,
      "step": 32100
    },
    {
      "epoch": 4.281333333333333,
      "grad_norm": 0.2252422273159027,
      "learning_rate": 9.286444444444445e-05,
      "loss": 0.0211,
      "step": 32110
    },
    {
      "epoch": 4.282666666666667,
      "grad_norm": 0.45861485600471497,
      "learning_rate": 9.286222222222222e-05,
      "loss": 0.0139,
      "step": 32120
    },
    {
      "epoch": 4.284,
      "grad_norm": 0.5423296689987183,
      "learning_rate": 9.286e-05,
      "loss": 0.0284,
      "step": 32130
    },
    {
      "epoch": 4.285333333333333,
      "grad_norm": 0.29579606652259827,
      "learning_rate": 9.285777777777778e-05,
      "loss": 0.0198,
      "step": 32140
    },
    {
      "epoch": 4.286666666666667,
      "grad_norm": 0.29731881618499756,
      "learning_rate": 9.285555555555556e-05,
      "loss": 0.0153,
      "step": 32150
    },
    {
      "epoch": 4.288,
      "grad_norm": 0.5823158621788025,
      "learning_rate": 9.285333333333333e-05,
      "loss": 0.0357,
      "step": 32160
    },
    {
      "epoch": 4.289333333333333,
      "grad_norm": 0.7162362933158875,
      "learning_rate": 9.285111111111111e-05,
      "loss": 0.0228,
      "step": 32170
    },
    {
      "epoch": 4.290666666666667,
      "grad_norm": 3.793447494506836,
      "learning_rate": 9.28488888888889e-05,
      "loss": 0.0234,
      "step": 32180
    },
    {
      "epoch": 4.292,
      "grad_norm": 0.4049620032310486,
      "learning_rate": 9.284666666666667e-05,
      "loss": 0.0167,
      "step": 32190
    },
    {
      "epoch": 4.293333333333333,
      "grad_norm": 0.5029533505439758,
      "learning_rate": 9.284444444444444e-05,
      "loss": 0.0263,
      "step": 32200
    },
    {
      "epoch": 4.294666666666667,
      "grad_norm": 0.3288637697696686,
      "learning_rate": 9.284222222222223e-05,
      "loss": 0.0215,
      "step": 32210
    },
    {
      "epoch": 4.296,
      "grad_norm": 0.26799139380455017,
      "learning_rate": 9.284e-05,
      "loss": 0.0261,
      "step": 32220
    },
    {
      "epoch": 4.2973333333333334,
      "grad_norm": 0.4075430631637573,
      "learning_rate": 9.283777777777778e-05,
      "loss": 0.0246,
      "step": 32230
    },
    {
      "epoch": 4.298666666666667,
      "grad_norm": 1.4914568662643433,
      "learning_rate": 9.283555555555557e-05,
      "loss": 0.0277,
      "step": 32240
    },
    {
      "epoch": 4.3,
      "grad_norm": 0.13037000596523285,
      "learning_rate": 9.283333333333334e-05,
      "loss": 0.02,
      "step": 32250
    },
    {
      "epoch": 4.301333333333333,
      "grad_norm": 0.3785198926925659,
      "learning_rate": 9.283111111111111e-05,
      "loss": 0.0309,
      "step": 32260
    },
    {
      "epoch": 4.302666666666667,
      "grad_norm": 1.2964966297149658,
      "learning_rate": 9.28288888888889e-05,
      "loss": 0.0218,
      "step": 32270
    },
    {
      "epoch": 4.304,
      "grad_norm": 0.30813154578208923,
      "learning_rate": 9.282666666666668e-05,
      "loss": 0.0318,
      "step": 32280
    },
    {
      "epoch": 4.3053333333333335,
      "grad_norm": 0.45960286259651184,
      "learning_rate": 9.282444444444444e-05,
      "loss": 0.0214,
      "step": 32290
    },
    {
      "epoch": 4.306666666666667,
      "grad_norm": 0.26092538237571716,
      "learning_rate": 9.282222222222222e-05,
      "loss": 0.0255,
      "step": 32300
    },
    {
      "epoch": 4.308,
      "grad_norm": 0.42009103298187256,
      "learning_rate": 9.282000000000001e-05,
      "loss": 0.029,
      "step": 32310
    },
    {
      "epoch": 4.309333333333333,
      "grad_norm": 0.47034752368927,
      "learning_rate": 9.281777777777779e-05,
      "loss": 0.0201,
      "step": 32320
    },
    {
      "epoch": 4.310666666666666,
      "grad_norm": 0.22227570414543152,
      "learning_rate": 9.281555555555555e-05,
      "loss": 0.0165,
      "step": 32330
    },
    {
      "epoch": 4.312,
      "grad_norm": 0.404541939496994,
      "learning_rate": 9.281333333333334e-05,
      "loss": 0.0339,
      "step": 32340
    },
    {
      "epoch": 4.3133333333333335,
      "grad_norm": 0.5729036927223206,
      "learning_rate": 9.281111111111112e-05,
      "loss": 0.022,
      "step": 32350
    },
    {
      "epoch": 4.314666666666667,
      "grad_norm": 0.6429455876350403,
      "learning_rate": 9.28088888888889e-05,
      "loss": 0.0279,
      "step": 32360
    },
    {
      "epoch": 4.316,
      "grad_norm": 0.9506378173828125,
      "learning_rate": 9.280666666666667e-05,
      "loss": 0.0318,
      "step": 32370
    },
    {
      "epoch": 4.317333333333333,
      "grad_norm": 0.7755593061447144,
      "learning_rate": 9.280444444444445e-05,
      "loss": 0.0458,
      "step": 32380
    },
    {
      "epoch": 4.318666666666667,
      "grad_norm": 0.4942006468772888,
      "learning_rate": 9.280222222222223e-05,
      "loss": 0.0339,
      "step": 32390
    },
    {
      "epoch": 4.32,
      "grad_norm": 0.37560907006263733,
      "learning_rate": 9.28e-05,
      "loss": 0.0232,
      "step": 32400
    },
    {
      "epoch": 4.3213333333333335,
      "grad_norm": 2.0173304080963135,
      "learning_rate": 9.279777777777778e-05,
      "loss": 0.0242,
      "step": 32410
    },
    {
      "epoch": 4.322666666666667,
      "grad_norm": 0.5195800065994263,
      "learning_rate": 9.279555555555556e-05,
      "loss": 0.0221,
      "step": 32420
    },
    {
      "epoch": 4.324,
      "grad_norm": 0.3177271783351898,
      "learning_rate": 9.279333333333334e-05,
      "loss": 0.0197,
      "step": 32430
    },
    {
      "epoch": 4.325333333333333,
      "grad_norm": 0.09775326400995255,
      "learning_rate": 9.279111111111112e-05,
      "loss": 0.0174,
      "step": 32440
    },
    {
      "epoch": 4.326666666666666,
      "grad_norm": 0.3196786344051361,
      "learning_rate": 9.278888888888889e-05,
      "loss": 0.0176,
      "step": 32450
    },
    {
      "epoch": 4.328,
      "grad_norm": 0.2849298119544983,
      "learning_rate": 9.278666666666667e-05,
      "loss": 0.023,
      "step": 32460
    },
    {
      "epoch": 4.3293333333333335,
      "grad_norm": 0.9394177198410034,
      "learning_rate": 9.278444444444445e-05,
      "loss": 0.0363,
      "step": 32470
    },
    {
      "epoch": 4.330666666666667,
      "grad_norm": 0.2836688458919525,
      "learning_rate": 9.278222222222223e-05,
      "loss": 0.0192,
      "step": 32480
    },
    {
      "epoch": 4.332,
      "grad_norm": 1.167459487915039,
      "learning_rate": 9.278e-05,
      "loss": 0.0229,
      "step": 32490
    },
    {
      "epoch": 4.333333333333333,
      "grad_norm": 0.47454407811164856,
      "learning_rate": 9.277777777777778e-05,
      "loss": 0.0275,
      "step": 32500
    },
    {
      "epoch": 4.334666666666667,
      "grad_norm": 0.2124210000038147,
      "learning_rate": 9.277555555555556e-05,
      "loss": 0.0206,
      "step": 32510
    },
    {
      "epoch": 4.336,
      "grad_norm": 0.7260242700576782,
      "learning_rate": 9.277333333333334e-05,
      "loss": 0.0562,
      "step": 32520
    },
    {
      "epoch": 4.3373333333333335,
      "grad_norm": 0.6315869092941284,
      "learning_rate": 9.277111111111113e-05,
      "loss": 0.016,
      "step": 32530
    },
    {
      "epoch": 4.338666666666667,
      "grad_norm": 0.9722108840942383,
      "learning_rate": 9.276888888888889e-05,
      "loss": 0.0188,
      "step": 32540
    },
    {
      "epoch": 4.34,
      "grad_norm": 0.4124857187271118,
      "learning_rate": 9.276666666666667e-05,
      "loss": 0.0148,
      "step": 32550
    },
    {
      "epoch": 4.341333333333333,
      "grad_norm": 0.4868013262748718,
      "learning_rate": 9.276444444444446e-05,
      "loss": 0.0251,
      "step": 32560
    },
    {
      "epoch": 4.342666666666666,
      "grad_norm": 0.8752591013908386,
      "learning_rate": 9.276222222222222e-05,
      "loss": 0.0264,
      "step": 32570
    },
    {
      "epoch": 4.344,
      "grad_norm": 0.22247660160064697,
      "learning_rate": 9.276e-05,
      "loss": 0.0178,
      "step": 32580
    },
    {
      "epoch": 4.3453333333333335,
      "grad_norm": 0.24484385550022125,
      "learning_rate": 9.275777777777778e-05,
      "loss": 0.0255,
      "step": 32590
    },
    {
      "epoch": 4.346666666666667,
      "grad_norm": 0.3145391345024109,
      "learning_rate": 9.275555555555557e-05,
      "loss": 0.0257,
      "step": 32600
    },
    {
      "epoch": 4.348,
      "grad_norm": 0.632469892501831,
      "learning_rate": 9.275333333333333e-05,
      "loss": 0.0225,
      "step": 32610
    },
    {
      "epoch": 4.349333333333333,
      "grad_norm": 0.9628216028213501,
      "learning_rate": 9.275111111111111e-05,
      "loss": 0.0185,
      "step": 32620
    },
    {
      "epoch": 4.350666666666667,
      "grad_norm": 0.47400152683258057,
      "learning_rate": 9.27488888888889e-05,
      "loss": 0.0189,
      "step": 32630
    },
    {
      "epoch": 4.352,
      "grad_norm": 0.45512035489082336,
      "learning_rate": 9.274666666666666e-05,
      "loss": 0.0262,
      "step": 32640
    },
    {
      "epoch": 4.3533333333333335,
      "grad_norm": 0.5649648308753967,
      "learning_rate": 9.274444444444444e-05,
      "loss": 0.0376,
      "step": 32650
    },
    {
      "epoch": 4.354666666666667,
      "grad_norm": 0.8035370111465454,
      "learning_rate": 9.274222222222223e-05,
      "loss": 0.0292,
      "step": 32660
    },
    {
      "epoch": 4.356,
      "grad_norm": 0.4724263846874237,
      "learning_rate": 9.274000000000001e-05,
      "loss": 0.0272,
      "step": 32670
    },
    {
      "epoch": 4.357333333333333,
      "grad_norm": 0.5486624240875244,
      "learning_rate": 9.273777777777777e-05,
      "loss": 0.0239,
      "step": 32680
    },
    {
      "epoch": 4.358666666666666,
      "grad_norm": 0.3004229664802551,
      "learning_rate": 9.273555555555556e-05,
      "loss": 0.027,
      "step": 32690
    },
    {
      "epoch": 4.36,
      "grad_norm": 0.27238157391548157,
      "learning_rate": 9.273333333333334e-05,
      "loss": 0.013,
      "step": 32700
    },
    {
      "epoch": 4.3613333333333335,
      "grad_norm": 0.8634999990463257,
      "learning_rate": 9.273111111111112e-05,
      "loss": 0.016,
      "step": 32710
    },
    {
      "epoch": 4.362666666666667,
      "grad_norm": 0.24076151847839355,
      "learning_rate": 9.27288888888889e-05,
      "loss": 0.0312,
      "step": 32720
    },
    {
      "epoch": 4.364,
      "grad_norm": 0.49575892090797424,
      "learning_rate": 9.272666666666667e-05,
      "loss": 0.0248,
      "step": 32730
    },
    {
      "epoch": 4.365333333333333,
      "grad_norm": 0.449568510055542,
      "learning_rate": 9.272444444444445e-05,
      "loss": 0.0244,
      "step": 32740
    },
    {
      "epoch": 4.366666666666666,
      "grad_norm": 0.1601622998714447,
      "learning_rate": 9.272222222222222e-05,
      "loss": 0.028,
      "step": 32750
    },
    {
      "epoch": 4.368,
      "grad_norm": 0.6336579322814941,
      "learning_rate": 9.272e-05,
      "loss": 0.0335,
      "step": 32760
    },
    {
      "epoch": 4.3693333333333335,
      "grad_norm": 0.11781137436628342,
      "learning_rate": 9.271777777777778e-05,
      "loss": 0.0228,
      "step": 32770
    },
    {
      "epoch": 4.370666666666667,
      "grad_norm": 0.463103324174881,
      "learning_rate": 9.271555555555556e-05,
      "loss": 0.0217,
      "step": 32780
    },
    {
      "epoch": 4.372,
      "grad_norm": 0.35958272218704224,
      "learning_rate": 9.271333333333334e-05,
      "loss": 0.031,
      "step": 32790
    },
    {
      "epoch": 4.373333333333333,
      "grad_norm": 0.31136348843574524,
      "learning_rate": 9.271111111111112e-05,
      "loss": 0.0371,
      "step": 32800
    },
    {
      "epoch": 4.374666666666666,
      "grad_norm": 0.33448326587677,
      "learning_rate": 9.27088888888889e-05,
      "loss": 0.0161,
      "step": 32810
    },
    {
      "epoch": 4.376,
      "grad_norm": 0.01586013101041317,
      "learning_rate": 9.270666666666667e-05,
      "loss": 0.0257,
      "step": 32820
    },
    {
      "epoch": 4.3773333333333335,
      "grad_norm": 0.6907970905303955,
      "learning_rate": 9.270444444444445e-05,
      "loss": 0.0207,
      "step": 32830
    },
    {
      "epoch": 4.378666666666667,
      "grad_norm": 0.5887084007263184,
      "learning_rate": 9.270222222222223e-05,
      "loss": 0.027,
      "step": 32840
    },
    {
      "epoch": 4.38,
      "grad_norm": 0.603590190410614,
      "learning_rate": 9.27e-05,
      "loss": 0.0315,
      "step": 32850
    },
    {
      "epoch": 4.381333333333333,
      "grad_norm": 0.366964191198349,
      "learning_rate": 9.269777777777778e-05,
      "loss": 0.0219,
      "step": 32860
    },
    {
      "epoch": 4.382666666666666,
      "grad_norm": 0.5632308125495911,
      "learning_rate": 9.269555555555556e-05,
      "loss": 0.0245,
      "step": 32870
    },
    {
      "epoch": 4.384,
      "grad_norm": 0.36394041776657104,
      "learning_rate": 9.269333333333335e-05,
      "loss": 0.0282,
      "step": 32880
    },
    {
      "epoch": 4.3853333333333335,
      "grad_norm": 0.48678454756736755,
      "learning_rate": 9.269111111111111e-05,
      "loss": 0.0192,
      "step": 32890
    },
    {
      "epoch": 4.386666666666667,
      "grad_norm": 0.4696616530418396,
      "learning_rate": 9.268888888888889e-05,
      "loss": 0.029,
      "step": 32900
    },
    {
      "epoch": 4.388,
      "grad_norm": 0.24709779024124146,
      "learning_rate": 9.268666666666667e-05,
      "loss": 0.0207,
      "step": 32910
    },
    {
      "epoch": 4.389333333333333,
      "grad_norm": 0.6639878749847412,
      "learning_rate": 9.268444444444445e-05,
      "loss": 0.0269,
      "step": 32920
    },
    {
      "epoch": 4.390666666666666,
      "grad_norm": 0.22221164405345917,
      "learning_rate": 9.268222222222222e-05,
      "loss": 0.0241,
      "step": 32930
    },
    {
      "epoch": 4.392,
      "grad_norm": 0.39007967710494995,
      "learning_rate": 9.268e-05,
      "loss": 0.0142,
      "step": 32940
    },
    {
      "epoch": 4.3933333333333335,
      "grad_norm": 3.545706272125244,
      "learning_rate": 9.267777777777779e-05,
      "loss": 0.0226,
      "step": 32950
    },
    {
      "epoch": 4.394666666666667,
      "grad_norm": 0.8070189356803894,
      "learning_rate": 9.267555555555556e-05,
      "loss": 0.022,
      "step": 32960
    },
    {
      "epoch": 4.396,
      "grad_norm": 0.6641592979431152,
      "learning_rate": 9.267333333333333e-05,
      "loss": 0.0225,
      "step": 32970
    },
    {
      "epoch": 4.397333333333333,
      "grad_norm": 0.35583293437957764,
      "learning_rate": 9.267111111111112e-05,
      "loss": 0.0225,
      "step": 32980
    },
    {
      "epoch": 4.398666666666666,
      "grad_norm": 0.613442599773407,
      "learning_rate": 9.266888888888889e-05,
      "loss": 0.0301,
      "step": 32990
    },
    {
      "epoch": 4.4,
      "grad_norm": 0.5174698829650879,
      "learning_rate": 9.266666666666666e-05,
      "loss": 0.0272,
      "step": 33000
    },
    {
      "epoch": 4.4013333333333335,
      "grad_norm": 0.6177473068237305,
      "learning_rate": 9.266444444444446e-05,
      "loss": 0.0207,
      "step": 33010
    },
    {
      "epoch": 4.402666666666667,
      "grad_norm": 0.26224079728126526,
      "learning_rate": 9.266222222222223e-05,
      "loss": 0.0193,
      "step": 33020
    },
    {
      "epoch": 4.404,
      "grad_norm": 0.15193068981170654,
      "learning_rate": 9.266e-05,
      "loss": 0.0347,
      "step": 33030
    },
    {
      "epoch": 4.405333333333333,
      "grad_norm": 0.5697075724601746,
      "learning_rate": 9.265777777777777e-05,
      "loss": 0.029,
      "step": 33040
    },
    {
      "epoch": 4.406666666666666,
      "grad_norm": 0.9225043654441833,
      "learning_rate": 9.265555555555557e-05,
      "loss": 0.0337,
      "step": 33050
    },
    {
      "epoch": 4.408,
      "grad_norm": 0.3805443048477173,
      "learning_rate": 9.265333333333334e-05,
      "loss": 0.0228,
      "step": 33060
    },
    {
      "epoch": 4.4093333333333335,
      "grad_norm": 0.4174889922142029,
      "learning_rate": 9.265111111111111e-05,
      "loss": 0.0239,
      "step": 33070
    },
    {
      "epoch": 4.410666666666667,
      "grad_norm": 0.8286113739013672,
      "learning_rate": 9.26488888888889e-05,
      "loss": 0.0234,
      "step": 33080
    },
    {
      "epoch": 4.412,
      "grad_norm": 0.5364648103713989,
      "learning_rate": 9.264666666666668e-05,
      "loss": 0.027,
      "step": 33090
    },
    {
      "epoch": 4.413333333333333,
      "grad_norm": 0.30127039551734924,
      "learning_rate": 9.264444444444444e-05,
      "loss": 0.0251,
      "step": 33100
    },
    {
      "epoch": 4.414666666666666,
      "grad_norm": 0.4387214779853821,
      "learning_rate": 9.264222222222223e-05,
      "loss": 0.0185,
      "step": 33110
    },
    {
      "epoch": 4.416,
      "grad_norm": 0.47712618112564087,
      "learning_rate": 9.264000000000001e-05,
      "loss": 0.0152,
      "step": 33120
    },
    {
      "epoch": 4.417333333333334,
      "grad_norm": 0.31571459770202637,
      "learning_rate": 9.263777777777778e-05,
      "loss": 0.0228,
      "step": 33130
    },
    {
      "epoch": 4.418666666666667,
      "grad_norm": 0.21129700541496277,
      "learning_rate": 9.263555555555556e-05,
      "loss": 0.0142,
      "step": 33140
    },
    {
      "epoch": 4.42,
      "grad_norm": 0.1978902667760849,
      "learning_rate": 9.263333333333334e-05,
      "loss": 0.0173,
      "step": 33150
    },
    {
      "epoch": 4.421333333333333,
      "grad_norm": 0.36794859170913696,
      "learning_rate": 9.263111111111112e-05,
      "loss": 0.0209,
      "step": 33160
    },
    {
      "epoch": 4.422666666666666,
      "grad_norm": 0.7133154273033142,
      "learning_rate": 9.26288888888889e-05,
      "loss": 0.0298,
      "step": 33170
    },
    {
      "epoch": 4.424,
      "grad_norm": 0.3396995961666107,
      "learning_rate": 9.262666666666667e-05,
      "loss": 0.0177,
      "step": 33180
    },
    {
      "epoch": 4.425333333333334,
      "grad_norm": 0.18466687202453613,
      "learning_rate": 9.262444444444445e-05,
      "loss": 0.02,
      "step": 33190
    },
    {
      "epoch": 4.426666666666667,
      "grad_norm": 0.28000423312187195,
      "learning_rate": 9.262222222222223e-05,
      "loss": 0.0231,
      "step": 33200
    },
    {
      "epoch": 4.428,
      "grad_norm": 0.599418580532074,
      "learning_rate": 9.262e-05,
      "loss": 0.0231,
      "step": 33210
    },
    {
      "epoch": 4.429333333333333,
      "grad_norm": 0.8417567014694214,
      "learning_rate": 9.261777777777778e-05,
      "loss": 0.0383,
      "step": 33220
    },
    {
      "epoch": 4.430666666666666,
      "grad_norm": 0.6135110259056091,
      "learning_rate": 9.261555555555556e-05,
      "loss": 0.0253,
      "step": 33230
    },
    {
      "epoch": 4.432,
      "grad_norm": 0.3570736348628998,
      "learning_rate": 9.261333333333334e-05,
      "loss": 0.0211,
      "step": 33240
    },
    {
      "epoch": 4.433333333333334,
      "grad_norm": 0.6079427599906921,
      "learning_rate": 9.261111111111111e-05,
      "loss": 0.0385,
      "step": 33250
    },
    {
      "epoch": 4.434666666666667,
      "grad_norm": 1.5314288139343262,
      "learning_rate": 9.260888888888889e-05,
      "loss": 0.0193,
      "step": 33260
    },
    {
      "epoch": 4.436,
      "grad_norm": 0.34085360169410706,
      "learning_rate": 9.260666666666667e-05,
      "loss": 0.0259,
      "step": 33270
    },
    {
      "epoch": 4.437333333333333,
      "grad_norm": 0.14875613152980804,
      "learning_rate": 9.260444444444445e-05,
      "loss": 0.0223,
      "step": 33280
    },
    {
      "epoch": 4.438666666666666,
      "grad_norm": 0.28623852133750916,
      "learning_rate": 9.260222222222222e-05,
      "loss": 0.0197,
      "step": 33290
    },
    {
      "epoch": 4.44,
      "grad_norm": 0.46958276629447937,
      "learning_rate": 9.260000000000001e-05,
      "loss": 0.0254,
      "step": 33300
    },
    {
      "epoch": 4.441333333333334,
      "grad_norm": 0.2595399022102356,
      "learning_rate": 9.259777777777778e-05,
      "loss": 0.0217,
      "step": 33310
    },
    {
      "epoch": 4.442666666666667,
      "grad_norm": 0.2943246364593506,
      "learning_rate": 9.259555555555556e-05,
      "loss": 0.0314,
      "step": 33320
    },
    {
      "epoch": 4.444,
      "grad_norm": 0.42434293031692505,
      "learning_rate": 9.259333333333335e-05,
      "loss": 0.0265,
      "step": 33330
    },
    {
      "epoch": 4.445333333333333,
      "grad_norm": 0.5951511859893799,
      "learning_rate": 9.259111111111111e-05,
      "loss": 0.025,
      "step": 33340
    },
    {
      "epoch": 4.446666666666666,
      "grad_norm": 0.5617517232894897,
      "learning_rate": 9.258888888888889e-05,
      "loss": 0.0354,
      "step": 33350
    },
    {
      "epoch": 4.448,
      "grad_norm": 0.775841236114502,
      "learning_rate": 9.258666666666667e-05,
      "loss": 0.0155,
      "step": 33360
    },
    {
      "epoch": 4.449333333333334,
      "grad_norm": 0.43023109436035156,
      "learning_rate": 9.258444444444446e-05,
      "loss": 0.0325,
      "step": 33370
    },
    {
      "epoch": 4.450666666666667,
      "grad_norm": 0.8711423873901367,
      "learning_rate": 9.258222222222222e-05,
      "loss": 0.0295,
      "step": 33380
    },
    {
      "epoch": 4.452,
      "grad_norm": 0.45372873544692993,
      "learning_rate": 9.258e-05,
      "loss": 0.0325,
      "step": 33390
    },
    {
      "epoch": 4.453333333333333,
      "grad_norm": 0.46331799030303955,
      "learning_rate": 9.257777777777779e-05,
      "loss": 0.0231,
      "step": 33400
    },
    {
      "epoch": 4.454666666666666,
      "grad_norm": 0.5507320165634155,
      "learning_rate": 9.257555555555557e-05,
      "loss": 0.0246,
      "step": 33410
    },
    {
      "epoch": 4.456,
      "grad_norm": 0.5325989127159119,
      "learning_rate": 9.257333333333333e-05,
      "loss": 0.0209,
      "step": 33420
    },
    {
      "epoch": 4.457333333333334,
      "grad_norm": 0.48658236861228943,
      "learning_rate": 9.257111111111112e-05,
      "loss": 0.0181,
      "step": 33430
    },
    {
      "epoch": 4.458666666666667,
      "grad_norm": 1.0351215600967407,
      "learning_rate": 9.25688888888889e-05,
      "loss": 0.0287,
      "step": 33440
    },
    {
      "epoch": 4.46,
      "grad_norm": 2.4090383052825928,
      "learning_rate": 9.256666666666666e-05,
      "loss": 0.0457,
      "step": 33450
    },
    {
      "epoch": 4.461333333333333,
      "grad_norm": 0.3235917389392853,
      "learning_rate": 9.256444444444445e-05,
      "loss": 0.017,
      "step": 33460
    },
    {
      "epoch": 4.462666666666666,
      "grad_norm": 0.630236029624939,
      "learning_rate": 9.256222222222223e-05,
      "loss": 0.0271,
      "step": 33470
    },
    {
      "epoch": 4.464,
      "grad_norm": 1.250343680381775,
      "learning_rate": 9.256000000000001e-05,
      "loss": 0.0269,
      "step": 33480
    },
    {
      "epoch": 4.465333333333334,
      "grad_norm": 0.5259667634963989,
      "learning_rate": 9.255777777777779e-05,
      "loss": 0.02,
      "step": 33490
    },
    {
      "epoch": 4.466666666666667,
      "grad_norm": 0.3485497534275055,
      "learning_rate": 9.255555555555556e-05,
      "loss": 0.0324,
      "step": 33500
    },
    {
      "epoch": 4.468,
      "grad_norm": 0.17907339334487915,
      "learning_rate": 9.255333333333334e-05,
      "loss": 0.0251,
      "step": 33510
    },
    {
      "epoch": 4.469333333333333,
      "grad_norm": 1.8054300546646118,
      "learning_rate": 9.25511111111111e-05,
      "loss": 0.0219,
      "step": 33520
    },
    {
      "epoch": 4.470666666666666,
      "grad_norm": 0.5806388854980469,
      "learning_rate": 9.25488888888889e-05,
      "loss": 0.0262,
      "step": 33530
    },
    {
      "epoch": 4.4719999999999995,
      "grad_norm": 0.1333940476179123,
      "learning_rate": 9.254666666666667e-05,
      "loss": 0.021,
      "step": 33540
    },
    {
      "epoch": 4.473333333333334,
      "grad_norm": 0.259586900472641,
      "learning_rate": 9.254444444444445e-05,
      "loss": 0.0203,
      "step": 33550
    },
    {
      "epoch": 4.474666666666667,
      "grad_norm": 0.5182139277458191,
      "learning_rate": 9.254222222222223e-05,
      "loss": 0.0405,
      "step": 33560
    },
    {
      "epoch": 4.476,
      "grad_norm": 0.23467212915420532,
      "learning_rate": 9.254e-05,
      "loss": 0.0218,
      "step": 33570
    },
    {
      "epoch": 4.477333333333333,
      "grad_norm": 0.2498791366815567,
      "learning_rate": 9.253777777777778e-05,
      "loss": 0.0211,
      "step": 33580
    },
    {
      "epoch": 4.478666666666666,
      "grad_norm": 0.41855376958847046,
      "learning_rate": 9.253555555555556e-05,
      "loss": 0.0289,
      "step": 33590
    },
    {
      "epoch": 4.48,
      "grad_norm": 0.4370696246623993,
      "learning_rate": 9.253333333333334e-05,
      "loss": 0.0268,
      "step": 33600
    },
    {
      "epoch": 4.481333333333334,
      "grad_norm": 0.5549590587615967,
      "learning_rate": 9.253111111111111e-05,
      "loss": 0.024,
      "step": 33610
    },
    {
      "epoch": 4.482666666666667,
      "grad_norm": 0.4142557382583618,
      "learning_rate": 9.252888888888889e-05,
      "loss": 0.0351,
      "step": 33620
    },
    {
      "epoch": 4.484,
      "grad_norm": 0.8478256464004517,
      "learning_rate": 9.252666666666667e-05,
      "loss": 0.0215,
      "step": 33630
    },
    {
      "epoch": 4.485333333333333,
      "grad_norm": 0.2812531292438507,
      "learning_rate": 9.252444444444445e-05,
      "loss": 0.0254,
      "step": 33640
    },
    {
      "epoch": 4.486666666666666,
      "grad_norm": 0.19927191734313965,
      "learning_rate": 9.252222222222222e-05,
      "loss": 0.0297,
      "step": 33650
    },
    {
      "epoch": 4.4879999999999995,
      "grad_norm": 0.25770121812820435,
      "learning_rate": 9.252e-05,
      "loss": 0.0186,
      "step": 33660
    },
    {
      "epoch": 4.489333333333334,
      "grad_norm": 0.2515751123428345,
      "learning_rate": 9.251777777777778e-05,
      "loss": 0.0235,
      "step": 33670
    },
    {
      "epoch": 4.490666666666667,
      "grad_norm": 0.5368369817733765,
      "learning_rate": 9.251555555555556e-05,
      "loss": 0.0207,
      "step": 33680
    },
    {
      "epoch": 4.492,
      "grad_norm": 0.5375229120254517,
      "learning_rate": 9.251333333333333e-05,
      "loss": 0.0185,
      "step": 33690
    },
    {
      "epoch": 4.493333333333333,
      "grad_norm": 0.24992656707763672,
      "learning_rate": 9.251111111111111e-05,
      "loss": 0.0118,
      "step": 33700
    },
    {
      "epoch": 4.494666666666666,
      "grad_norm": 0.2969449460506439,
      "learning_rate": 9.250888888888889e-05,
      "loss": 0.0161,
      "step": 33710
    },
    {
      "epoch": 4.496,
      "grad_norm": 0.11229930073022842,
      "learning_rate": 9.250666666666668e-05,
      "loss": 0.0127,
      "step": 33720
    },
    {
      "epoch": 4.497333333333334,
      "grad_norm": 0.8888781070709229,
      "learning_rate": 9.250444444444444e-05,
      "loss": 0.03,
      "step": 33730
    },
    {
      "epoch": 4.498666666666667,
      "grad_norm": 0.33955127000808716,
      "learning_rate": 9.250222222222222e-05,
      "loss": 0.0204,
      "step": 33740
    },
    {
      "epoch": 4.5,
      "grad_norm": 0.6249303221702576,
      "learning_rate": 9.250000000000001e-05,
      "loss": 0.022,
      "step": 33750
    },
    {
      "epoch": 4.501333333333333,
      "grad_norm": 0.7494767904281616,
      "learning_rate": 9.249777777777779e-05,
      "loss": 0.0241,
      "step": 33760
    },
    {
      "epoch": 4.502666666666666,
      "grad_norm": 0.21577250957489014,
      "learning_rate": 9.249555555555555e-05,
      "loss": 0.0251,
      "step": 33770
    },
    {
      "epoch": 4.504,
      "grad_norm": 0.9500302076339722,
      "learning_rate": 9.249333333333334e-05,
      "loss": 0.0258,
      "step": 33780
    },
    {
      "epoch": 4.505333333333334,
      "grad_norm": 0.4097331166267395,
      "learning_rate": 9.249111111111112e-05,
      "loss": 0.0249,
      "step": 33790
    },
    {
      "epoch": 4.506666666666667,
      "grad_norm": 0.44478827714920044,
      "learning_rate": 9.248888888888889e-05,
      "loss": 0.0315,
      "step": 33800
    },
    {
      "epoch": 4.508,
      "grad_norm": 0.475370317697525,
      "learning_rate": 9.248666666666666e-05,
      "loss": 0.0269,
      "step": 33810
    },
    {
      "epoch": 4.509333333333333,
      "grad_norm": 0.7049877643585205,
      "learning_rate": 9.248444444444445e-05,
      "loss": 0.0188,
      "step": 33820
    },
    {
      "epoch": 4.510666666666666,
      "grad_norm": 0.7347689867019653,
      "learning_rate": 9.248222222222223e-05,
      "loss": 0.031,
      "step": 33830
    },
    {
      "epoch": 4.5120000000000005,
      "grad_norm": 0.555312991142273,
      "learning_rate": 9.248e-05,
      "loss": 0.0295,
      "step": 33840
    },
    {
      "epoch": 4.513333333333334,
      "grad_norm": 0.3702687919139862,
      "learning_rate": 9.247777777777779e-05,
      "loss": 0.0255,
      "step": 33850
    },
    {
      "epoch": 4.514666666666667,
      "grad_norm": 0.34547367691993713,
      "learning_rate": 9.247555555555556e-05,
      "loss": 0.0187,
      "step": 33860
    },
    {
      "epoch": 4.516,
      "grad_norm": 1.1735469102859497,
      "learning_rate": 9.247333333333333e-05,
      "loss": 0.0296,
      "step": 33870
    },
    {
      "epoch": 4.517333333333333,
      "grad_norm": 0.13766539096832275,
      "learning_rate": 9.247111111111112e-05,
      "loss": 0.0166,
      "step": 33880
    },
    {
      "epoch": 4.518666666666666,
      "grad_norm": 0.5252050161361694,
      "learning_rate": 9.24688888888889e-05,
      "loss": 0.0249,
      "step": 33890
    },
    {
      "epoch": 4.52,
      "grad_norm": 0.13954026997089386,
      "learning_rate": 9.246666666666667e-05,
      "loss": 0.0164,
      "step": 33900
    },
    {
      "epoch": 4.521333333333334,
      "grad_norm": 0.7065809965133667,
      "learning_rate": 9.246444444444445e-05,
      "loss": 0.033,
      "step": 33910
    },
    {
      "epoch": 4.522666666666667,
      "grad_norm": 0.49933838844299316,
      "learning_rate": 9.246222222222223e-05,
      "loss": 0.0241,
      "step": 33920
    },
    {
      "epoch": 4.524,
      "grad_norm": 0.12223935127258301,
      "learning_rate": 9.246e-05,
      "loss": 0.022,
      "step": 33930
    },
    {
      "epoch": 4.525333333333333,
      "grad_norm": 0.40891456604003906,
      "learning_rate": 9.245777777777778e-05,
      "loss": 0.0287,
      "step": 33940
    },
    {
      "epoch": 4.526666666666666,
      "grad_norm": 0.3652465045452118,
      "learning_rate": 9.245555555555556e-05,
      "loss": 0.0148,
      "step": 33950
    },
    {
      "epoch": 4.5280000000000005,
      "grad_norm": 0.3675398528575897,
      "learning_rate": 9.245333333333334e-05,
      "loss": 0.0293,
      "step": 33960
    },
    {
      "epoch": 4.529333333333334,
      "grad_norm": 0.590268611907959,
      "learning_rate": 9.245111111111112e-05,
      "loss": 0.0238,
      "step": 33970
    },
    {
      "epoch": 4.530666666666667,
      "grad_norm": 0.40786534547805786,
      "learning_rate": 9.244888888888889e-05,
      "loss": 0.0267,
      "step": 33980
    },
    {
      "epoch": 4.532,
      "grad_norm": 0.37528324127197266,
      "learning_rate": 9.244666666666667e-05,
      "loss": 0.0273,
      "step": 33990
    },
    {
      "epoch": 4.533333333333333,
      "grad_norm": 0.3565966486930847,
      "learning_rate": 9.244444444444445e-05,
      "loss": 0.0309,
      "step": 34000
    },
    {
      "epoch": 4.534666666666666,
      "grad_norm": 0.3577896058559418,
      "learning_rate": 9.244222222222223e-05,
      "loss": 0.0177,
      "step": 34010
    },
    {
      "epoch": 4.536,
      "grad_norm": 0.23384420573711395,
      "learning_rate": 9.244e-05,
      "loss": 0.0286,
      "step": 34020
    },
    {
      "epoch": 4.537333333333334,
      "grad_norm": 0.6092442870140076,
      "learning_rate": 9.243777777777778e-05,
      "loss": 0.0222,
      "step": 34030
    },
    {
      "epoch": 4.538666666666667,
      "grad_norm": 0.3031481206417084,
      "learning_rate": 9.243555555555556e-05,
      "loss": 0.0169,
      "step": 34040
    },
    {
      "epoch": 4.54,
      "grad_norm": 0.5896568298339844,
      "learning_rate": 9.243333333333333e-05,
      "loss": 0.0154,
      "step": 34050
    },
    {
      "epoch": 4.541333333333333,
      "grad_norm": 0.6780543923377991,
      "learning_rate": 9.243111111111111e-05,
      "loss": 0.0274,
      "step": 34060
    },
    {
      "epoch": 4.542666666666666,
      "grad_norm": 0.5793498158454895,
      "learning_rate": 9.24288888888889e-05,
      "loss": 0.0166,
      "step": 34070
    },
    {
      "epoch": 4.5440000000000005,
      "grad_norm": 0.8816989660263062,
      "learning_rate": 9.242666666666667e-05,
      "loss": 0.022,
      "step": 34080
    },
    {
      "epoch": 4.545333333333334,
      "grad_norm": 1.2367222309112549,
      "learning_rate": 9.242444444444444e-05,
      "loss": 0.02,
      "step": 34090
    },
    {
      "epoch": 4.546666666666667,
      "grad_norm": 0.4856332540512085,
      "learning_rate": 9.242222222222222e-05,
      "loss": 0.021,
      "step": 34100
    },
    {
      "epoch": 4.548,
      "grad_norm": 0.3152347803115845,
      "learning_rate": 9.242000000000001e-05,
      "loss": 0.0231,
      "step": 34110
    },
    {
      "epoch": 4.549333333333333,
      "grad_norm": 0.5053192973136902,
      "learning_rate": 9.241777777777778e-05,
      "loss": 0.021,
      "step": 34120
    },
    {
      "epoch": 4.550666666666666,
      "grad_norm": 0.7194457650184631,
      "learning_rate": 9.241555555555555e-05,
      "loss": 0.0285,
      "step": 34130
    },
    {
      "epoch": 4.552,
      "grad_norm": 0.5724421739578247,
      "learning_rate": 9.241333333333335e-05,
      "loss": 0.0266,
      "step": 34140
    },
    {
      "epoch": 4.553333333333334,
      "grad_norm": 1.4495583772659302,
      "learning_rate": 9.241111111111111e-05,
      "loss": 0.024,
      "step": 34150
    },
    {
      "epoch": 4.554666666666667,
      "grad_norm": 0.38790419697761536,
      "learning_rate": 9.240888888888889e-05,
      "loss": 0.016,
      "step": 34160
    },
    {
      "epoch": 4.556,
      "grad_norm": 0.2147660255432129,
      "learning_rate": 9.240666666666668e-05,
      "loss": 0.0228,
      "step": 34170
    },
    {
      "epoch": 4.557333333333333,
      "grad_norm": 0.7166295647621155,
      "learning_rate": 9.240444444444445e-05,
      "loss": 0.0259,
      "step": 34180
    },
    {
      "epoch": 4.558666666666666,
      "grad_norm": 0.14856933057308197,
      "learning_rate": 9.240222222222222e-05,
      "loss": 0.0186,
      "step": 34190
    },
    {
      "epoch": 4.5600000000000005,
      "grad_norm": 0.34531140327453613,
      "learning_rate": 9.240000000000001e-05,
      "loss": 0.0204,
      "step": 34200
    },
    {
      "epoch": 4.561333333333334,
      "grad_norm": 0.9269639253616333,
      "learning_rate": 9.239777777777779e-05,
      "loss": 0.0331,
      "step": 34210
    },
    {
      "epoch": 4.562666666666667,
      "grad_norm": 0.6375046372413635,
      "learning_rate": 9.239555555555555e-05,
      "loss": 0.0233,
      "step": 34220
    },
    {
      "epoch": 4.564,
      "grad_norm": 0.5369336009025574,
      "learning_rate": 9.239333333333334e-05,
      "loss": 0.0259,
      "step": 34230
    },
    {
      "epoch": 4.565333333333333,
      "grad_norm": 0.15542654693126678,
      "learning_rate": 9.239111111111112e-05,
      "loss": 0.0304,
      "step": 34240
    },
    {
      "epoch": 4.566666666666666,
      "grad_norm": 0.6745002269744873,
      "learning_rate": 9.23888888888889e-05,
      "loss": 0.0283,
      "step": 34250
    },
    {
      "epoch": 4.568,
      "grad_norm": 0.4283938407897949,
      "learning_rate": 9.238666666666666e-05,
      "loss": 0.0257,
      "step": 34260
    },
    {
      "epoch": 4.569333333333334,
      "grad_norm": 0.2149779051542282,
      "learning_rate": 9.238444444444445e-05,
      "loss": 0.017,
      "step": 34270
    },
    {
      "epoch": 4.570666666666667,
      "grad_norm": 0.17201122641563416,
      "learning_rate": 9.238222222222223e-05,
      "loss": 0.0147,
      "step": 34280
    },
    {
      "epoch": 4.572,
      "grad_norm": 0.2584179937839508,
      "learning_rate": 9.238e-05,
      "loss": 0.0296,
      "step": 34290
    },
    {
      "epoch": 4.573333333333333,
      "grad_norm": 0.478003591299057,
      "learning_rate": 9.237777777777778e-05,
      "loss": 0.0181,
      "step": 34300
    },
    {
      "epoch": 4.574666666666666,
      "grad_norm": 1.4007046222686768,
      "learning_rate": 9.237555555555556e-05,
      "loss": 0.0249,
      "step": 34310
    },
    {
      "epoch": 4.576,
      "grad_norm": 0.3152165710926056,
      "learning_rate": 9.237333333333334e-05,
      "loss": 0.0277,
      "step": 34320
    },
    {
      "epoch": 4.577333333333334,
      "grad_norm": 1.224679708480835,
      "learning_rate": 9.237111111111112e-05,
      "loss": 0.0387,
      "step": 34330
    },
    {
      "epoch": 4.578666666666667,
      "grad_norm": 0.20643116533756256,
      "learning_rate": 9.23688888888889e-05,
      "loss": 0.0261,
      "step": 34340
    },
    {
      "epoch": 4.58,
      "grad_norm": 0.19741234183311462,
      "learning_rate": 9.236666666666667e-05,
      "loss": 0.0237,
      "step": 34350
    },
    {
      "epoch": 4.581333333333333,
      "grad_norm": 0.2711014151573181,
      "learning_rate": 9.236444444444445e-05,
      "loss": 0.0226,
      "step": 34360
    },
    {
      "epoch": 4.582666666666666,
      "grad_norm": 0.32131442427635193,
      "learning_rate": 9.236222222222223e-05,
      "loss": 0.0181,
      "step": 34370
    },
    {
      "epoch": 4.584,
      "grad_norm": 0.31410619616508484,
      "learning_rate": 9.236e-05,
      "loss": 0.0314,
      "step": 34380
    },
    {
      "epoch": 4.585333333333334,
      "grad_norm": 0.2916683256626129,
      "learning_rate": 9.235777777777778e-05,
      "loss": 0.0348,
      "step": 34390
    },
    {
      "epoch": 4.586666666666667,
      "grad_norm": 0.6465409994125366,
      "learning_rate": 9.235555555555556e-05,
      "loss": 0.0204,
      "step": 34400
    },
    {
      "epoch": 4.588,
      "grad_norm": 0.4704809784889221,
      "learning_rate": 9.235333333333334e-05,
      "loss": 0.0298,
      "step": 34410
    },
    {
      "epoch": 4.589333333333333,
      "grad_norm": 0.7747954726219177,
      "learning_rate": 9.235111111111111e-05,
      "loss": 0.028,
      "step": 34420
    },
    {
      "epoch": 4.5906666666666665,
      "grad_norm": 0.6257457137107849,
      "learning_rate": 9.234888888888889e-05,
      "loss": 0.0317,
      "step": 34430
    },
    {
      "epoch": 4.592,
      "grad_norm": 0.8688022494316101,
      "learning_rate": 9.234666666666667e-05,
      "loss": 0.0239,
      "step": 34440
    },
    {
      "epoch": 4.593333333333334,
      "grad_norm": 0.33214521408081055,
      "learning_rate": 9.234444444444445e-05,
      "loss": 0.0293,
      "step": 34450
    },
    {
      "epoch": 4.594666666666667,
      "grad_norm": 0.4695202112197876,
      "learning_rate": 9.234222222222224e-05,
      "loss": 0.0214,
      "step": 34460
    },
    {
      "epoch": 4.596,
      "grad_norm": 0.21514847874641418,
      "learning_rate": 9.234e-05,
      "loss": 0.0286,
      "step": 34470
    },
    {
      "epoch": 4.597333333333333,
      "grad_norm": 0.3912189304828644,
      "learning_rate": 9.233777777777778e-05,
      "loss": 0.0293,
      "step": 34480
    },
    {
      "epoch": 4.5986666666666665,
      "grad_norm": 0.19676099717617035,
      "learning_rate": 9.233555555555557e-05,
      "loss": 0.025,
      "step": 34490
    },
    {
      "epoch": 4.6,
      "grad_norm": 0.30489328503608704,
      "learning_rate": 9.233333333333333e-05,
      "loss": 0.0208,
      "step": 34500
    },
    {
      "epoch": 4.601333333333334,
      "grad_norm": 0.4972197115421295,
      "learning_rate": 9.233111111111111e-05,
      "loss": 0.0251,
      "step": 34510
    },
    {
      "epoch": 4.602666666666667,
      "grad_norm": 1.066059947013855,
      "learning_rate": 9.23288888888889e-05,
      "loss": 0.0212,
      "step": 34520
    },
    {
      "epoch": 4.604,
      "grad_norm": 0.52289217710495,
      "learning_rate": 9.232666666666668e-05,
      "loss": 0.0266,
      "step": 34530
    },
    {
      "epoch": 4.605333333333333,
      "grad_norm": 0.3327598571777344,
      "learning_rate": 9.232444444444444e-05,
      "loss": 0.0231,
      "step": 34540
    },
    {
      "epoch": 4.6066666666666665,
      "grad_norm": 0.3150239586830139,
      "learning_rate": 9.232222222222223e-05,
      "loss": 0.0186,
      "step": 34550
    },
    {
      "epoch": 4.608,
      "grad_norm": 0.7595791816711426,
      "learning_rate": 9.232000000000001e-05,
      "loss": 0.022,
      "step": 34560
    },
    {
      "epoch": 4.609333333333334,
      "grad_norm": 0.3264768421649933,
      "learning_rate": 9.231777777777777e-05,
      "loss": 0.0209,
      "step": 34570
    },
    {
      "epoch": 4.610666666666667,
      "grad_norm": 0.15975439548492432,
      "learning_rate": 9.231555555555555e-05,
      "loss": 0.0244,
      "step": 34580
    },
    {
      "epoch": 4.612,
      "grad_norm": 0.585648775100708,
      "learning_rate": 9.231333333333334e-05,
      "loss": 0.022,
      "step": 34590
    },
    {
      "epoch": 4.613333333333333,
      "grad_norm": 0.5403046607971191,
      "learning_rate": 9.231111111111112e-05,
      "loss": 0.0163,
      "step": 34600
    },
    {
      "epoch": 4.6146666666666665,
      "grad_norm": 0.4175022542476654,
      "learning_rate": 9.230888888888888e-05,
      "loss": 0.027,
      "step": 34610
    },
    {
      "epoch": 4.616,
      "grad_norm": 0.30103620886802673,
      "learning_rate": 9.230666666666668e-05,
      "loss": 0.0246,
      "step": 34620
    },
    {
      "epoch": 4.617333333333333,
      "grad_norm": 0.10294324904680252,
      "learning_rate": 9.230444444444445e-05,
      "loss": 0.0203,
      "step": 34630
    },
    {
      "epoch": 4.618666666666667,
      "grad_norm": 0.20535020530223846,
      "learning_rate": 9.230222222222223e-05,
      "loss": 0.0195,
      "step": 34640
    },
    {
      "epoch": 4.62,
      "grad_norm": 0.34422484040260315,
      "learning_rate": 9.230000000000001e-05,
      "loss": 0.0278,
      "step": 34650
    },
    {
      "epoch": 4.621333333333333,
      "grad_norm": 0.943518877029419,
      "learning_rate": 9.229777777777778e-05,
      "loss": 0.0208,
      "step": 34660
    },
    {
      "epoch": 4.6226666666666665,
      "grad_norm": 0.21958106756210327,
      "learning_rate": 9.229555555555556e-05,
      "loss": 0.0315,
      "step": 34670
    },
    {
      "epoch": 4.624,
      "grad_norm": 1.86030912399292,
      "learning_rate": 9.229333333333334e-05,
      "loss": 0.0264,
      "step": 34680
    },
    {
      "epoch": 4.625333333333334,
      "grad_norm": 0.6076706051826477,
      "learning_rate": 9.229111111111112e-05,
      "loss": 0.0275,
      "step": 34690
    },
    {
      "epoch": 4.626666666666667,
      "grad_norm": 0.9232534766197205,
      "learning_rate": 9.22888888888889e-05,
      "loss": 0.0324,
      "step": 34700
    },
    {
      "epoch": 4.628,
      "grad_norm": 0.1462823897600174,
      "learning_rate": 9.228666666666667e-05,
      "loss": 0.0295,
      "step": 34710
    },
    {
      "epoch": 4.629333333333333,
      "grad_norm": 0.7521054744720459,
      "learning_rate": 9.228444444444445e-05,
      "loss": 0.0268,
      "step": 34720
    },
    {
      "epoch": 4.6306666666666665,
      "grad_norm": 0.34484800696372986,
      "learning_rate": 9.228222222222223e-05,
      "loss": 0.0216,
      "step": 34730
    },
    {
      "epoch": 4.632,
      "grad_norm": 0.31402143836021423,
      "learning_rate": 9.228e-05,
      "loss": 0.0257,
      "step": 34740
    },
    {
      "epoch": 4.633333333333333,
      "grad_norm": 0.1963607519865036,
      "learning_rate": 9.227777777777778e-05,
      "loss": 0.0222,
      "step": 34750
    },
    {
      "epoch": 4.634666666666667,
      "grad_norm": 0.08112868666648865,
      "learning_rate": 9.227555555555556e-05,
      "loss": 0.0187,
      "step": 34760
    },
    {
      "epoch": 4.636,
      "grad_norm": 0.2730279266834259,
      "learning_rate": 9.227333333333334e-05,
      "loss": 0.0207,
      "step": 34770
    },
    {
      "epoch": 4.637333333333333,
      "grad_norm": 0.06861568242311478,
      "learning_rate": 9.227111111111111e-05,
      "loss": 0.0206,
      "step": 34780
    },
    {
      "epoch": 4.6386666666666665,
      "grad_norm": 0.7431411743164062,
      "learning_rate": 9.226888888888889e-05,
      "loss": 0.0351,
      "step": 34790
    },
    {
      "epoch": 4.64,
      "grad_norm": 0.39334359765052795,
      "learning_rate": 9.226666666666667e-05,
      "loss": 0.026,
      "step": 34800
    },
    {
      "epoch": 4.641333333333334,
      "grad_norm": 0.1741645783185959,
      "learning_rate": 9.226444444444446e-05,
      "loss": 0.0308,
      "step": 34810
    },
    {
      "epoch": 4.642666666666667,
      "grad_norm": 0.6178972721099854,
      "learning_rate": 9.226222222222222e-05,
      "loss": 0.0253,
      "step": 34820
    },
    {
      "epoch": 4.644,
      "grad_norm": 0.6289857625961304,
      "learning_rate": 9.226e-05,
      "loss": 0.0204,
      "step": 34830
    },
    {
      "epoch": 4.645333333333333,
      "grad_norm": 0.4591154158115387,
      "learning_rate": 9.225777777777779e-05,
      "loss": 0.0199,
      "step": 34840
    },
    {
      "epoch": 4.6466666666666665,
      "grad_norm": 0.15854962170124054,
      "learning_rate": 9.225555555555556e-05,
      "loss": 0.0201,
      "step": 34850
    },
    {
      "epoch": 4.648,
      "grad_norm": 0.10296540707349777,
      "learning_rate": 9.225333333333333e-05,
      "loss": 0.0215,
      "step": 34860
    },
    {
      "epoch": 4.649333333333333,
      "grad_norm": 2.058342218399048,
      "learning_rate": 9.225111111111111e-05,
      "loss": 0.0289,
      "step": 34870
    },
    {
      "epoch": 4.650666666666667,
      "grad_norm": 1.2828763723373413,
      "learning_rate": 9.22488888888889e-05,
      "loss": 0.0273,
      "step": 34880
    },
    {
      "epoch": 4.652,
      "grad_norm": 0.3378151059150696,
      "learning_rate": 9.224666666666667e-05,
      "loss": 0.0244,
      "step": 34890
    },
    {
      "epoch": 4.653333333333333,
      "grad_norm": 0.46128353476524353,
      "learning_rate": 9.224444444444444e-05,
      "loss": 0.0193,
      "step": 34900
    },
    {
      "epoch": 4.6546666666666665,
      "grad_norm": 0.5313496589660645,
      "learning_rate": 9.224222222222223e-05,
      "loss": 0.0211,
      "step": 34910
    },
    {
      "epoch": 4.656,
      "grad_norm": 0.13348926603794098,
      "learning_rate": 9.224e-05,
      "loss": 0.0408,
      "step": 34920
    },
    {
      "epoch": 4.657333333333334,
      "grad_norm": 0.6328222751617432,
      "learning_rate": 9.223777777777778e-05,
      "loss": 0.0245,
      "step": 34930
    },
    {
      "epoch": 4.658666666666667,
      "grad_norm": 0.11984121799468994,
      "learning_rate": 9.223555555555557e-05,
      "loss": 0.0222,
      "step": 34940
    },
    {
      "epoch": 4.66,
      "grad_norm": 1.2091385126113892,
      "learning_rate": 9.223333333333334e-05,
      "loss": 0.0314,
      "step": 34950
    },
    {
      "epoch": 4.661333333333333,
      "grad_norm": 0.43071362376213074,
      "learning_rate": 9.223111111111111e-05,
      "loss": 0.0219,
      "step": 34960
    },
    {
      "epoch": 4.6626666666666665,
      "grad_norm": 0.5515815019607544,
      "learning_rate": 9.22288888888889e-05,
      "loss": 0.0241,
      "step": 34970
    },
    {
      "epoch": 4.664,
      "grad_norm": 0.5369940996170044,
      "learning_rate": 9.222666666666668e-05,
      "loss": 0.0262,
      "step": 34980
    },
    {
      "epoch": 4.665333333333333,
      "grad_norm": 0.2634075880050659,
      "learning_rate": 9.222444444444445e-05,
      "loss": 0.0265,
      "step": 34990
    },
    {
      "epoch": 4.666666666666667,
      "grad_norm": 0.20640155673027039,
      "learning_rate": 9.222222222222223e-05,
      "loss": 0.0241,
      "step": 35000
    },
    {
      "epoch": 4.668,
      "grad_norm": 0.35713991522789,
      "learning_rate": 9.222000000000001e-05,
      "loss": 0.0204,
      "step": 35010
    },
    {
      "epoch": 4.669333333333333,
      "grad_norm": 0.21540090441703796,
      "learning_rate": 9.221777777777779e-05,
      "loss": 0.0206,
      "step": 35020
    },
    {
      "epoch": 4.6706666666666665,
      "grad_norm": 0.3355506360530853,
      "learning_rate": 9.221555555555555e-05,
      "loss": 0.024,
      "step": 35030
    },
    {
      "epoch": 4.672,
      "grad_norm": 0.21637874841690063,
      "learning_rate": 9.221333333333334e-05,
      "loss": 0.0239,
      "step": 35040
    },
    {
      "epoch": 4.673333333333334,
      "grad_norm": 0.24788159132003784,
      "learning_rate": 9.221111111111112e-05,
      "loss": 0.0255,
      "step": 35050
    },
    {
      "epoch": 4.674666666666667,
      "grad_norm": 0.5319560170173645,
      "learning_rate": 9.22088888888889e-05,
      "loss": 0.022,
      "step": 35060
    },
    {
      "epoch": 4.676,
      "grad_norm": 0.9217959642410278,
      "learning_rate": 9.220666666666667e-05,
      "loss": 0.0275,
      "step": 35070
    },
    {
      "epoch": 4.677333333333333,
      "grad_norm": 0.30445513129234314,
      "learning_rate": 9.220444444444445e-05,
      "loss": 0.0208,
      "step": 35080
    },
    {
      "epoch": 4.6786666666666665,
      "grad_norm": 0.41483011841773987,
      "learning_rate": 9.220222222222223e-05,
      "loss": 0.0296,
      "step": 35090
    },
    {
      "epoch": 4.68,
      "grad_norm": 0.6563757658004761,
      "learning_rate": 9.22e-05,
      "loss": 0.0253,
      "step": 35100
    },
    {
      "epoch": 4.681333333333333,
      "grad_norm": 0.4392203986644745,
      "learning_rate": 9.219777777777778e-05,
      "loss": 0.0233,
      "step": 35110
    },
    {
      "epoch": 4.682666666666667,
      "grad_norm": 0.18336614966392517,
      "learning_rate": 9.219555555555556e-05,
      "loss": 0.0147,
      "step": 35120
    },
    {
      "epoch": 4.684,
      "grad_norm": 0.0965992659330368,
      "learning_rate": 9.219333333333334e-05,
      "loss": 0.0245,
      "step": 35130
    },
    {
      "epoch": 4.685333333333333,
      "grad_norm": 0.43532997369766235,
      "learning_rate": 9.219111111111111e-05,
      "loss": 0.0324,
      "step": 35140
    },
    {
      "epoch": 4.6866666666666665,
      "grad_norm": 0.7363855838775635,
      "learning_rate": 9.218888888888889e-05,
      "loss": 0.035,
      "step": 35150
    },
    {
      "epoch": 4.688,
      "grad_norm": 0.8423348665237427,
      "learning_rate": 9.218666666666667e-05,
      "loss": 0.0197,
      "step": 35160
    },
    {
      "epoch": 4.689333333333334,
      "grad_norm": 1.0252859592437744,
      "learning_rate": 9.218444444444445e-05,
      "loss": 0.029,
      "step": 35170
    },
    {
      "epoch": 4.690666666666667,
      "grad_norm": 0.37225690484046936,
      "learning_rate": 9.218222222222222e-05,
      "loss": 0.0245,
      "step": 35180
    },
    {
      "epoch": 4.692,
      "grad_norm": 0.12675811350345612,
      "learning_rate": 9.218e-05,
      "loss": 0.0209,
      "step": 35190
    },
    {
      "epoch": 4.693333333333333,
      "grad_norm": 0.27093827724456787,
      "learning_rate": 9.217777777777778e-05,
      "loss": 0.0212,
      "step": 35200
    },
    {
      "epoch": 4.6946666666666665,
      "grad_norm": 0.5286189317703247,
      "learning_rate": 9.217555555555556e-05,
      "loss": 0.0329,
      "step": 35210
    },
    {
      "epoch": 4.696,
      "grad_norm": 0.5709027647972107,
      "learning_rate": 9.217333333333333e-05,
      "loss": 0.03,
      "step": 35220
    },
    {
      "epoch": 4.697333333333333,
      "grad_norm": 0.3259440064430237,
      "learning_rate": 9.217111111111112e-05,
      "loss": 0.0144,
      "step": 35230
    },
    {
      "epoch": 4.698666666666667,
      "grad_norm": 0.3867489695549011,
      "learning_rate": 9.216888888888889e-05,
      "loss": 0.0205,
      "step": 35240
    },
    {
      "epoch": 4.7,
      "grad_norm": 0.374237060546875,
      "learning_rate": 9.216666666666667e-05,
      "loss": 0.0235,
      "step": 35250
    },
    {
      "epoch": 4.701333333333333,
      "grad_norm": 0.2790609300136566,
      "learning_rate": 9.216444444444446e-05,
      "loss": 0.0254,
      "step": 35260
    },
    {
      "epoch": 4.7026666666666666,
      "grad_norm": 0.2710222601890564,
      "learning_rate": 9.216222222222222e-05,
      "loss": 0.0217,
      "step": 35270
    },
    {
      "epoch": 4.704,
      "grad_norm": 0.32816392183303833,
      "learning_rate": 9.216e-05,
      "loss": 0.0229,
      "step": 35280
    },
    {
      "epoch": 4.705333333333334,
      "grad_norm": 0.06917815655469894,
      "learning_rate": 9.215777777777779e-05,
      "loss": 0.0316,
      "step": 35290
    },
    {
      "epoch": 4.706666666666667,
      "grad_norm": 0.47885259985923767,
      "learning_rate": 9.215555555555557e-05,
      "loss": 0.0327,
      "step": 35300
    },
    {
      "epoch": 4.708,
      "grad_norm": 0.5207911133766174,
      "learning_rate": 9.215333333333333e-05,
      "loss": 0.0199,
      "step": 35310
    },
    {
      "epoch": 4.709333333333333,
      "grad_norm": 0.5074678659439087,
      "learning_rate": 9.215111111111111e-05,
      "loss": 0.0222,
      "step": 35320
    },
    {
      "epoch": 4.710666666666667,
      "grad_norm": 0.03809463977813721,
      "learning_rate": 9.21488888888889e-05,
      "loss": 0.0182,
      "step": 35330
    },
    {
      "epoch": 4.712,
      "grad_norm": 0.2267197221517563,
      "learning_rate": 9.214666666666668e-05,
      "loss": 0.0146,
      "step": 35340
    },
    {
      "epoch": 4.713333333333333,
      "grad_norm": 0.3258202075958252,
      "learning_rate": 9.214444444444444e-05,
      "loss": 0.0178,
      "step": 35350
    },
    {
      "epoch": 4.714666666666667,
      "grad_norm": 0.7455999255180359,
      "learning_rate": 9.214222222222223e-05,
      "loss": 0.0396,
      "step": 35360
    },
    {
      "epoch": 4.716,
      "grad_norm": 0.2868741452693939,
      "learning_rate": 9.214000000000001e-05,
      "loss": 0.0238,
      "step": 35370
    },
    {
      "epoch": 4.717333333333333,
      "grad_norm": 0.46780824661254883,
      "learning_rate": 9.213777777777777e-05,
      "loss": 0.0289,
      "step": 35380
    },
    {
      "epoch": 4.718666666666667,
      "grad_norm": 0.767498254776001,
      "learning_rate": 9.213555555555556e-05,
      "loss": 0.0329,
      "step": 35390
    },
    {
      "epoch": 4.72,
      "grad_norm": 0.3197118937969208,
      "learning_rate": 9.213333333333334e-05,
      "loss": 0.0415,
      "step": 35400
    },
    {
      "epoch": 4.721333333333334,
      "grad_norm": 0.0908598080277443,
      "learning_rate": 9.213111111111112e-05,
      "loss": 0.0308,
      "step": 35410
    },
    {
      "epoch": 4.722666666666667,
      "grad_norm": 0.9692515730857849,
      "learning_rate": 9.21288888888889e-05,
      "loss": 0.0213,
      "step": 35420
    },
    {
      "epoch": 4.724,
      "grad_norm": 0.11403273046016693,
      "learning_rate": 9.212666666666667e-05,
      "loss": 0.0132,
      "step": 35430
    },
    {
      "epoch": 4.725333333333333,
      "grad_norm": 0.08360283821821213,
      "learning_rate": 9.212444444444445e-05,
      "loss": 0.025,
      "step": 35440
    },
    {
      "epoch": 4.726666666666667,
      "grad_norm": 0.4268045425415039,
      "learning_rate": 9.212222222222223e-05,
      "loss": 0.0211,
      "step": 35450
    },
    {
      "epoch": 4.728,
      "grad_norm": 0.3613594174385071,
      "learning_rate": 9.212e-05,
      "loss": 0.0254,
      "step": 35460
    },
    {
      "epoch": 4.729333333333333,
      "grad_norm": 0.1891641467809677,
      "learning_rate": 9.211777777777778e-05,
      "loss": 0.0217,
      "step": 35470
    },
    {
      "epoch": 4.730666666666667,
      "grad_norm": 0.5864153504371643,
      "learning_rate": 9.211555555555556e-05,
      "loss": 0.026,
      "step": 35480
    },
    {
      "epoch": 4.732,
      "grad_norm": 1.0585124492645264,
      "learning_rate": 9.211333333333334e-05,
      "loss": 0.0269,
      "step": 35490
    },
    {
      "epoch": 4.733333333333333,
      "grad_norm": 0.48036402463912964,
      "learning_rate": 9.211111111111112e-05,
      "loss": 0.0242,
      "step": 35500
    },
    {
      "epoch": 4.734666666666667,
      "grad_norm": 0.42970722913742065,
      "learning_rate": 9.210888888888889e-05,
      "loss": 0.0237,
      "step": 35510
    },
    {
      "epoch": 4.736,
      "grad_norm": 0.5926597118377686,
      "learning_rate": 9.210666666666667e-05,
      "loss": 0.0268,
      "step": 35520
    },
    {
      "epoch": 4.737333333333333,
      "grad_norm": 0.48743894696235657,
      "learning_rate": 9.210444444444445e-05,
      "loss": 0.033,
      "step": 35530
    },
    {
      "epoch": 4.738666666666667,
      "grad_norm": 0.3552369177341461,
      "learning_rate": 9.210222222222223e-05,
      "loss": 0.0241,
      "step": 35540
    },
    {
      "epoch": 4.74,
      "grad_norm": 0.4123722016811371,
      "learning_rate": 9.21e-05,
      "loss": 0.0333,
      "step": 35550
    },
    {
      "epoch": 4.741333333333333,
      "grad_norm": 0.43460530042648315,
      "learning_rate": 9.209777777777778e-05,
      "loss": 0.0316,
      "step": 35560
    },
    {
      "epoch": 4.742666666666667,
      "grad_norm": 0.25224569439888,
      "learning_rate": 9.209555555555556e-05,
      "loss": 0.0248,
      "step": 35570
    },
    {
      "epoch": 4.744,
      "grad_norm": 0.7038781046867371,
      "learning_rate": 9.209333333333335e-05,
      "loss": 0.0239,
      "step": 35580
    },
    {
      "epoch": 4.745333333333333,
      "grad_norm": 0.44566914439201355,
      "learning_rate": 9.209111111111111e-05,
      "loss": 0.0286,
      "step": 35590
    },
    {
      "epoch": 4.746666666666667,
      "grad_norm": 0.4425104856491089,
      "learning_rate": 9.208888888888889e-05,
      "loss": 0.0259,
      "step": 35600
    },
    {
      "epoch": 4.748,
      "grad_norm": 0.21933799982070923,
      "learning_rate": 9.208666666666667e-05,
      "loss": 0.0332,
      "step": 35610
    },
    {
      "epoch": 4.749333333333333,
      "grad_norm": 0.3217831254005432,
      "learning_rate": 9.208444444444444e-05,
      "loss": 0.0168,
      "step": 35620
    },
    {
      "epoch": 4.750666666666667,
      "grad_norm": 0.43987372517585754,
      "learning_rate": 9.208222222222222e-05,
      "loss": 0.0167,
      "step": 35630
    },
    {
      "epoch": 4.752,
      "grad_norm": 0.6834123134613037,
      "learning_rate": 9.208e-05,
      "loss": 0.0292,
      "step": 35640
    },
    {
      "epoch": 4.753333333333333,
      "grad_norm": 0.3663323223590851,
      "learning_rate": 9.207777777777779e-05,
      "loss": 0.0209,
      "step": 35650
    },
    {
      "epoch": 4.754666666666667,
      "grad_norm": 0.8543856739997864,
      "learning_rate": 9.207555555555555e-05,
      "loss": 0.0251,
      "step": 35660
    },
    {
      "epoch": 4.756,
      "grad_norm": 0.4142356514930725,
      "learning_rate": 9.207333333333333e-05,
      "loss": 0.0304,
      "step": 35670
    },
    {
      "epoch": 4.757333333333333,
      "grad_norm": 0.4060155153274536,
      "learning_rate": 9.207111111111112e-05,
      "loss": 0.0238,
      "step": 35680
    },
    {
      "epoch": 4.758666666666667,
      "grad_norm": 0.31853896379470825,
      "learning_rate": 9.20688888888889e-05,
      "loss": 0.0292,
      "step": 35690
    },
    {
      "epoch": 4.76,
      "grad_norm": 0.6314327716827393,
      "learning_rate": 9.206666666666666e-05,
      "loss": 0.0333,
      "step": 35700
    },
    {
      "epoch": 4.761333333333333,
      "grad_norm": 0.4733247756958008,
      "learning_rate": 9.206444444444445e-05,
      "loss": 0.0351,
      "step": 35710
    },
    {
      "epoch": 4.762666666666667,
      "grad_norm": 0.2868655025959015,
      "learning_rate": 9.206222222222223e-05,
      "loss": 0.0236,
      "step": 35720
    },
    {
      "epoch": 4.764,
      "grad_norm": 1.8683136701583862,
      "learning_rate": 9.206e-05,
      "loss": 0.0273,
      "step": 35730
    },
    {
      "epoch": 4.765333333333333,
      "grad_norm": 0.5995510816574097,
      "learning_rate": 9.205777777777779e-05,
      "loss": 0.0274,
      "step": 35740
    },
    {
      "epoch": 4.766666666666667,
      "grad_norm": 0.8732660412788391,
      "learning_rate": 9.205555555555556e-05,
      "loss": 0.0309,
      "step": 35750
    },
    {
      "epoch": 4.768,
      "grad_norm": 0.4540983736515045,
      "learning_rate": 9.205333333333334e-05,
      "loss": 0.0263,
      "step": 35760
    },
    {
      "epoch": 4.769333333333333,
      "grad_norm": 0.07104188203811646,
      "learning_rate": 9.20511111111111e-05,
      "loss": 0.0316,
      "step": 35770
    },
    {
      "epoch": 4.770666666666667,
      "grad_norm": 0.8986856341362,
      "learning_rate": 9.20488888888889e-05,
      "loss": 0.0223,
      "step": 35780
    },
    {
      "epoch": 4.772,
      "grad_norm": 1.2209986448287964,
      "learning_rate": 9.204666666666667e-05,
      "loss": 0.0275,
      "step": 35790
    },
    {
      "epoch": 4.773333333333333,
      "grad_norm": 0.5518574118614197,
      "learning_rate": 9.204444444444444e-05,
      "loss": 0.0148,
      "step": 35800
    },
    {
      "epoch": 4.774666666666667,
      "grad_norm": 0.7854995131492615,
      "learning_rate": 9.204222222222223e-05,
      "loss": 0.0353,
      "step": 35810
    },
    {
      "epoch": 4.776,
      "grad_norm": 0.7005162835121155,
      "learning_rate": 9.204e-05,
      "loss": 0.0321,
      "step": 35820
    },
    {
      "epoch": 4.777333333333333,
      "grad_norm": 0.5934474468231201,
      "learning_rate": 9.203777777777778e-05,
      "loss": 0.0254,
      "step": 35830
    },
    {
      "epoch": 4.778666666666666,
      "grad_norm": 0.48862966895103455,
      "learning_rate": 9.203555555555556e-05,
      "loss": 0.0262,
      "step": 35840
    },
    {
      "epoch": 4.78,
      "grad_norm": 0.3475690484046936,
      "learning_rate": 9.203333333333334e-05,
      "loss": 0.0281,
      "step": 35850
    },
    {
      "epoch": 4.781333333333333,
      "grad_norm": 0.9269278049468994,
      "learning_rate": 9.203111111111112e-05,
      "loss": 0.0387,
      "step": 35860
    },
    {
      "epoch": 4.782666666666667,
      "grad_norm": 0.4507579207420349,
      "learning_rate": 9.20288888888889e-05,
      "loss": 0.028,
      "step": 35870
    },
    {
      "epoch": 4.784,
      "grad_norm": 0.27798864245414734,
      "learning_rate": 9.202666666666667e-05,
      "loss": 0.0174,
      "step": 35880
    },
    {
      "epoch": 4.785333333333333,
      "grad_norm": 0.5779216289520264,
      "learning_rate": 9.202444444444445e-05,
      "loss": 0.0219,
      "step": 35890
    },
    {
      "epoch": 4.786666666666667,
      "grad_norm": 0.579691469669342,
      "learning_rate": 9.202222222222223e-05,
      "loss": 0.0254,
      "step": 35900
    },
    {
      "epoch": 4.788,
      "grad_norm": 0.3258363604545593,
      "learning_rate": 9.202e-05,
      "loss": 0.0286,
      "step": 35910
    },
    {
      "epoch": 4.789333333333333,
      "grad_norm": 0.533363401889801,
      "learning_rate": 9.201777777777778e-05,
      "loss": 0.0288,
      "step": 35920
    },
    {
      "epoch": 4.790666666666667,
      "grad_norm": 0.31049004197120667,
      "learning_rate": 9.201555555555556e-05,
      "loss": 0.0185,
      "step": 35930
    },
    {
      "epoch": 4.792,
      "grad_norm": 0.39074596762657166,
      "learning_rate": 9.201333333333334e-05,
      "loss": 0.0194,
      "step": 35940
    },
    {
      "epoch": 4.793333333333333,
      "grad_norm": 0.32486945390701294,
      "learning_rate": 9.201111111111111e-05,
      "loss": 0.0151,
      "step": 35950
    },
    {
      "epoch": 4.794666666666666,
      "grad_norm": 0.2616448998451233,
      "learning_rate": 9.200888888888889e-05,
      "loss": 0.0239,
      "step": 35960
    },
    {
      "epoch": 4.796,
      "grad_norm": 1.1212364435195923,
      "learning_rate": 9.200666666666667e-05,
      "loss": 0.0214,
      "step": 35970
    },
    {
      "epoch": 4.7973333333333334,
      "grad_norm": 1.0327117443084717,
      "learning_rate": 9.200444444444445e-05,
      "loss": 0.0198,
      "step": 35980
    },
    {
      "epoch": 4.798666666666667,
      "grad_norm": 1.1572905778884888,
      "learning_rate": 9.200222222222222e-05,
      "loss": 0.0282,
      "step": 35990
    },
    {
      "epoch": 4.8,
      "grad_norm": 0.15319205820560455,
      "learning_rate": 9.200000000000001e-05,
      "loss": 0.0261,
      "step": 36000
    },
    {
      "epoch": 4.801333333333333,
      "grad_norm": 0.27597880363464355,
      "learning_rate": 9.199777777777778e-05,
      "loss": 0.0268,
      "step": 36010
    },
    {
      "epoch": 4.802666666666667,
      "grad_norm": 0.5109804272651672,
      "learning_rate": 9.199555555555555e-05,
      "loss": 0.0238,
      "step": 36020
    },
    {
      "epoch": 4.804,
      "grad_norm": 0.7955166101455688,
      "learning_rate": 9.199333333333335e-05,
      "loss": 0.0166,
      "step": 36030
    },
    {
      "epoch": 4.8053333333333335,
      "grad_norm": 0.4455832839012146,
      "learning_rate": 9.199111111111112e-05,
      "loss": 0.0253,
      "step": 36040
    },
    {
      "epoch": 4.806666666666667,
      "grad_norm": 0.5972921252250671,
      "learning_rate": 9.198888888888889e-05,
      "loss": 0.023,
      "step": 36050
    },
    {
      "epoch": 4.808,
      "grad_norm": 0.22323322296142578,
      "learning_rate": 9.198666666666668e-05,
      "loss": 0.0275,
      "step": 36060
    },
    {
      "epoch": 4.809333333333333,
      "grad_norm": 0.46525368094444275,
      "learning_rate": 9.198444444444446e-05,
      "loss": 0.0269,
      "step": 36070
    },
    {
      "epoch": 4.810666666666666,
      "grad_norm": 1.0826518535614014,
      "learning_rate": 9.198222222222222e-05,
      "loss": 0.0211,
      "step": 36080
    },
    {
      "epoch": 4.812,
      "grad_norm": 0.35043010115623474,
      "learning_rate": 9.198e-05,
      "loss": 0.0193,
      "step": 36090
    },
    {
      "epoch": 4.8133333333333335,
      "grad_norm": 0.6897037625312805,
      "learning_rate": 9.197777777777779e-05,
      "loss": 0.0323,
      "step": 36100
    },
    {
      "epoch": 4.814666666666667,
      "grad_norm": 0.2893890142440796,
      "learning_rate": 9.197555555555557e-05,
      "loss": 0.0293,
      "step": 36110
    },
    {
      "epoch": 4.816,
      "grad_norm": 0.3111182451248169,
      "learning_rate": 9.197333333333333e-05,
      "loss": 0.0221,
      "step": 36120
    },
    {
      "epoch": 4.817333333333333,
      "grad_norm": 0.09143240749835968,
      "learning_rate": 9.197111111111112e-05,
      "loss": 0.0166,
      "step": 36130
    },
    {
      "epoch": 4.818666666666667,
      "grad_norm": 0.27278369665145874,
      "learning_rate": 9.19688888888889e-05,
      "loss": 0.0272,
      "step": 36140
    },
    {
      "epoch": 4.82,
      "grad_norm": 0.3265249729156494,
      "learning_rate": 9.196666666666666e-05,
      "loss": 0.0223,
      "step": 36150
    },
    {
      "epoch": 4.8213333333333335,
      "grad_norm": 0.33084604144096375,
      "learning_rate": 9.196444444444445e-05,
      "loss": 0.0325,
      "step": 36160
    },
    {
      "epoch": 4.822666666666667,
      "grad_norm": 0.6571999788284302,
      "learning_rate": 9.196222222222223e-05,
      "loss": 0.0245,
      "step": 36170
    },
    {
      "epoch": 4.824,
      "grad_norm": 1.7471379041671753,
      "learning_rate": 9.196000000000001e-05,
      "loss": 0.0324,
      "step": 36180
    },
    {
      "epoch": 4.825333333333333,
      "grad_norm": 0.4589051306247711,
      "learning_rate": 9.195777777777778e-05,
      "loss": 0.0212,
      "step": 36190
    },
    {
      "epoch": 4.826666666666666,
      "grad_norm": 0.2250339388847351,
      "learning_rate": 9.195555555555556e-05,
      "loss": 0.021,
      "step": 36200
    },
    {
      "epoch": 4.828,
      "grad_norm": 0.3432905972003937,
      "learning_rate": 9.195333333333334e-05,
      "loss": 0.0251,
      "step": 36210
    },
    {
      "epoch": 4.8293333333333335,
      "grad_norm": 0.35889333486557007,
      "learning_rate": 9.19511111111111e-05,
      "loss": 0.0216,
      "step": 36220
    },
    {
      "epoch": 4.830666666666667,
      "grad_norm": 0.8932219743728638,
      "learning_rate": 9.19488888888889e-05,
      "loss": 0.0289,
      "step": 36230
    },
    {
      "epoch": 4.832,
      "grad_norm": 0.62795490026474,
      "learning_rate": 9.194666666666667e-05,
      "loss": 0.0209,
      "step": 36240
    },
    {
      "epoch": 4.833333333333333,
      "grad_norm": 0.48042261600494385,
      "learning_rate": 9.194444444444445e-05,
      "loss": 0.0248,
      "step": 36250
    },
    {
      "epoch": 4.834666666666667,
      "grad_norm": 1.1629762649536133,
      "learning_rate": 9.194222222222223e-05,
      "loss": 0.028,
      "step": 36260
    },
    {
      "epoch": 4.836,
      "grad_norm": 0.6839362382888794,
      "learning_rate": 9.194e-05,
      "loss": 0.0172,
      "step": 36270
    },
    {
      "epoch": 4.8373333333333335,
      "grad_norm": 0.20577873289585114,
      "learning_rate": 9.193777777777778e-05,
      "loss": 0.0187,
      "step": 36280
    },
    {
      "epoch": 4.838666666666667,
      "grad_norm": 0.8243023157119751,
      "learning_rate": 9.193555555555556e-05,
      "loss": 0.0235,
      "step": 36290
    },
    {
      "epoch": 4.84,
      "grad_norm": 0.42386341094970703,
      "learning_rate": 9.193333333333334e-05,
      "loss": 0.0281,
      "step": 36300
    },
    {
      "epoch": 4.841333333333333,
      "grad_norm": 0.288109689950943,
      "learning_rate": 9.193111111111111e-05,
      "loss": 0.0202,
      "step": 36310
    },
    {
      "epoch": 4.842666666666666,
      "grad_norm": 0.21914131939411163,
      "learning_rate": 9.192888888888889e-05,
      "loss": 0.0236,
      "step": 36320
    },
    {
      "epoch": 4.844,
      "grad_norm": 0.09667544066905975,
      "learning_rate": 9.192666666666667e-05,
      "loss": 0.0237,
      "step": 36330
    },
    {
      "epoch": 4.8453333333333335,
      "grad_norm": 1.1943260431289673,
      "learning_rate": 9.192444444444445e-05,
      "loss": 0.0253,
      "step": 36340
    },
    {
      "epoch": 4.846666666666667,
      "grad_norm": 0.32195746898651123,
      "learning_rate": 9.192222222222224e-05,
      "loss": 0.0304,
      "step": 36350
    },
    {
      "epoch": 4.848,
      "grad_norm": 0.21048690378665924,
      "learning_rate": 9.192e-05,
      "loss": 0.0165,
      "step": 36360
    },
    {
      "epoch": 4.849333333333333,
      "grad_norm": 0.2992280423641205,
      "learning_rate": 9.191777777777778e-05,
      "loss": 0.0251,
      "step": 36370
    },
    {
      "epoch": 4.850666666666667,
      "grad_norm": 0.6385107040405273,
      "learning_rate": 9.191555555555556e-05,
      "loss": 0.0242,
      "step": 36380
    },
    {
      "epoch": 4.852,
      "grad_norm": 0.22661352157592773,
      "learning_rate": 9.191333333333335e-05,
      "loss": 0.0305,
      "step": 36390
    },
    {
      "epoch": 4.8533333333333335,
      "grad_norm": 0.5870746374130249,
      "learning_rate": 9.191111111111111e-05,
      "loss": 0.0281,
      "step": 36400
    },
    {
      "epoch": 4.854666666666667,
      "grad_norm": 0.23802533745765686,
      "learning_rate": 9.190888888888889e-05,
      "loss": 0.0123,
      "step": 36410
    },
    {
      "epoch": 4.856,
      "grad_norm": 0.15247003734111786,
      "learning_rate": 9.190666666666668e-05,
      "loss": 0.0215,
      "step": 36420
    },
    {
      "epoch": 4.857333333333333,
      "grad_norm": 0.6897530555725098,
      "learning_rate": 9.190444444444444e-05,
      "loss": 0.0174,
      "step": 36430
    },
    {
      "epoch": 4.858666666666666,
      "grad_norm": 0.36594143509864807,
      "learning_rate": 9.190222222222222e-05,
      "loss": 0.0265,
      "step": 36440
    },
    {
      "epoch": 4.86,
      "grad_norm": 0.16307590901851654,
      "learning_rate": 9.190000000000001e-05,
      "loss": 0.0154,
      "step": 36450
    },
    {
      "epoch": 4.8613333333333335,
      "grad_norm": 1.4734585285186768,
      "learning_rate": 9.189777777777779e-05,
      "loss": 0.0266,
      "step": 36460
    },
    {
      "epoch": 4.862666666666667,
      "grad_norm": 0.6525846123695374,
      "learning_rate": 9.189555555555555e-05,
      "loss": 0.0258,
      "step": 36470
    },
    {
      "epoch": 4.864,
      "grad_norm": 0.20407623052597046,
      "learning_rate": 9.189333333333334e-05,
      "loss": 0.0176,
      "step": 36480
    },
    {
      "epoch": 4.865333333333333,
      "grad_norm": 0.36930984258651733,
      "learning_rate": 9.189111111111112e-05,
      "loss": 0.024,
      "step": 36490
    },
    {
      "epoch": 4.866666666666667,
      "grad_norm": 0.32229679822921753,
      "learning_rate": 9.188888888888888e-05,
      "loss": 0.0179,
      "step": 36500
    },
    {
      "epoch": 4.868,
      "grad_norm": 1.0076446533203125,
      "learning_rate": 9.188666666666668e-05,
      "loss": 0.0285,
      "step": 36510
    },
    {
      "epoch": 4.8693333333333335,
      "grad_norm": 0.5364055633544922,
      "learning_rate": 9.188444444444445e-05,
      "loss": 0.0197,
      "step": 36520
    },
    {
      "epoch": 4.870666666666667,
      "grad_norm": 0.613487184047699,
      "learning_rate": 9.188222222222223e-05,
      "loss": 0.0375,
      "step": 36530
    },
    {
      "epoch": 4.872,
      "grad_norm": 0.4749862849712372,
      "learning_rate": 9.188e-05,
      "loss": 0.0229,
      "step": 36540
    },
    {
      "epoch": 4.873333333333333,
      "grad_norm": 0.19072438776493073,
      "learning_rate": 9.187777777777779e-05,
      "loss": 0.018,
      "step": 36550
    },
    {
      "epoch": 4.874666666666666,
      "grad_norm": 0.5120169520378113,
      "learning_rate": 9.187555555555556e-05,
      "loss": 0.0253,
      "step": 36560
    },
    {
      "epoch": 4.876,
      "grad_norm": 0.6613546013832092,
      "learning_rate": 9.187333333333333e-05,
      "loss": 0.0281,
      "step": 36570
    },
    {
      "epoch": 4.8773333333333335,
      "grad_norm": 0.7938569188117981,
      "learning_rate": 9.187111111111112e-05,
      "loss": 0.0369,
      "step": 36580
    },
    {
      "epoch": 4.878666666666667,
      "grad_norm": 0.7131738662719727,
      "learning_rate": 9.18688888888889e-05,
      "loss": 0.0257,
      "step": 36590
    },
    {
      "epoch": 4.88,
      "grad_norm": 0.5736151933670044,
      "learning_rate": 9.186666666666667e-05,
      "loss": 0.0278,
      "step": 36600
    },
    {
      "epoch": 4.881333333333333,
      "grad_norm": 0.3902323246002197,
      "learning_rate": 9.186444444444445e-05,
      "loss": 0.0273,
      "step": 36610
    },
    {
      "epoch": 4.882666666666667,
      "grad_norm": 0.12141922861337662,
      "learning_rate": 9.186222222222223e-05,
      "loss": 0.0252,
      "step": 36620
    },
    {
      "epoch": 4.884,
      "grad_norm": 0.4887749254703522,
      "learning_rate": 9.186e-05,
      "loss": 0.0245,
      "step": 36630
    },
    {
      "epoch": 4.8853333333333335,
      "grad_norm": 0.5953143239021301,
      "learning_rate": 9.185777777777778e-05,
      "loss": 0.0264,
      "step": 36640
    },
    {
      "epoch": 4.886666666666667,
      "grad_norm": 1.859928011894226,
      "learning_rate": 9.185555555555556e-05,
      "loss": 0.025,
      "step": 36650
    },
    {
      "epoch": 4.888,
      "grad_norm": 0.9228624105453491,
      "learning_rate": 9.185333333333334e-05,
      "loss": 0.0219,
      "step": 36660
    },
    {
      "epoch": 4.889333333333333,
      "grad_norm": 0.25203463435173035,
      "learning_rate": 9.185111111111111e-05,
      "loss": 0.0186,
      "step": 36670
    },
    {
      "epoch": 4.890666666666666,
      "grad_norm": 0.21744213998317719,
      "learning_rate": 9.184888888888889e-05,
      "loss": 0.0159,
      "step": 36680
    },
    {
      "epoch": 4.892,
      "grad_norm": 0.730248212814331,
      "learning_rate": 9.184666666666667e-05,
      "loss": 0.0233,
      "step": 36690
    },
    {
      "epoch": 4.8933333333333335,
      "grad_norm": 0.15476204454898834,
      "learning_rate": 9.184444444444445e-05,
      "loss": 0.0181,
      "step": 36700
    },
    {
      "epoch": 4.894666666666667,
      "grad_norm": 0.4754699468612671,
      "learning_rate": 9.184222222222222e-05,
      "loss": 0.032,
      "step": 36710
    },
    {
      "epoch": 4.896,
      "grad_norm": 0.25910335779190063,
      "learning_rate": 9.184e-05,
      "loss": 0.0168,
      "step": 36720
    },
    {
      "epoch": 4.897333333333333,
      "grad_norm": 0.09376545250415802,
      "learning_rate": 9.183777777777778e-05,
      "loss": 0.0278,
      "step": 36730
    },
    {
      "epoch": 4.898666666666666,
      "grad_norm": 0.7427163124084473,
      "learning_rate": 9.183555555555557e-05,
      "loss": 0.021,
      "step": 36740
    },
    {
      "epoch": 4.9,
      "grad_norm": 0.3228963613510132,
      "learning_rate": 9.183333333333333e-05,
      "loss": 0.0257,
      "step": 36750
    },
    {
      "epoch": 4.9013333333333335,
      "grad_norm": 0.13315995037555695,
      "learning_rate": 9.183111111111111e-05,
      "loss": 0.0194,
      "step": 36760
    },
    {
      "epoch": 4.902666666666667,
      "grad_norm": 0.6427634954452515,
      "learning_rate": 9.18288888888889e-05,
      "loss": 0.0227,
      "step": 36770
    },
    {
      "epoch": 4.904,
      "grad_norm": 0.7123910188674927,
      "learning_rate": 9.182666666666667e-05,
      "loss": 0.0145,
      "step": 36780
    },
    {
      "epoch": 4.905333333333333,
      "grad_norm": 0.3792957067489624,
      "learning_rate": 9.182444444444444e-05,
      "loss": 0.0223,
      "step": 36790
    },
    {
      "epoch": 4.906666666666666,
      "grad_norm": 0.21335668861865997,
      "learning_rate": 9.182222222222223e-05,
      "loss": 0.0225,
      "step": 36800
    },
    {
      "epoch": 4.908,
      "grad_norm": 0.5628805756568909,
      "learning_rate": 9.182000000000001e-05,
      "loss": 0.0219,
      "step": 36810
    },
    {
      "epoch": 4.9093333333333335,
      "grad_norm": 0.2827869653701782,
      "learning_rate": 9.181777777777778e-05,
      "loss": 0.0218,
      "step": 36820
    },
    {
      "epoch": 4.910666666666667,
      "grad_norm": 0.25388285517692566,
      "learning_rate": 9.181555555555555e-05,
      "loss": 0.0239,
      "step": 36830
    },
    {
      "epoch": 4.912,
      "grad_norm": 0.3159441351890564,
      "learning_rate": 9.181333333333334e-05,
      "loss": 0.019,
      "step": 36840
    },
    {
      "epoch": 4.913333333333333,
      "grad_norm": 0.025205975398421288,
      "learning_rate": 9.181111111111111e-05,
      "loss": 0.0191,
      "step": 36850
    },
    {
      "epoch": 4.914666666666666,
      "grad_norm": 0.33709248900413513,
      "learning_rate": 9.180888888888889e-05,
      "loss": 0.0282,
      "step": 36860
    },
    {
      "epoch": 4.916,
      "grad_norm": 0.479745090007782,
      "learning_rate": 9.180666666666668e-05,
      "loss": 0.0304,
      "step": 36870
    },
    {
      "epoch": 4.917333333333334,
      "grad_norm": 0.4937046468257904,
      "learning_rate": 9.180444444444445e-05,
      "loss": 0.025,
      "step": 36880
    },
    {
      "epoch": 4.918666666666667,
      "grad_norm": 0.39097458124160767,
      "learning_rate": 9.180222222222222e-05,
      "loss": 0.0183,
      "step": 36890
    },
    {
      "epoch": 4.92,
      "grad_norm": 0.4171169102191925,
      "learning_rate": 9.180000000000001e-05,
      "loss": 0.0252,
      "step": 36900
    },
    {
      "epoch": 4.921333333333333,
      "grad_norm": 0.46249648928642273,
      "learning_rate": 9.179777777777779e-05,
      "loss": 0.0256,
      "step": 36910
    },
    {
      "epoch": 4.922666666666666,
      "grad_norm": 2.246859312057495,
      "learning_rate": 9.179555555555556e-05,
      "loss": 0.0323,
      "step": 36920
    },
    {
      "epoch": 4.924,
      "grad_norm": 0.09999425709247589,
      "learning_rate": 9.179333333333334e-05,
      "loss": 0.0307,
      "step": 36930
    },
    {
      "epoch": 4.925333333333334,
      "grad_norm": 0.4786912500858307,
      "learning_rate": 9.179111111111112e-05,
      "loss": 0.0196,
      "step": 36940
    },
    {
      "epoch": 4.926666666666667,
      "grad_norm": 0.45104146003723145,
      "learning_rate": 9.17888888888889e-05,
      "loss": 0.0315,
      "step": 36950
    },
    {
      "epoch": 4.928,
      "grad_norm": 0.22849023342132568,
      "learning_rate": 9.178666666666667e-05,
      "loss": 0.0165,
      "step": 36960
    },
    {
      "epoch": 4.929333333333333,
      "grad_norm": 0.6782166957855225,
      "learning_rate": 9.178444444444445e-05,
      "loss": 0.028,
      "step": 36970
    },
    {
      "epoch": 4.930666666666666,
      "grad_norm": 0.21599827706813812,
      "learning_rate": 9.178222222222223e-05,
      "loss": 0.0286,
      "step": 36980
    },
    {
      "epoch": 4.932,
      "grad_norm": 1.9884499311447144,
      "learning_rate": 9.178e-05,
      "loss": 0.0292,
      "step": 36990
    },
    {
      "epoch": 4.933333333333334,
      "grad_norm": 0.4753216803073883,
      "learning_rate": 9.177777777777778e-05,
      "loss": 0.0228,
      "step": 37000
    },
    {
      "epoch": 4.934666666666667,
      "grad_norm": 0.28326889872550964,
      "learning_rate": 9.177555555555556e-05,
      "loss": 0.0263,
      "step": 37010
    },
    {
      "epoch": 4.936,
      "grad_norm": 0.34039855003356934,
      "learning_rate": 9.177333333333334e-05,
      "loss": 0.0194,
      "step": 37020
    },
    {
      "epoch": 4.937333333333333,
      "grad_norm": 0.943452775478363,
      "learning_rate": 9.177111111111112e-05,
      "loss": 0.0257,
      "step": 37030
    },
    {
      "epoch": 4.938666666666666,
      "grad_norm": 1.0208812952041626,
      "learning_rate": 9.176888888888889e-05,
      "loss": 0.0231,
      "step": 37040
    },
    {
      "epoch": 4.9399999999999995,
      "grad_norm": 0.43699121475219727,
      "learning_rate": 9.176666666666667e-05,
      "loss": 0.0218,
      "step": 37050
    },
    {
      "epoch": 4.941333333333334,
      "grad_norm": 0.23036743700504303,
      "learning_rate": 9.176444444444445e-05,
      "loss": 0.0218,
      "step": 37060
    },
    {
      "epoch": 4.942666666666667,
      "grad_norm": 0.5672986507415771,
      "learning_rate": 9.176222222222222e-05,
      "loss": 0.0167,
      "step": 37070
    },
    {
      "epoch": 4.944,
      "grad_norm": 0.34885963797569275,
      "learning_rate": 9.176e-05,
      "loss": 0.0206,
      "step": 37080
    },
    {
      "epoch": 4.945333333333333,
      "grad_norm": 0.3197241425514221,
      "learning_rate": 9.17577777777778e-05,
      "loss": 0.023,
      "step": 37090
    },
    {
      "epoch": 4.946666666666666,
      "grad_norm": 0.47449272871017456,
      "learning_rate": 9.175555555555556e-05,
      "loss": 0.0221,
      "step": 37100
    },
    {
      "epoch": 4.948,
      "grad_norm": 0.46310338377952576,
      "learning_rate": 9.175333333333333e-05,
      "loss": 0.0318,
      "step": 37110
    },
    {
      "epoch": 4.949333333333334,
      "grad_norm": 0.7242447733879089,
      "learning_rate": 9.175111111111113e-05,
      "loss": 0.0217,
      "step": 37120
    },
    {
      "epoch": 4.950666666666667,
      "grad_norm": 0.21237680315971375,
      "learning_rate": 9.174888888888889e-05,
      "loss": 0.0146,
      "step": 37130
    },
    {
      "epoch": 4.952,
      "grad_norm": 0.2910361886024475,
      "learning_rate": 9.174666666666667e-05,
      "loss": 0.0236,
      "step": 37140
    },
    {
      "epoch": 4.953333333333333,
      "grad_norm": 0.29265883564949036,
      "learning_rate": 9.174444444444444e-05,
      "loss": 0.0209,
      "step": 37150
    },
    {
      "epoch": 4.954666666666666,
      "grad_norm": 0.2785891592502594,
      "learning_rate": 9.174222222222224e-05,
      "loss": 0.0484,
      "step": 37160
    },
    {
      "epoch": 4.9559999999999995,
      "grad_norm": 0.1292005181312561,
      "learning_rate": 9.174e-05,
      "loss": 0.0388,
      "step": 37170
    },
    {
      "epoch": 4.957333333333334,
      "grad_norm": 1.3712862730026245,
      "learning_rate": 9.173777777777778e-05,
      "loss": 0.0296,
      "step": 37180
    },
    {
      "epoch": 4.958666666666667,
      "grad_norm": 0.34612658619880676,
      "learning_rate": 9.173555555555557e-05,
      "loss": 0.0132,
      "step": 37190
    },
    {
      "epoch": 4.96,
      "grad_norm": 0.17430822551250458,
      "learning_rate": 9.173333333333333e-05,
      "loss": 0.0317,
      "step": 37200
    },
    {
      "epoch": 4.961333333333333,
      "grad_norm": 0.8783453702926636,
      "learning_rate": 9.173111111111111e-05,
      "loss": 0.0262,
      "step": 37210
    },
    {
      "epoch": 4.962666666666666,
      "grad_norm": 0.4148998558521271,
      "learning_rate": 9.17288888888889e-05,
      "loss": 0.0241,
      "step": 37220
    },
    {
      "epoch": 4.964,
      "grad_norm": 0.24099349975585938,
      "learning_rate": 9.172666666666668e-05,
      "loss": 0.0184,
      "step": 37230
    },
    {
      "epoch": 4.965333333333334,
      "grad_norm": 0.9288444519042969,
      "learning_rate": 9.172444444444444e-05,
      "loss": 0.0312,
      "step": 37240
    },
    {
      "epoch": 4.966666666666667,
      "grad_norm": 1.442976713180542,
      "learning_rate": 9.172222222222223e-05,
      "loss": 0.022,
      "step": 37250
    },
    {
      "epoch": 4.968,
      "grad_norm": 0.21990203857421875,
      "learning_rate": 9.172000000000001e-05,
      "loss": 0.0254,
      "step": 37260
    },
    {
      "epoch": 4.969333333333333,
      "grad_norm": 0.0851558968424797,
      "learning_rate": 9.171777777777779e-05,
      "loss": 0.0173,
      "step": 37270
    },
    {
      "epoch": 4.970666666666666,
      "grad_norm": 0.4656118154525757,
      "learning_rate": 9.171555555555555e-05,
      "loss": 0.0188,
      "step": 37280
    },
    {
      "epoch": 4.9719999999999995,
      "grad_norm": 0.5309696793556213,
      "learning_rate": 9.171333333333334e-05,
      "loss": 0.0218,
      "step": 37290
    },
    {
      "epoch": 4.973333333333334,
      "grad_norm": 0.29511675238609314,
      "learning_rate": 9.171111111111112e-05,
      "loss": 0.025,
      "step": 37300
    },
    {
      "epoch": 4.974666666666667,
      "grad_norm": 0.2854667007923126,
      "learning_rate": 9.170888888888888e-05,
      "loss": 0.0181,
      "step": 37310
    },
    {
      "epoch": 4.976,
      "grad_norm": 0.7935015559196472,
      "learning_rate": 9.170666666666667e-05,
      "loss": 0.0233,
      "step": 37320
    },
    {
      "epoch": 4.977333333333333,
      "grad_norm": 0.2891041040420532,
      "learning_rate": 9.170444444444445e-05,
      "loss": 0.0222,
      "step": 37330
    },
    {
      "epoch": 4.978666666666666,
      "grad_norm": 0.5026556849479675,
      "learning_rate": 9.170222222222223e-05,
      "loss": 0.0192,
      "step": 37340
    },
    {
      "epoch": 4.98,
      "grad_norm": 0.42682576179504395,
      "learning_rate": 9.17e-05,
      "loss": 0.0248,
      "step": 37350
    },
    {
      "epoch": 4.981333333333334,
      "grad_norm": 0.27821993827819824,
      "learning_rate": 9.169777777777778e-05,
      "loss": 0.0329,
      "step": 37360
    },
    {
      "epoch": 4.982666666666667,
      "grad_norm": 1.4610573053359985,
      "learning_rate": 9.169555555555556e-05,
      "loss": 0.0331,
      "step": 37370
    },
    {
      "epoch": 4.984,
      "grad_norm": 0.2076674997806549,
      "learning_rate": 9.169333333333334e-05,
      "loss": 0.0227,
      "step": 37380
    },
    {
      "epoch": 4.985333333333333,
      "grad_norm": 0.5306808352470398,
      "learning_rate": 9.169111111111112e-05,
      "loss": 0.0274,
      "step": 37390
    },
    {
      "epoch": 4.986666666666666,
      "grad_norm": 0.36459726095199585,
      "learning_rate": 9.16888888888889e-05,
      "loss": 0.0239,
      "step": 37400
    },
    {
      "epoch": 4.9879999999999995,
      "grad_norm": 0.38040798902511597,
      "learning_rate": 9.168666666666667e-05,
      "loss": 0.0161,
      "step": 37410
    },
    {
      "epoch": 4.989333333333334,
      "grad_norm": 0.4938705861568451,
      "learning_rate": 9.168444444444445e-05,
      "loss": 0.0238,
      "step": 37420
    },
    {
      "epoch": 4.990666666666667,
      "grad_norm": 0.7911420464515686,
      "learning_rate": 9.168222222222223e-05,
      "loss": 0.0343,
      "step": 37430
    },
    {
      "epoch": 4.992,
      "grad_norm": 0.6006321907043457,
      "learning_rate": 9.168e-05,
      "loss": 0.0296,
      "step": 37440
    },
    {
      "epoch": 4.993333333333333,
      "grad_norm": 0.2358967363834381,
      "learning_rate": 9.167777777777778e-05,
      "loss": 0.0206,
      "step": 37450
    },
    {
      "epoch": 4.994666666666666,
      "grad_norm": 0.41718289256095886,
      "learning_rate": 9.167555555555556e-05,
      "loss": 0.0177,
      "step": 37460
    },
    {
      "epoch": 4.996,
      "grad_norm": 0.3090605139732361,
      "learning_rate": 9.167333333333334e-05,
      "loss": 0.0231,
      "step": 37470
    },
    {
      "epoch": 4.997333333333334,
      "grad_norm": 0.12710513174533844,
      "learning_rate": 9.167111111111111e-05,
      "loss": 0.0345,
      "step": 37480
    },
    {
      "epoch": 4.998666666666667,
      "grad_norm": 0.4413117468357086,
      "learning_rate": 9.166888888888889e-05,
      "loss": 0.0258,
      "step": 37490
    },
    {
      "epoch": 5.0,
      "grad_norm": 0.35906243324279785,
      "learning_rate": 9.166666666666667e-05,
      "loss": 0.0252,
      "step": 37500
    },
    {
      "epoch": 5.0,
      "eval_loss": 0.024036072194576263,
      "eval_runtime": 36.6975,
      "eval_samples_per_second": 81.749,
      "eval_steps_per_second": 5.123,
      "step": 37500
    },
    {
      "epoch": 5.001333333333333,
      "grad_norm": 0.6178640723228455,
      "learning_rate": 9.166444444444446e-05,
      "loss": 0.0259,
      "step": 37510
    },
    {
      "epoch": 5.002666666666666,
      "grad_norm": 0.06066107377409935,
      "learning_rate": 9.166222222222222e-05,
      "loss": 0.0219,
      "step": 37520
    },
    {
      "epoch": 5.004,
      "grad_norm": 0.6272771954536438,
      "learning_rate": 9.166e-05,
      "loss": 0.0239,
      "step": 37530
    },
    {
      "epoch": 5.005333333333334,
      "grad_norm": 0.7429485321044922,
      "learning_rate": 9.165777777777779e-05,
      "loss": 0.0181,
      "step": 37540
    },
    {
      "epoch": 5.006666666666667,
      "grad_norm": 0.309955894947052,
      "learning_rate": 9.165555555555555e-05,
      "loss": 0.0161,
      "step": 37550
    },
    {
      "epoch": 5.008,
      "grad_norm": 0.7643885612487793,
      "learning_rate": 9.165333333333333e-05,
      "loss": 0.0264,
      "step": 37560
    },
    {
      "epoch": 5.009333333333333,
      "grad_norm": 0.20876464247703552,
      "learning_rate": 9.165111111111112e-05,
      "loss": 0.0246,
      "step": 37570
    },
    {
      "epoch": 5.010666666666666,
      "grad_norm": 1.342948317527771,
      "learning_rate": 9.16488888888889e-05,
      "loss": 0.0256,
      "step": 37580
    },
    {
      "epoch": 5.012,
      "grad_norm": 0.3301352858543396,
      "learning_rate": 9.164666666666666e-05,
      "loss": 0.0178,
      "step": 37590
    },
    {
      "epoch": 5.013333333333334,
      "grad_norm": 0.23104363679885864,
      "learning_rate": 9.164444444444444e-05,
      "loss": 0.012,
      "step": 37600
    },
    {
      "epoch": 5.014666666666667,
      "grad_norm": 0.08906228095293045,
      "learning_rate": 9.164222222222223e-05,
      "loss": 0.0196,
      "step": 37610
    },
    {
      "epoch": 5.016,
      "grad_norm": 0.31171807646751404,
      "learning_rate": 9.164000000000001e-05,
      "loss": 0.0259,
      "step": 37620
    },
    {
      "epoch": 5.017333333333333,
      "grad_norm": 0.5384678840637207,
      "learning_rate": 9.163777777777777e-05,
      "loss": 0.0139,
      "step": 37630
    },
    {
      "epoch": 5.018666666666666,
      "grad_norm": 0.3745247721672058,
      "learning_rate": 9.163555555555557e-05,
      "loss": 0.0211,
      "step": 37640
    },
    {
      "epoch": 5.02,
      "grad_norm": 0.2348330318927765,
      "learning_rate": 9.163333333333334e-05,
      "loss": 0.0329,
      "step": 37650
    },
    {
      "epoch": 5.021333333333334,
      "grad_norm": 0.35464027523994446,
      "learning_rate": 9.16311111111111e-05,
      "loss": 0.012,
      "step": 37660
    },
    {
      "epoch": 5.022666666666667,
      "grad_norm": 0.20967471599578857,
      "learning_rate": 9.16288888888889e-05,
      "loss": 0.0283,
      "step": 37670
    },
    {
      "epoch": 5.024,
      "grad_norm": 1.3195234537124634,
      "learning_rate": 9.162666666666667e-05,
      "loss": 0.0163,
      "step": 37680
    },
    {
      "epoch": 5.025333333333333,
      "grad_norm": 0.6642822623252869,
      "learning_rate": 9.162444444444445e-05,
      "loss": 0.0219,
      "step": 37690
    },
    {
      "epoch": 5.026666666666666,
      "grad_norm": 0.42280903458595276,
      "learning_rate": 9.162222222222223e-05,
      "loss": 0.0139,
      "step": 37700
    },
    {
      "epoch": 5.028,
      "grad_norm": 0.1935146301984787,
      "learning_rate": 9.162000000000001e-05,
      "loss": 0.0138,
      "step": 37710
    },
    {
      "epoch": 5.029333333333334,
      "grad_norm": 0.24356459081172943,
      "learning_rate": 9.161777777777778e-05,
      "loss": 0.0224,
      "step": 37720
    },
    {
      "epoch": 5.030666666666667,
      "grad_norm": 0.8015781044960022,
      "learning_rate": 9.161555555555555e-05,
      "loss": 0.0319,
      "step": 37730
    },
    {
      "epoch": 5.032,
      "grad_norm": 0.11064977943897247,
      "learning_rate": 9.161333333333334e-05,
      "loss": 0.0136,
      "step": 37740
    },
    {
      "epoch": 5.033333333333333,
      "grad_norm": 0.5283411741256714,
      "learning_rate": 9.161111111111112e-05,
      "loss": 0.0243,
      "step": 37750
    },
    {
      "epoch": 5.034666666666666,
      "grad_norm": 0.25299298763275146,
      "learning_rate": 9.16088888888889e-05,
      "loss": 0.0114,
      "step": 37760
    },
    {
      "epoch": 5.036,
      "grad_norm": 2.004995822906494,
      "learning_rate": 9.160666666666667e-05,
      "loss": 0.0282,
      "step": 37770
    },
    {
      "epoch": 5.037333333333334,
      "grad_norm": 0.8035621643066406,
      "learning_rate": 9.160444444444445e-05,
      "loss": 0.0181,
      "step": 37780
    },
    {
      "epoch": 5.038666666666667,
      "grad_norm": 0.5025970935821533,
      "learning_rate": 9.160222222222223e-05,
      "loss": 0.0229,
      "step": 37790
    },
    {
      "epoch": 5.04,
      "grad_norm": 0.3160655200481415,
      "learning_rate": 9.16e-05,
      "loss": 0.0199,
      "step": 37800
    },
    {
      "epoch": 5.041333333333333,
      "grad_norm": 0.4257488548755646,
      "learning_rate": 9.159777777777778e-05,
      "loss": 0.0204,
      "step": 37810
    },
    {
      "epoch": 5.042666666666666,
      "grad_norm": 0.30268439650535583,
      "learning_rate": 9.159555555555556e-05,
      "loss": 0.0161,
      "step": 37820
    },
    {
      "epoch": 5.044,
      "grad_norm": 0.31182730197906494,
      "learning_rate": 9.159333333333334e-05,
      "loss": 0.0201,
      "step": 37830
    },
    {
      "epoch": 5.045333333333334,
      "grad_norm": 0.7629149556159973,
      "learning_rate": 9.159111111111111e-05,
      "loss": 0.0297,
      "step": 37840
    },
    {
      "epoch": 5.046666666666667,
      "grad_norm": 0.5064101219177246,
      "learning_rate": 9.158888888888889e-05,
      "loss": 0.0118,
      "step": 37850
    },
    {
      "epoch": 5.048,
      "grad_norm": 0.8701897859573364,
      "learning_rate": 9.158666666666668e-05,
      "loss": 0.0234,
      "step": 37860
    },
    {
      "epoch": 5.049333333333333,
      "grad_norm": 0.6557126641273499,
      "learning_rate": 9.158444444444445e-05,
      "loss": 0.0204,
      "step": 37870
    },
    {
      "epoch": 5.050666666666666,
      "grad_norm": 0.4496556222438812,
      "learning_rate": 9.158222222222222e-05,
      "loss": 0.0227,
      "step": 37880
    },
    {
      "epoch": 5.052,
      "grad_norm": 0.4133830666542053,
      "learning_rate": 9.158e-05,
      "loss": 0.013,
      "step": 37890
    },
    {
      "epoch": 5.053333333333334,
      "grad_norm": 0.3370998501777649,
      "learning_rate": 9.157777777777778e-05,
      "loss": 0.015,
      "step": 37900
    },
    {
      "epoch": 5.054666666666667,
      "grad_norm": 0.5482316017150879,
      "learning_rate": 9.157555555555556e-05,
      "loss": 0.0354,
      "step": 37910
    },
    {
      "epoch": 5.056,
      "grad_norm": 0.30275580286979675,
      "learning_rate": 9.157333333333333e-05,
      "loss": 0.0163,
      "step": 37920
    },
    {
      "epoch": 5.057333333333333,
      "grad_norm": 0.4640265107154846,
      "learning_rate": 9.157111111111112e-05,
      "loss": 0.0193,
      "step": 37930
    },
    {
      "epoch": 5.058666666666666,
      "grad_norm": 0.4330138862133026,
      "learning_rate": 9.156888888888889e-05,
      "loss": 0.0183,
      "step": 37940
    },
    {
      "epoch": 5.06,
      "grad_norm": 0.6086399555206299,
      "learning_rate": 9.156666666666667e-05,
      "loss": 0.0201,
      "step": 37950
    },
    {
      "epoch": 5.061333333333334,
      "grad_norm": 1.5682010650634766,
      "learning_rate": 9.156444444444446e-05,
      "loss": 0.0281,
      "step": 37960
    },
    {
      "epoch": 5.062666666666667,
      "grad_norm": 0.2943791449069977,
      "learning_rate": 9.156222222222223e-05,
      "loss": 0.0203,
      "step": 37970
    },
    {
      "epoch": 5.064,
      "grad_norm": 0.609990656375885,
      "learning_rate": 9.156e-05,
      "loss": 0.0231,
      "step": 37980
    },
    {
      "epoch": 5.065333333333333,
      "grad_norm": 0.3160651624202728,
      "learning_rate": 9.155777777777779e-05,
      "loss": 0.0164,
      "step": 37990
    },
    {
      "epoch": 5.066666666666666,
      "grad_norm": 1.4311832189559937,
      "learning_rate": 9.155555555555557e-05,
      "loss": 0.0232,
      "step": 38000
    },
    {
      "epoch": 5.068,
      "grad_norm": 0.822843611240387,
      "learning_rate": 9.155333333333333e-05,
      "loss": 0.0248,
      "step": 38010
    },
    {
      "epoch": 5.069333333333334,
      "grad_norm": 0.1677442044019699,
      "learning_rate": 9.155111111111112e-05,
      "loss": 0.0216,
      "step": 38020
    },
    {
      "epoch": 5.070666666666667,
      "grad_norm": 0.9251397848129272,
      "learning_rate": 9.15488888888889e-05,
      "loss": 0.0247,
      "step": 38030
    },
    {
      "epoch": 5.072,
      "grad_norm": 0.14983639121055603,
      "learning_rate": 9.154666666666668e-05,
      "loss": 0.0183,
      "step": 38040
    },
    {
      "epoch": 5.073333333333333,
      "grad_norm": 0.4985107183456421,
      "learning_rate": 9.154444444444444e-05,
      "loss": 0.0144,
      "step": 38050
    },
    {
      "epoch": 5.074666666666666,
      "grad_norm": 0.7113561034202576,
      "learning_rate": 9.154222222222223e-05,
      "loss": 0.0231,
      "step": 38060
    },
    {
      "epoch": 5.076,
      "grad_norm": 0.10040713101625443,
      "learning_rate": 9.154000000000001e-05,
      "loss": 0.0212,
      "step": 38070
    },
    {
      "epoch": 5.077333333333334,
      "grad_norm": 0.7679262757301331,
      "learning_rate": 9.153777777777777e-05,
      "loss": 0.0148,
      "step": 38080
    },
    {
      "epoch": 5.078666666666667,
      "grad_norm": 0.7531227469444275,
      "learning_rate": 9.153555555555556e-05,
      "loss": 0.0215,
      "step": 38090
    },
    {
      "epoch": 5.08,
      "grad_norm": 0.5624986886978149,
      "learning_rate": 9.153333333333334e-05,
      "loss": 0.0202,
      "step": 38100
    },
    {
      "epoch": 5.081333333333333,
      "grad_norm": 0.6700457334518433,
      "learning_rate": 9.153111111111112e-05,
      "loss": 0.0207,
      "step": 38110
    },
    {
      "epoch": 5.082666666666666,
      "grad_norm": 0.2206607162952423,
      "learning_rate": 9.15288888888889e-05,
      "loss": 0.0185,
      "step": 38120
    },
    {
      "epoch": 5.084,
      "grad_norm": 0.6463658809661865,
      "learning_rate": 9.152666666666667e-05,
      "loss": 0.0219,
      "step": 38130
    },
    {
      "epoch": 5.085333333333334,
      "grad_norm": 1.164217472076416,
      "learning_rate": 9.152444444444445e-05,
      "loss": 0.0209,
      "step": 38140
    },
    {
      "epoch": 5.086666666666667,
      "grad_norm": 0.5482991337776184,
      "learning_rate": 9.152222222222223e-05,
      "loss": 0.01,
      "step": 38150
    },
    {
      "epoch": 5.088,
      "grad_norm": 0.4913828670978546,
      "learning_rate": 9.152e-05,
      "loss": 0.0138,
      "step": 38160
    },
    {
      "epoch": 5.089333333333333,
      "grad_norm": 0.7337489724159241,
      "learning_rate": 9.151777777777778e-05,
      "loss": 0.0219,
      "step": 38170
    },
    {
      "epoch": 5.0906666666666665,
      "grad_norm": 0.43272635340690613,
      "learning_rate": 9.151555555555556e-05,
      "loss": 0.0207,
      "step": 38180
    },
    {
      "epoch": 5.092,
      "grad_norm": 0.5367518067359924,
      "learning_rate": 9.151333333333334e-05,
      "loss": 0.0196,
      "step": 38190
    },
    {
      "epoch": 5.093333333333334,
      "grad_norm": 0.24949492514133453,
      "learning_rate": 9.151111111111111e-05,
      "loss": 0.0178,
      "step": 38200
    },
    {
      "epoch": 5.094666666666667,
      "grad_norm": 0.5136264562606812,
      "learning_rate": 9.150888888888889e-05,
      "loss": 0.0166,
      "step": 38210
    },
    {
      "epoch": 5.096,
      "grad_norm": 0.18147307634353638,
      "learning_rate": 9.150666666666667e-05,
      "loss": 0.0207,
      "step": 38220
    },
    {
      "epoch": 5.097333333333333,
      "grad_norm": 0.31166353821754456,
      "learning_rate": 9.150444444444445e-05,
      "loss": 0.0176,
      "step": 38230
    },
    {
      "epoch": 5.0986666666666665,
      "grad_norm": 0.2715385854244232,
      "learning_rate": 9.150222222222222e-05,
      "loss": 0.017,
      "step": 38240
    },
    {
      "epoch": 5.1,
      "grad_norm": 0.5066856741905212,
      "learning_rate": 9.15e-05,
      "loss": 0.0161,
      "step": 38250
    },
    {
      "epoch": 5.101333333333334,
      "grad_norm": 0.27644506096839905,
      "learning_rate": 9.149777777777778e-05,
      "loss": 0.0289,
      "step": 38260
    },
    {
      "epoch": 5.102666666666667,
      "grad_norm": 0.2448233664035797,
      "learning_rate": 9.149555555555556e-05,
      "loss": 0.0168,
      "step": 38270
    },
    {
      "epoch": 5.104,
      "grad_norm": 0.39769643545150757,
      "learning_rate": 9.149333333333335e-05,
      "loss": 0.0231,
      "step": 38280
    },
    {
      "epoch": 5.105333333333333,
      "grad_norm": 0.7831342220306396,
      "learning_rate": 9.149111111111111e-05,
      "loss": 0.022,
      "step": 38290
    },
    {
      "epoch": 5.1066666666666665,
      "grad_norm": 0.17557865381240845,
      "learning_rate": 9.148888888888889e-05,
      "loss": 0.0094,
      "step": 38300
    },
    {
      "epoch": 5.108,
      "grad_norm": 0.5467514395713806,
      "learning_rate": 9.148666666666668e-05,
      "loss": 0.0297,
      "step": 38310
    },
    {
      "epoch": 5.109333333333334,
      "grad_norm": 0.9863927960395813,
      "learning_rate": 9.148444444444446e-05,
      "loss": 0.0182,
      "step": 38320
    },
    {
      "epoch": 5.110666666666667,
      "grad_norm": 1.2939767837524414,
      "learning_rate": 9.148222222222222e-05,
      "loss": 0.0159,
      "step": 38330
    },
    {
      "epoch": 5.112,
      "grad_norm": 0.32590392231941223,
      "learning_rate": 9.148e-05,
      "loss": 0.0231,
      "step": 38340
    },
    {
      "epoch": 5.113333333333333,
      "grad_norm": 0.5272154808044434,
      "learning_rate": 9.147777777777779e-05,
      "loss": 0.0194,
      "step": 38350
    },
    {
      "epoch": 5.1146666666666665,
      "grad_norm": 0.16459141671657562,
      "learning_rate": 9.147555555555555e-05,
      "loss": 0.019,
      "step": 38360
    },
    {
      "epoch": 5.116,
      "grad_norm": 1.2162225246429443,
      "learning_rate": 9.147333333333333e-05,
      "loss": 0.017,
      "step": 38370
    },
    {
      "epoch": 5.117333333333334,
      "grad_norm": 0.9551040530204773,
      "learning_rate": 9.147111111111112e-05,
      "loss": 0.0248,
      "step": 38380
    },
    {
      "epoch": 5.118666666666667,
      "grad_norm": 0.6047322750091553,
      "learning_rate": 9.14688888888889e-05,
      "loss": 0.017,
      "step": 38390
    },
    {
      "epoch": 5.12,
      "grad_norm": 0.5861952900886536,
      "learning_rate": 9.146666666666666e-05,
      "loss": 0.0207,
      "step": 38400
    },
    {
      "epoch": 5.121333333333333,
      "grad_norm": 0.5535532832145691,
      "learning_rate": 9.146444444444445e-05,
      "loss": 0.0195,
      "step": 38410
    },
    {
      "epoch": 5.1226666666666665,
      "grad_norm": 0.5616752505302429,
      "learning_rate": 9.146222222222223e-05,
      "loss": 0.0257,
      "step": 38420
    },
    {
      "epoch": 5.124,
      "grad_norm": 0.3372291922569275,
      "learning_rate": 9.146e-05,
      "loss": 0.0158,
      "step": 38430
    },
    {
      "epoch": 5.125333333333334,
      "grad_norm": 0.6612484455108643,
      "learning_rate": 9.145777777777779e-05,
      "loss": 0.0156,
      "step": 38440
    },
    {
      "epoch": 5.126666666666667,
      "grad_norm": 0.19361864030361176,
      "learning_rate": 9.145555555555556e-05,
      "loss": 0.0202,
      "step": 38450
    },
    {
      "epoch": 5.128,
      "grad_norm": 0.6088740229606628,
      "learning_rate": 9.145333333333334e-05,
      "loss": 0.0284,
      "step": 38460
    },
    {
      "epoch": 5.129333333333333,
      "grad_norm": 0.21413040161132812,
      "learning_rate": 9.145111111111112e-05,
      "loss": 0.0231,
      "step": 38470
    },
    {
      "epoch": 5.1306666666666665,
      "grad_norm": 0.2557654082775116,
      "learning_rate": 9.14488888888889e-05,
      "loss": 0.0222,
      "step": 38480
    },
    {
      "epoch": 5.132,
      "grad_norm": 0.2975943088531494,
      "learning_rate": 9.144666666666667e-05,
      "loss": 0.0258,
      "step": 38490
    },
    {
      "epoch": 5.133333333333334,
      "grad_norm": 0.3715835213661194,
      "learning_rate": 9.144444444444444e-05,
      "loss": 0.0163,
      "step": 38500
    },
    {
      "epoch": 5.134666666666667,
      "grad_norm": 0.3433976173400879,
      "learning_rate": 9.144222222222223e-05,
      "loss": 0.0302,
      "step": 38510
    },
    {
      "epoch": 5.136,
      "grad_norm": 0.6348398327827454,
      "learning_rate": 9.144e-05,
      "loss": 0.0311,
      "step": 38520
    },
    {
      "epoch": 5.137333333333333,
      "grad_norm": 0.23988284170627594,
      "learning_rate": 9.143777777777778e-05,
      "loss": 0.0209,
      "step": 38530
    },
    {
      "epoch": 5.1386666666666665,
      "grad_norm": 0.6265704035758972,
      "learning_rate": 9.143555555555556e-05,
      "loss": 0.0217,
      "step": 38540
    },
    {
      "epoch": 5.14,
      "grad_norm": 0.29902511835098267,
      "learning_rate": 9.143333333333334e-05,
      "loss": 0.0264,
      "step": 38550
    },
    {
      "epoch": 5.141333333333334,
      "grad_norm": 0.16389100253582,
      "learning_rate": 9.143111111111112e-05,
      "loss": 0.0216,
      "step": 38560
    },
    {
      "epoch": 5.142666666666667,
      "grad_norm": 0.3233089745044708,
      "learning_rate": 9.142888888888889e-05,
      "loss": 0.0231,
      "step": 38570
    },
    {
      "epoch": 5.144,
      "grad_norm": 0.3017374575138092,
      "learning_rate": 9.142666666666667e-05,
      "loss": 0.0128,
      "step": 38580
    },
    {
      "epoch": 5.145333333333333,
      "grad_norm": 0.3877400755882263,
      "learning_rate": 9.142444444444445e-05,
      "loss": 0.0195,
      "step": 38590
    },
    {
      "epoch": 5.1466666666666665,
      "grad_norm": 0.2573217749595642,
      "learning_rate": 9.142222222222222e-05,
      "loss": 0.0212,
      "step": 38600
    },
    {
      "epoch": 5.148,
      "grad_norm": 0.4644438326358795,
      "learning_rate": 9.142e-05,
      "loss": 0.0312,
      "step": 38610
    },
    {
      "epoch": 5.149333333333334,
      "grad_norm": 0.282132089138031,
      "learning_rate": 9.141777777777778e-05,
      "loss": 0.014,
      "step": 38620
    },
    {
      "epoch": 5.150666666666667,
      "grad_norm": 0.31472334265708923,
      "learning_rate": 9.141555555555557e-05,
      "loss": 0.0168,
      "step": 38630
    },
    {
      "epoch": 5.152,
      "grad_norm": 0.254905641078949,
      "learning_rate": 9.141333333333333e-05,
      "loss": 0.0172,
      "step": 38640
    },
    {
      "epoch": 5.153333333333333,
      "grad_norm": 0.3544448912143707,
      "learning_rate": 9.141111111111111e-05,
      "loss": 0.0204,
      "step": 38650
    },
    {
      "epoch": 5.1546666666666665,
      "grad_norm": 1.7233473062515259,
      "learning_rate": 9.140888888888889e-05,
      "loss": 0.0268,
      "step": 38660
    },
    {
      "epoch": 5.156,
      "grad_norm": 0.2968752980232239,
      "learning_rate": 9.140666666666668e-05,
      "loss": 0.0207,
      "step": 38670
    },
    {
      "epoch": 5.157333333333334,
      "grad_norm": 0.2514802813529968,
      "learning_rate": 9.140444444444444e-05,
      "loss": 0.0259,
      "step": 38680
    },
    {
      "epoch": 5.158666666666667,
      "grad_norm": 0.20063979923725128,
      "learning_rate": 9.140222222222222e-05,
      "loss": 0.0273,
      "step": 38690
    },
    {
      "epoch": 5.16,
      "grad_norm": 0.9445955157279968,
      "learning_rate": 9.140000000000001e-05,
      "loss": 0.0257,
      "step": 38700
    },
    {
      "epoch": 5.161333333333333,
      "grad_norm": 0.6283218264579773,
      "learning_rate": 9.139777777777778e-05,
      "loss": 0.0257,
      "step": 38710
    },
    {
      "epoch": 5.1626666666666665,
      "grad_norm": 0.4221086800098419,
      "learning_rate": 9.139555555555555e-05,
      "loss": 0.0324,
      "step": 38720
    },
    {
      "epoch": 5.164,
      "grad_norm": 0.39723536372184753,
      "learning_rate": 9.139333333333334e-05,
      "loss": 0.0206,
      "step": 38730
    },
    {
      "epoch": 5.165333333333333,
      "grad_norm": 0.8195991516113281,
      "learning_rate": 9.139111111111112e-05,
      "loss": 0.0218,
      "step": 38740
    },
    {
      "epoch": 5.166666666666667,
      "grad_norm": 1.0605419874191284,
      "learning_rate": 9.138888888888889e-05,
      "loss": 0.0219,
      "step": 38750
    },
    {
      "epoch": 5.168,
      "grad_norm": 0.17897522449493408,
      "learning_rate": 9.138666666666668e-05,
      "loss": 0.0207,
      "step": 38760
    },
    {
      "epoch": 5.169333333333333,
      "grad_norm": 0.5329504609107971,
      "learning_rate": 9.138444444444445e-05,
      "loss": 0.0243,
      "step": 38770
    },
    {
      "epoch": 5.1706666666666665,
      "grad_norm": 0.3347141444683075,
      "learning_rate": 9.138222222222222e-05,
      "loss": 0.0275,
      "step": 38780
    },
    {
      "epoch": 5.172,
      "grad_norm": 1.4654208421707153,
      "learning_rate": 9.138e-05,
      "loss": 0.0226,
      "step": 38790
    },
    {
      "epoch": 5.173333333333334,
      "grad_norm": 0.2482149600982666,
      "learning_rate": 9.137777777777779e-05,
      "loss": 0.0209,
      "step": 38800
    },
    {
      "epoch": 5.174666666666667,
      "grad_norm": 0.3894042670726776,
      "learning_rate": 9.137555555555556e-05,
      "loss": 0.0161,
      "step": 38810
    },
    {
      "epoch": 5.176,
      "grad_norm": 0.519318699836731,
      "learning_rate": 9.137333333333333e-05,
      "loss": 0.0189,
      "step": 38820
    },
    {
      "epoch": 5.177333333333333,
      "grad_norm": 0.4511788487434387,
      "learning_rate": 9.137111111111112e-05,
      "loss": 0.0217,
      "step": 38830
    },
    {
      "epoch": 5.1786666666666665,
      "grad_norm": 0.3900480270385742,
      "learning_rate": 9.13688888888889e-05,
      "loss": 0.0205,
      "step": 38840
    },
    {
      "epoch": 5.18,
      "grad_norm": 0.32961446046829224,
      "learning_rate": 9.136666666666666e-05,
      "loss": 0.0165,
      "step": 38850
    },
    {
      "epoch": 5.181333333333333,
      "grad_norm": 0.3651569187641144,
      "learning_rate": 9.136444444444445e-05,
      "loss": 0.0237,
      "step": 38860
    },
    {
      "epoch": 5.182666666666667,
      "grad_norm": 0.32530373334884644,
      "learning_rate": 9.136222222222223e-05,
      "loss": 0.0219,
      "step": 38870
    },
    {
      "epoch": 5.184,
      "grad_norm": 0.4540350139141083,
      "learning_rate": 9.136e-05,
      "loss": 0.0178,
      "step": 38880
    },
    {
      "epoch": 5.185333333333333,
      "grad_norm": 0.6596536636352539,
      "learning_rate": 9.135777777777778e-05,
      "loss": 0.0235,
      "step": 38890
    },
    {
      "epoch": 5.1866666666666665,
      "grad_norm": 0.19393973052501678,
      "learning_rate": 9.135555555555556e-05,
      "loss": 0.0204,
      "step": 38900
    },
    {
      "epoch": 5.188,
      "grad_norm": 0.4123441278934479,
      "learning_rate": 9.135333333333334e-05,
      "loss": 0.0178,
      "step": 38910
    },
    {
      "epoch": 5.189333333333333,
      "grad_norm": 0.46319815516471863,
      "learning_rate": 9.135111111111112e-05,
      "loss": 0.0193,
      "step": 38920
    },
    {
      "epoch": 5.190666666666667,
      "grad_norm": 0.1884145885705948,
      "learning_rate": 9.13488888888889e-05,
      "loss": 0.0199,
      "step": 38930
    },
    {
      "epoch": 5.192,
      "grad_norm": 0.10384863615036011,
      "learning_rate": 9.134666666666667e-05,
      "loss": 0.0173,
      "step": 38940
    },
    {
      "epoch": 5.193333333333333,
      "grad_norm": 0.16133227944374084,
      "learning_rate": 9.134444444444445e-05,
      "loss": 0.026,
      "step": 38950
    },
    {
      "epoch": 5.1946666666666665,
      "grad_norm": 0.31254464387893677,
      "learning_rate": 9.134222222222223e-05,
      "loss": 0.0147,
      "step": 38960
    },
    {
      "epoch": 5.196,
      "grad_norm": 0.24400991201400757,
      "learning_rate": 9.134e-05,
      "loss": 0.0228,
      "step": 38970
    },
    {
      "epoch": 5.197333333333333,
      "grad_norm": 0.23540717363357544,
      "learning_rate": 9.133777777777778e-05,
      "loss": 0.0151,
      "step": 38980
    },
    {
      "epoch": 5.198666666666667,
      "grad_norm": 0.4475629925727844,
      "learning_rate": 9.133555555555556e-05,
      "loss": 0.032,
      "step": 38990
    },
    {
      "epoch": 5.2,
      "grad_norm": 0.2895010709762573,
      "learning_rate": 9.133333333333334e-05,
      "loss": 0.0215,
      "step": 39000
    },
    {
      "epoch": 5.201333333333333,
      "grad_norm": 0.664942741394043,
      "learning_rate": 9.133111111111111e-05,
      "loss": 0.0269,
      "step": 39010
    },
    {
      "epoch": 5.2026666666666666,
      "grad_norm": 0.3450049161911011,
      "learning_rate": 9.13288888888889e-05,
      "loss": 0.0142,
      "step": 39020
    },
    {
      "epoch": 5.204,
      "grad_norm": 0.2114483118057251,
      "learning_rate": 9.132666666666667e-05,
      "loss": 0.0175,
      "step": 39030
    },
    {
      "epoch": 5.205333333333333,
      "grad_norm": 1.0875414609909058,
      "learning_rate": 9.132444444444444e-05,
      "loss": 0.0175,
      "step": 39040
    },
    {
      "epoch": 5.206666666666667,
      "grad_norm": 0.5816369652748108,
      "learning_rate": 9.132222222222224e-05,
      "loss": 0.0179,
      "step": 39050
    },
    {
      "epoch": 5.208,
      "grad_norm": 0.1230722963809967,
      "learning_rate": 9.132e-05,
      "loss": 0.0125,
      "step": 39060
    },
    {
      "epoch": 5.209333333333333,
      "grad_norm": 0.3977223038673401,
      "learning_rate": 9.131777777777778e-05,
      "loss": 0.022,
      "step": 39070
    },
    {
      "epoch": 5.210666666666667,
      "grad_norm": 0.45677536725997925,
      "learning_rate": 9.131555555555557e-05,
      "loss": 0.0166,
      "step": 39080
    },
    {
      "epoch": 5.212,
      "grad_norm": 0.4432890713214874,
      "learning_rate": 9.131333333333335e-05,
      "loss": 0.0242,
      "step": 39090
    },
    {
      "epoch": 5.213333333333333,
      "grad_norm": 0.6704619526863098,
      "learning_rate": 9.131111111111111e-05,
      "loss": 0.02,
      "step": 39100
    },
    {
      "epoch": 5.214666666666667,
      "grad_norm": 0.4490787386894226,
      "learning_rate": 9.130888888888889e-05,
      "loss": 0.0171,
      "step": 39110
    },
    {
      "epoch": 5.216,
      "grad_norm": 0.5961198806762695,
      "learning_rate": 9.130666666666668e-05,
      "loss": 0.0205,
      "step": 39120
    },
    {
      "epoch": 5.217333333333333,
      "grad_norm": 0.14401112496852875,
      "learning_rate": 9.130444444444444e-05,
      "loss": 0.0187,
      "step": 39130
    },
    {
      "epoch": 5.218666666666667,
      "grad_norm": 0.16907523572444916,
      "learning_rate": 9.130222222222222e-05,
      "loss": 0.0181,
      "step": 39140
    },
    {
      "epoch": 5.22,
      "grad_norm": 0.48441416025161743,
      "learning_rate": 9.130000000000001e-05,
      "loss": 0.0278,
      "step": 39150
    },
    {
      "epoch": 5.221333333333333,
      "grad_norm": 0.4625503718852997,
      "learning_rate": 9.129777777777779e-05,
      "loss": 0.0272,
      "step": 39160
    },
    {
      "epoch": 5.222666666666667,
      "grad_norm": 0.6539684534072876,
      "learning_rate": 9.129555555555555e-05,
      "loss": 0.0246,
      "step": 39170
    },
    {
      "epoch": 5.224,
      "grad_norm": 0.4190078675746918,
      "learning_rate": 9.129333333333334e-05,
      "loss": 0.0191,
      "step": 39180
    },
    {
      "epoch": 5.225333333333333,
      "grad_norm": 0.06803900003433228,
      "learning_rate": 9.129111111111112e-05,
      "loss": 0.0168,
      "step": 39190
    },
    {
      "epoch": 5.226666666666667,
      "grad_norm": 0.23990440368652344,
      "learning_rate": 9.128888888888888e-05,
      "loss": 0.0146,
      "step": 39200
    },
    {
      "epoch": 5.228,
      "grad_norm": 0.20115411281585693,
      "learning_rate": 9.128666666666667e-05,
      "loss": 0.0255,
      "step": 39210
    },
    {
      "epoch": 5.229333333333333,
      "grad_norm": 0.2348337173461914,
      "learning_rate": 9.128444444444445e-05,
      "loss": 0.0221,
      "step": 39220
    },
    {
      "epoch": 5.230666666666667,
      "grad_norm": 0.7243155241012573,
      "learning_rate": 9.128222222222223e-05,
      "loss": 0.0246,
      "step": 39230
    },
    {
      "epoch": 5.232,
      "grad_norm": 0.5182825922966003,
      "learning_rate": 9.128e-05,
      "loss": 0.0184,
      "step": 39240
    },
    {
      "epoch": 5.233333333333333,
      "grad_norm": 0.5963259339332581,
      "learning_rate": 9.127777777777778e-05,
      "loss": 0.0176,
      "step": 39250
    },
    {
      "epoch": 5.234666666666667,
      "grad_norm": 0.22811377048492432,
      "learning_rate": 9.127555555555556e-05,
      "loss": 0.0183,
      "step": 39260
    },
    {
      "epoch": 5.236,
      "grad_norm": 0.40929558873176575,
      "learning_rate": 9.127333333333334e-05,
      "loss": 0.0259,
      "step": 39270
    },
    {
      "epoch": 5.237333333333333,
      "grad_norm": 0.14592474699020386,
      "learning_rate": 9.127111111111112e-05,
      "loss": 0.0165,
      "step": 39280
    },
    {
      "epoch": 5.238666666666667,
      "grad_norm": 0.3571740686893463,
      "learning_rate": 9.12688888888889e-05,
      "loss": 0.0181,
      "step": 39290
    },
    {
      "epoch": 5.24,
      "grad_norm": 0.15568117797374725,
      "learning_rate": 9.126666666666667e-05,
      "loss": 0.022,
      "step": 39300
    },
    {
      "epoch": 5.241333333333333,
      "grad_norm": 0.17502298951148987,
      "learning_rate": 9.126444444444445e-05,
      "loss": 0.0178,
      "step": 39310
    },
    {
      "epoch": 5.242666666666667,
      "grad_norm": 0.5035310983657837,
      "learning_rate": 9.126222222222223e-05,
      "loss": 0.0123,
      "step": 39320
    },
    {
      "epoch": 5.244,
      "grad_norm": 0.10914286226034164,
      "learning_rate": 9.126e-05,
      "loss": 0.0293,
      "step": 39330
    },
    {
      "epoch": 5.245333333333333,
      "grad_norm": 0.712110161781311,
      "learning_rate": 9.125777777777778e-05,
      "loss": 0.0325,
      "step": 39340
    },
    {
      "epoch": 5.246666666666667,
      "grad_norm": 1.007460355758667,
      "learning_rate": 9.125555555555556e-05,
      "loss": 0.021,
      "step": 39350
    },
    {
      "epoch": 5.248,
      "grad_norm": 0.6072455644607544,
      "learning_rate": 9.125333333333334e-05,
      "loss": 0.0147,
      "step": 39360
    },
    {
      "epoch": 5.249333333333333,
      "grad_norm": 0.22289210557937622,
      "learning_rate": 9.125111111111113e-05,
      "loss": 0.0225,
      "step": 39370
    },
    {
      "epoch": 5.250666666666667,
      "grad_norm": 0.42123666405677795,
      "learning_rate": 9.124888888888889e-05,
      "loss": 0.0239,
      "step": 39380
    },
    {
      "epoch": 5.252,
      "grad_norm": 0.17291249334812164,
      "learning_rate": 9.124666666666667e-05,
      "loss": 0.0219,
      "step": 39390
    },
    {
      "epoch": 5.253333333333333,
      "grad_norm": 0.3931272327899933,
      "learning_rate": 9.124444444444445e-05,
      "loss": 0.0278,
      "step": 39400
    },
    {
      "epoch": 5.254666666666667,
      "grad_norm": 0.16981907188892365,
      "learning_rate": 9.124222222222222e-05,
      "loss": 0.0255,
      "step": 39410
    },
    {
      "epoch": 5.256,
      "grad_norm": 0.3169138431549072,
      "learning_rate": 9.124e-05,
      "loss": 0.0274,
      "step": 39420
    },
    {
      "epoch": 5.257333333333333,
      "grad_norm": 0.3341933488845825,
      "learning_rate": 9.123777777777778e-05,
      "loss": 0.0215,
      "step": 39430
    },
    {
      "epoch": 5.258666666666667,
      "grad_norm": 0.36758896708488464,
      "learning_rate": 9.123555555555557e-05,
      "loss": 0.0282,
      "step": 39440
    },
    {
      "epoch": 5.26,
      "grad_norm": 0.33782920241355896,
      "learning_rate": 9.123333333333333e-05,
      "loss": 0.0231,
      "step": 39450
    },
    {
      "epoch": 5.261333333333333,
      "grad_norm": 0.11792826652526855,
      "learning_rate": 9.123111111111111e-05,
      "loss": 0.0209,
      "step": 39460
    },
    {
      "epoch": 5.262666666666667,
      "grad_norm": 0.4228214919567108,
      "learning_rate": 9.12288888888889e-05,
      "loss": 0.0232,
      "step": 39470
    },
    {
      "epoch": 5.264,
      "grad_norm": 0.29925066232681274,
      "learning_rate": 9.122666666666667e-05,
      "loss": 0.0177,
      "step": 39480
    },
    {
      "epoch": 5.265333333333333,
      "grad_norm": 0.2816409766674042,
      "learning_rate": 9.122444444444444e-05,
      "loss": 0.0195,
      "step": 39490
    },
    {
      "epoch": 5.266666666666667,
      "grad_norm": 0.4135890007019043,
      "learning_rate": 9.122222222222223e-05,
      "loss": 0.0184,
      "step": 39500
    },
    {
      "epoch": 5.268,
      "grad_norm": 0.246024027466774,
      "learning_rate": 9.122000000000001e-05,
      "loss": 0.0273,
      "step": 39510
    },
    {
      "epoch": 5.269333333333333,
      "grad_norm": 0.4588012099266052,
      "learning_rate": 9.121777777777777e-05,
      "loss": 0.0273,
      "step": 39520
    },
    {
      "epoch": 5.270666666666667,
      "grad_norm": 0.313883513212204,
      "learning_rate": 9.121555555555557e-05,
      "loss": 0.0279,
      "step": 39530
    },
    {
      "epoch": 5.272,
      "grad_norm": 0.1433863341808319,
      "learning_rate": 9.121333333333334e-05,
      "loss": 0.0236,
      "step": 39540
    },
    {
      "epoch": 5.273333333333333,
      "grad_norm": 0.15648305416107178,
      "learning_rate": 9.121111111111112e-05,
      "loss": 0.0218,
      "step": 39550
    },
    {
      "epoch": 5.274666666666667,
      "grad_norm": 0.4477294981479645,
      "learning_rate": 9.120888888888888e-05,
      "loss": 0.0197,
      "step": 39560
    },
    {
      "epoch": 5.276,
      "grad_norm": 0.4073745608329773,
      "learning_rate": 9.120666666666668e-05,
      "loss": 0.0219,
      "step": 39570
    },
    {
      "epoch": 5.277333333333333,
      "grad_norm": 0.4892956018447876,
      "learning_rate": 9.120444444444445e-05,
      "loss": 0.0166,
      "step": 39580
    },
    {
      "epoch": 5.278666666666667,
      "grad_norm": 0.21349795162677765,
      "learning_rate": 9.120222222222222e-05,
      "loss": 0.0137,
      "step": 39590
    },
    {
      "epoch": 5.28,
      "grad_norm": 0.41989168524742126,
      "learning_rate": 9.120000000000001e-05,
      "loss": 0.0226,
      "step": 39600
    },
    {
      "epoch": 5.281333333333333,
      "grad_norm": 0.5916538834571838,
      "learning_rate": 9.119777777777779e-05,
      "loss": 0.0239,
      "step": 39610
    },
    {
      "epoch": 5.282666666666667,
      "grad_norm": 0.2312842160463333,
      "learning_rate": 9.119555555555556e-05,
      "loss": 0.0137,
      "step": 39620
    },
    {
      "epoch": 5.284,
      "grad_norm": 0.16031940281391144,
      "learning_rate": 9.119333333333334e-05,
      "loss": 0.0187,
      "step": 39630
    },
    {
      "epoch": 5.285333333333333,
      "grad_norm": 0.23174042999744415,
      "learning_rate": 9.119111111111112e-05,
      "loss": 0.0172,
      "step": 39640
    },
    {
      "epoch": 5.286666666666667,
      "grad_norm": 0.96516352891922,
      "learning_rate": 9.11888888888889e-05,
      "loss": 0.0235,
      "step": 39650
    },
    {
      "epoch": 5.288,
      "grad_norm": 0.4273911714553833,
      "learning_rate": 9.118666666666667e-05,
      "loss": 0.0285,
      "step": 39660
    },
    {
      "epoch": 5.289333333333333,
      "grad_norm": 0.6363968849182129,
      "learning_rate": 9.118444444444445e-05,
      "loss": 0.033,
      "step": 39670
    },
    {
      "epoch": 5.290666666666667,
      "grad_norm": 0.5736549496650696,
      "learning_rate": 9.118222222222223e-05,
      "loss": 0.0169,
      "step": 39680
    },
    {
      "epoch": 5.292,
      "grad_norm": 0.6928428411483765,
      "learning_rate": 9.118e-05,
      "loss": 0.0216,
      "step": 39690
    },
    {
      "epoch": 5.293333333333333,
      "grad_norm": 0.5363519787788391,
      "learning_rate": 9.117777777777778e-05,
      "loss": 0.0245,
      "step": 39700
    },
    {
      "epoch": 5.294666666666667,
      "grad_norm": 0.12675358355045319,
      "learning_rate": 9.117555555555556e-05,
      "loss": 0.0152,
      "step": 39710
    },
    {
      "epoch": 5.296,
      "grad_norm": 0.2291724532842636,
      "learning_rate": 9.117333333333334e-05,
      "loss": 0.0176,
      "step": 39720
    },
    {
      "epoch": 5.2973333333333334,
      "grad_norm": 0.3231992721557617,
      "learning_rate": 9.117111111111111e-05,
      "loss": 0.0297,
      "step": 39730
    },
    {
      "epoch": 5.298666666666667,
      "grad_norm": 0.32080793380737305,
      "learning_rate": 9.116888888888889e-05,
      "loss": 0.0208,
      "step": 39740
    },
    {
      "epoch": 5.3,
      "grad_norm": 0.8947052359580994,
      "learning_rate": 9.116666666666667e-05,
      "loss": 0.0183,
      "step": 39750
    },
    {
      "epoch": 5.301333333333333,
      "grad_norm": 0.21863466501235962,
      "learning_rate": 9.116444444444445e-05,
      "loss": 0.0143,
      "step": 39760
    },
    {
      "epoch": 5.302666666666667,
      "grad_norm": 0.6363314986228943,
      "learning_rate": 9.116222222222222e-05,
      "loss": 0.0304,
      "step": 39770
    },
    {
      "epoch": 5.304,
      "grad_norm": 0.196700781583786,
      "learning_rate": 9.116e-05,
      "loss": 0.0204,
      "step": 39780
    },
    {
      "epoch": 5.3053333333333335,
      "grad_norm": 0.38513830304145813,
      "learning_rate": 9.115777777777779e-05,
      "loss": 0.0218,
      "step": 39790
    },
    {
      "epoch": 5.306666666666667,
      "grad_norm": 0.3910965025424957,
      "learning_rate": 9.115555555555556e-05,
      "loss": 0.024,
      "step": 39800
    },
    {
      "epoch": 5.308,
      "grad_norm": 0.24185648560523987,
      "learning_rate": 9.115333333333333e-05,
      "loss": 0.0213,
      "step": 39810
    },
    {
      "epoch": 5.309333333333333,
      "grad_norm": 0.20545467734336853,
      "learning_rate": 9.115111111111112e-05,
      "loss": 0.0219,
      "step": 39820
    },
    {
      "epoch": 5.310666666666666,
      "grad_norm": 0.2099377065896988,
      "learning_rate": 9.114888888888889e-05,
      "loss": 0.0222,
      "step": 39830
    },
    {
      "epoch": 5.312,
      "grad_norm": 0.11532825231552124,
      "learning_rate": 9.114666666666667e-05,
      "loss": 0.019,
      "step": 39840
    },
    {
      "epoch": 5.3133333333333335,
      "grad_norm": 0.18221017718315125,
      "learning_rate": 9.114444444444444e-05,
      "loss": 0.0205,
      "step": 39850
    },
    {
      "epoch": 5.314666666666667,
      "grad_norm": 0.8352274298667908,
      "learning_rate": 9.114222222222223e-05,
      "loss": 0.0233,
      "step": 39860
    },
    {
      "epoch": 5.316,
      "grad_norm": 0.30496376752853394,
      "learning_rate": 9.114e-05,
      "loss": 0.0154,
      "step": 39870
    },
    {
      "epoch": 5.317333333333333,
      "grad_norm": 0.6047950983047485,
      "learning_rate": 9.113777777777778e-05,
      "loss": 0.0183,
      "step": 39880
    },
    {
      "epoch": 5.318666666666667,
      "grad_norm": 0.5283244252204895,
      "learning_rate": 9.113555555555557e-05,
      "loss": 0.0235,
      "step": 39890
    },
    {
      "epoch": 5.32,
      "grad_norm": 0.274634450674057,
      "learning_rate": 9.113333333333334e-05,
      "loss": 0.017,
      "step": 39900
    },
    {
      "epoch": 5.3213333333333335,
      "grad_norm": 0.6001575589179993,
      "learning_rate": 9.113111111111111e-05,
      "loss": 0.0195,
      "step": 39910
    },
    {
      "epoch": 5.322666666666667,
      "grad_norm": 0.2392444610595703,
      "learning_rate": 9.11288888888889e-05,
      "loss": 0.0196,
      "step": 39920
    },
    {
      "epoch": 5.324,
      "grad_norm": 0.6529130339622498,
      "learning_rate": 9.112666666666668e-05,
      "loss": 0.0201,
      "step": 39930
    },
    {
      "epoch": 5.325333333333333,
      "grad_norm": 0.6554797291755676,
      "learning_rate": 9.112444444444444e-05,
      "loss": 0.0284,
      "step": 39940
    },
    {
      "epoch": 5.326666666666666,
      "grad_norm": 0.21202203631401062,
      "learning_rate": 9.112222222222223e-05,
      "loss": 0.0256,
      "step": 39950
    },
    {
      "epoch": 5.328,
      "grad_norm": 0.16660639643669128,
      "learning_rate": 9.112000000000001e-05,
      "loss": 0.0199,
      "step": 39960
    },
    {
      "epoch": 5.3293333333333335,
      "grad_norm": 0.17407923936843872,
      "learning_rate": 9.111777777777779e-05,
      "loss": 0.0193,
      "step": 39970
    },
    {
      "epoch": 5.330666666666667,
      "grad_norm": 0.43653079867362976,
      "learning_rate": 9.111555555555556e-05,
      "loss": 0.0263,
      "step": 39980
    },
    {
      "epoch": 5.332,
      "grad_norm": 0.4660024642944336,
      "learning_rate": 9.111333333333334e-05,
      "loss": 0.018,
      "step": 39990
    },
    {
      "epoch": 5.333333333333333,
      "grad_norm": 0.47538506984710693,
      "learning_rate": 9.111111111111112e-05,
      "loss": 0.0197,
      "step": 40000
    },
    {
      "epoch": 5.334666666666667,
      "grad_norm": 0.25059112906455994,
      "learning_rate": 9.110888888888888e-05,
      "loss": 0.0203,
      "step": 40010
    },
    {
      "epoch": 5.336,
      "grad_norm": 0.5403211116790771,
      "learning_rate": 9.110666666666667e-05,
      "loss": 0.0256,
      "step": 40020
    },
    {
      "epoch": 5.3373333333333335,
      "grad_norm": 0.4725607633590698,
      "learning_rate": 9.110444444444445e-05,
      "loss": 0.0267,
      "step": 40030
    },
    {
      "epoch": 5.338666666666667,
      "grad_norm": 1.311962604522705,
      "learning_rate": 9.110222222222223e-05,
      "loss": 0.023,
      "step": 40040
    },
    {
      "epoch": 5.34,
      "grad_norm": 0.2506476044654846,
      "learning_rate": 9.11e-05,
      "loss": 0.0218,
      "step": 40050
    },
    {
      "epoch": 5.341333333333333,
      "grad_norm": 0.1916748285293579,
      "learning_rate": 9.109777777777778e-05,
      "loss": 0.0224,
      "step": 40060
    },
    {
      "epoch": 5.342666666666666,
      "grad_norm": 0.16496025025844574,
      "learning_rate": 9.109555555555556e-05,
      "loss": 0.0242,
      "step": 40070
    },
    {
      "epoch": 5.344,
      "grad_norm": 0.24688808619976044,
      "learning_rate": 9.109333333333334e-05,
      "loss": 0.0151,
      "step": 40080
    },
    {
      "epoch": 5.3453333333333335,
      "grad_norm": 0.5416958928108215,
      "learning_rate": 9.109111111111111e-05,
      "loss": 0.0197,
      "step": 40090
    },
    {
      "epoch": 5.346666666666667,
      "grad_norm": 0.7497884035110474,
      "learning_rate": 9.108888888888889e-05,
      "loss": 0.0215,
      "step": 40100
    },
    {
      "epoch": 5.348,
      "grad_norm": 0.2681870460510254,
      "learning_rate": 9.108666666666667e-05,
      "loss": 0.015,
      "step": 40110
    },
    {
      "epoch": 5.349333333333333,
      "grad_norm": 0.7493877410888672,
      "learning_rate": 9.108444444444445e-05,
      "loss": 0.0149,
      "step": 40120
    },
    {
      "epoch": 5.350666666666667,
      "grad_norm": 0.6842894554138184,
      "learning_rate": 9.108222222222222e-05,
      "loss": 0.0227,
      "step": 40130
    },
    {
      "epoch": 5.352,
      "grad_norm": 0.21642078459262848,
      "learning_rate": 9.108000000000002e-05,
      "loss": 0.0221,
      "step": 40140
    },
    {
      "epoch": 5.3533333333333335,
      "grad_norm": 0.0241569671779871,
      "learning_rate": 9.107777777777778e-05,
      "loss": 0.0168,
      "step": 40150
    },
    {
      "epoch": 5.354666666666667,
      "grad_norm": 0.5528194308280945,
      "learning_rate": 9.107555555555556e-05,
      "loss": 0.0225,
      "step": 40160
    },
    {
      "epoch": 5.356,
      "grad_norm": 0.18952733278274536,
      "learning_rate": 9.107333333333333e-05,
      "loss": 0.0237,
      "step": 40170
    },
    {
      "epoch": 5.357333333333333,
      "grad_norm": 0.8233001828193665,
      "learning_rate": 9.107111111111111e-05,
      "loss": 0.0279,
      "step": 40180
    },
    {
      "epoch": 5.358666666666666,
      "grad_norm": 0.4595281183719635,
      "learning_rate": 9.106888888888889e-05,
      "loss": 0.0274,
      "step": 40190
    },
    {
      "epoch": 5.36,
      "grad_norm": 0.3073112666606903,
      "learning_rate": 9.106666666666667e-05,
      "loss": 0.0206,
      "step": 40200
    },
    {
      "epoch": 5.3613333333333335,
      "grad_norm": 0.5058484673500061,
      "learning_rate": 9.106444444444446e-05,
      "loss": 0.0242,
      "step": 40210
    },
    {
      "epoch": 5.362666666666667,
      "grad_norm": 0.23772171139717102,
      "learning_rate": 9.106222222222222e-05,
      "loss": 0.0251,
      "step": 40220
    },
    {
      "epoch": 5.364,
      "grad_norm": 0.17336618900299072,
      "learning_rate": 9.106e-05,
      "loss": 0.0238,
      "step": 40230
    },
    {
      "epoch": 5.365333333333333,
      "grad_norm": 0.4416845142841339,
      "learning_rate": 9.105777777777779e-05,
      "loss": 0.0198,
      "step": 40240
    },
    {
      "epoch": 5.366666666666666,
      "grad_norm": 0.3112933933734894,
      "learning_rate": 9.105555555555557e-05,
      "loss": 0.0188,
      "step": 40250
    },
    {
      "epoch": 5.368,
      "grad_norm": 0.14506983757019043,
      "learning_rate": 9.105333333333333e-05,
      "loss": 0.0235,
      "step": 40260
    },
    {
      "epoch": 5.3693333333333335,
      "grad_norm": 1.1102571487426758,
      "learning_rate": 9.105111111111112e-05,
      "loss": 0.0264,
      "step": 40270
    },
    {
      "epoch": 5.370666666666667,
      "grad_norm": 0.5521755814552307,
      "learning_rate": 9.10488888888889e-05,
      "loss": 0.0235,
      "step": 40280
    },
    {
      "epoch": 5.372,
      "grad_norm": 0.195489764213562,
      "learning_rate": 9.104666666666666e-05,
      "loss": 0.0339,
      "step": 40290
    },
    {
      "epoch": 5.373333333333333,
      "grad_norm": 0.2788657248020172,
      "learning_rate": 9.104444444444444e-05,
      "loss": 0.0255,
      "step": 40300
    },
    {
      "epoch": 5.374666666666666,
      "grad_norm": 0.8072161078453064,
      "learning_rate": 9.104222222222223e-05,
      "loss": 0.0248,
      "step": 40310
    },
    {
      "epoch": 5.376,
      "grad_norm": 0.2784003019332886,
      "learning_rate": 9.104000000000001e-05,
      "loss": 0.0174,
      "step": 40320
    },
    {
      "epoch": 5.3773333333333335,
      "grad_norm": 0.2952243685722351,
      "learning_rate": 9.103777777777777e-05,
      "loss": 0.0186,
      "step": 40330
    },
    {
      "epoch": 5.378666666666667,
      "grad_norm": 0.3801899552345276,
      "learning_rate": 9.103555555555556e-05,
      "loss": 0.0235,
      "step": 40340
    },
    {
      "epoch": 5.38,
      "grad_norm": 0.40491098165512085,
      "learning_rate": 9.103333333333334e-05,
      "loss": 0.0203,
      "step": 40350
    },
    {
      "epoch": 5.381333333333333,
      "grad_norm": 0.10110069066286087,
      "learning_rate": 9.10311111111111e-05,
      "loss": 0.0147,
      "step": 40360
    },
    {
      "epoch": 5.382666666666666,
      "grad_norm": 0.3124449551105499,
      "learning_rate": 9.10288888888889e-05,
      "loss": 0.022,
      "step": 40370
    },
    {
      "epoch": 5.384,
      "grad_norm": 0.5744667053222656,
      "learning_rate": 9.102666666666667e-05,
      "loss": 0.0274,
      "step": 40380
    },
    {
      "epoch": 5.3853333333333335,
      "grad_norm": 0.031671054661273956,
      "learning_rate": 9.102444444444445e-05,
      "loss": 0.0275,
      "step": 40390
    },
    {
      "epoch": 5.386666666666667,
      "grad_norm": 0.4136798083782196,
      "learning_rate": 9.102222222222223e-05,
      "loss": 0.0259,
      "step": 40400
    },
    {
      "epoch": 5.388,
      "grad_norm": 0.37940534949302673,
      "learning_rate": 9.102e-05,
      "loss": 0.0199,
      "step": 40410
    },
    {
      "epoch": 5.389333333333333,
      "grad_norm": 0.04979432001709938,
      "learning_rate": 9.101777777777778e-05,
      "loss": 0.0294,
      "step": 40420
    },
    {
      "epoch": 5.390666666666666,
      "grad_norm": 0.17716611921787262,
      "learning_rate": 9.101555555555556e-05,
      "loss": 0.0169,
      "step": 40430
    },
    {
      "epoch": 5.392,
      "grad_norm": 0.24089357256889343,
      "learning_rate": 9.101333333333334e-05,
      "loss": 0.0163,
      "step": 40440
    },
    {
      "epoch": 5.3933333333333335,
      "grad_norm": 0.4772096574306488,
      "learning_rate": 9.101111111111112e-05,
      "loss": 0.0198,
      "step": 40450
    },
    {
      "epoch": 5.394666666666667,
      "grad_norm": 0.8422163128852844,
      "learning_rate": 9.100888888888889e-05,
      "loss": 0.0297,
      "step": 40460
    },
    {
      "epoch": 5.396,
      "grad_norm": 0.44634148478507996,
      "learning_rate": 9.100666666666667e-05,
      "loss": 0.0285,
      "step": 40470
    },
    {
      "epoch": 5.397333333333333,
      "grad_norm": 0.9806301593780518,
      "learning_rate": 9.100444444444445e-05,
      "loss": 0.0233,
      "step": 40480
    },
    {
      "epoch": 5.398666666666666,
      "grad_norm": 0.38579219579696655,
      "learning_rate": 9.100222222222223e-05,
      "loss": 0.0192,
      "step": 40490
    },
    {
      "epoch": 5.4,
      "grad_norm": 0.6383894085884094,
      "learning_rate": 9.1e-05,
      "loss": 0.0186,
      "step": 40500
    },
    {
      "epoch": 5.4013333333333335,
      "grad_norm": 0.18516415357589722,
      "learning_rate": 9.099777777777778e-05,
      "loss": 0.0206,
      "step": 40510
    },
    {
      "epoch": 5.402666666666667,
      "grad_norm": 0.3800811171531677,
      "learning_rate": 9.099555555555556e-05,
      "loss": 0.0138,
      "step": 40520
    },
    {
      "epoch": 5.404,
      "grad_norm": 0.16659694910049438,
      "learning_rate": 9.099333333333334e-05,
      "loss": 0.0249,
      "step": 40530
    },
    {
      "epoch": 5.405333333333333,
      "grad_norm": 0.4408564567565918,
      "learning_rate": 9.099111111111111e-05,
      "loss": 0.0253,
      "step": 40540
    },
    {
      "epoch": 5.406666666666666,
      "grad_norm": 0.26467201113700867,
      "learning_rate": 9.098888888888889e-05,
      "loss": 0.0184,
      "step": 40550
    },
    {
      "epoch": 5.408,
      "grad_norm": 0.715077817440033,
      "learning_rate": 9.098666666666668e-05,
      "loss": 0.024,
      "step": 40560
    },
    {
      "epoch": 5.4093333333333335,
      "grad_norm": 0.5769515037536621,
      "learning_rate": 9.098444444444444e-05,
      "loss": 0.018,
      "step": 40570
    },
    {
      "epoch": 5.410666666666667,
      "grad_norm": 0.24108895659446716,
      "learning_rate": 9.098222222222222e-05,
      "loss": 0.022,
      "step": 40580
    },
    {
      "epoch": 5.412,
      "grad_norm": 0.32149723172187805,
      "learning_rate": 9.098000000000001e-05,
      "loss": 0.0176,
      "step": 40590
    },
    {
      "epoch": 5.413333333333333,
      "grad_norm": 0.4861506521701813,
      "learning_rate": 9.097777777777779e-05,
      "loss": 0.0294,
      "step": 40600
    },
    {
      "epoch": 5.414666666666666,
      "grad_norm": 0.39791184663772583,
      "learning_rate": 9.097555555555555e-05,
      "loss": 0.0245,
      "step": 40610
    },
    {
      "epoch": 5.416,
      "grad_norm": 0.19173096120357513,
      "learning_rate": 9.097333333333333e-05,
      "loss": 0.0146,
      "step": 40620
    },
    {
      "epoch": 5.417333333333334,
      "grad_norm": 0.06397321820259094,
      "learning_rate": 9.097111111111112e-05,
      "loss": 0.0212,
      "step": 40630
    },
    {
      "epoch": 5.418666666666667,
      "grad_norm": 0.4726681709289551,
      "learning_rate": 9.096888888888889e-05,
      "loss": 0.0295,
      "step": 40640
    },
    {
      "epoch": 5.42,
      "grad_norm": 0.5782347321510315,
      "learning_rate": 9.096666666666666e-05,
      "loss": 0.019,
      "step": 40650
    },
    {
      "epoch": 5.421333333333333,
      "grad_norm": 0.39525893330574036,
      "learning_rate": 9.096444444444446e-05,
      "loss": 0.0185,
      "step": 40660
    },
    {
      "epoch": 5.422666666666666,
      "grad_norm": 0.3630376160144806,
      "learning_rate": 9.096222222222223e-05,
      "loss": 0.0217,
      "step": 40670
    },
    {
      "epoch": 5.424,
      "grad_norm": 0.11431734263896942,
      "learning_rate": 9.096e-05,
      "loss": 0.0116,
      "step": 40680
    },
    {
      "epoch": 5.425333333333334,
      "grad_norm": 0.3208812177181244,
      "learning_rate": 9.095777777777779e-05,
      "loss": 0.0217,
      "step": 40690
    },
    {
      "epoch": 5.426666666666667,
      "grad_norm": 0.2636845111846924,
      "learning_rate": 9.095555555555556e-05,
      "loss": 0.0312,
      "step": 40700
    },
    {
      "epoch": 5.428,
      "grad_norm": 0.1489332765340805,
      "learning_rate": 9.095333333333333e-05,
      "loss": 0.0212,
      "step": 40710
    },
    {
      "epoch": 5.429333333333333,
      "grad_norm": 0.07402347773313522,
      "learning_rate": 9.095111111111112e-05,
      "loss": 0.0233,
      "step": 40720
    },
    {
      "epoch": 5.430666666666666,
      "grad_norm": 0.22999365627765656,
      "learning_rate": 9.09488888888889e-05,
      "loss": 0.0169,
      "step": 40730
    },
    {
      "epoch": 5.432,
      "grad_norm": 0.011132300831377506,
      "learning_rate": 9.094666666666667e-05,
      "loss": 0.0183,
      "step": 40740
    },
    {
      "epoch": 5.433333333333334,
      "grad_norm": 0.5338033437728882,
      "learning_rate": 9.094444444444445e-05,
      "loss": 0.0176,
      "step": 40750
    },
    {
      "epoch": 5.434666666666667,
      "grad_norm": 0.23570360243320465,
      "learning_rate": 9.094222222222223e-05,
      "loss": 0.0243,
      "step": 40760
    },
    {
      "epoch": 5.436,
      "grad_norm": 2.0395662784576416,
      "learning_rate": 9.094000000000001e-05,
      "loss": 0.023,
      "step": 40770
    },
    {
      "epoch": 5.437333333333333,
      "grad_norm": 1.3032448291778564,
      "learning_rate": 9.093777777777777e-05,
      "loss": 0.0243,
      "step": 40780
    },
    {
      "epoch": 5.438666666666666,
      "grad_norm": 1.224085807800293,
      "learning_rate": 9.093555555555556e-05,
      "loss": 0.0188,
      "step": 40790
    },
    {
      "epoch": 5.44,
      "grad_norm": 0.19709816575050354,
      "learning_rate": 9.093333333333334e-05,
      "loss": 0.0193,
      "step": 40800
    },
    {
      "epoch": 5.441333333333334,
      "grad_norm": 0.6183373332023621,
      "learning_rate": 9.093111111111112e-05,
      "loss": 0.0151,
      "step": 40810
    },
    {
      "epoch": 5.442666666666667,
      "grad_norm": 1.1785732507705688,
      "learning_rate": 9.09288888888889e-05,
      "loss": 0.0266,
      "step": 40820
    },
    {
      "epoch": 5.444,
      "grad_norm": 0.29004234075546265,
      "learning_rate": 9.092666666666667e-05,
      "loss": 0.0255,
      "step": 40830
    },
    {
      "epoch": 5.445333333333333,
      "grad_norm": 0.7826628088951111,
      "learning_rate": 9.092444444444445e-05,
      "loss": 0.0253,
      "step": 40840
    },
    {
      "epoch": 5.446666666666666,
      "grad_norm": 0.45943117141723633,
      "learning_rate": 9.092222222222223e-05,
      "loss": 0.0249,
      "step": 40850
    },
    {
      "epoch": 5.448,
      "grad_norm": 0.15980909764766693,
      "learning_rate": 9.092e-05,
      "loss": 0.0202,
      "step": 40860
    },
    {
      "epoch": 5.449333333333334,
      "grad_norm": 0.347363144159317,
      "learning_rate": 9.091777777777778e-05,
      "loss": 0.0251,
      "step": 40870
    },
    {
      "epoch": 5.450666666666667,
      "grad_norm": 0.3630584180355072,
      "learning_rate": 9.091555555555556e-05,
      "loss": 0.0213,
      "step": 40880
    },
    {
      "epoch": 5.452,
      "grad_norm": 0.47583967447280884,
      "learning_rate": 9.091333333333334e-05,
      "loss": 0.0224,
      "step": 40890
    },
    {
      "epoch": 5.453333333333333,
      "grad_norm": 0.4256965219974518,
      "learning_rate": 9.091111111111111e-05,
      "loss": 0.0155,
      "step": 40900
    },
    {
      "epoch": 5.454666666666666,
      "grad_norm": 0.0397384874522686,
      "learning_rate": 9.090888888888889e-05,
      "loss": 0.0233,
      "step": 40910
    },
    {
      "epoch": 5.456,
      "grad_norm": 0.2877127230167389,
      "learning_rate": 9.090666666666667e-05,
      "loss": 0.0275,
      "step": 40920
    },
    {
      "epoch": 5.457333333333334,
      "grad_norm": 0.46084871888160706,
      "learning_rate": 9.090444444444445e-05,
      "loss": 0.0172,
      "step": 40930
    },
    {
      "epoch": 5.458666666666667,
      "grad_norm": 0.3744892477989197,
      "learning_rate": 9.090222222222222e-05,
      "loss": 0.0225,
      "step": 40940
    },
    {
      "epoch": 5.46,
      "grad_norm": 0.3288944661617279,
      "learning_rate": 9.090000000000001e-05,
      "loss": 0.0223,
      "step": 40950
    },
    {
      "epoch": 5.461333333333333,
      "grad_norm": 0.6513177156448364,
      "learning_rate": 9.089777777777778e-05,
      "loss": 0.0217,
      "step": 40960
    },
    {
      "epoch": 5.462666666666666,
      "grad_norm": 0.5050814747810364,
      "learning_rate": 9.089555555555556e-05,
      "loss": 0.0281,
      "step": 40970
    },
    {
      "epoch": 5.464,
      "grad_norm": 0.5442754626274109,
      "learning_rate": 9.089333333333335e-05,
      "loss": 0.0214,
      "step": 40980
    },
    {
      "epoch": 5.465333333333334,
      "grad_norm": 0.5819500088691711,
      "learning_rate": 9.089111111111111e-05,
      "loss": 0.0171,
      "step": 40990
    },
    {
      "epoch": 5.466666666666667,
      "grad_norm": 0.3508618474006653,
      "learning_rate": 9.088888888888889e-05,
      "loss": 0.0257,
      "step": 41000
    },
    {
      "epoch": 5.468,
      "grad_norm": 0.3959529399871826,
      "learning_rate": 9.088666666666668e-05,
      "loss": 0.024,
      "step": 41010
    },
    {
      "epoch": 5.469333333333333,
      "grad_norm": 0.3798249363899231,
      "learning_rate": 9.088444444444446e-05,
      "loss": 0.0253,
      "step": 41020
    },
    {
      "epoch": 5.470666666666666,
      "grad_norm": 0.35556742548942566,
      "learning_rate": 9.088222222222222e-05,
      "loss": 0.0248,
      "step": 41030
    },
    {
      "epoch": 5.4719999999999995,
      "grad_norm": 0.1319415122270584,
      "learning_rate": 9.088000000000001e-05,
      "loss": 0.0339,
      "step": 41040
    },
    {
      "epoch": 5.473333333333334,
      "grad_norm": 0.17403283715248108,
      "learning_rate": 9.087777777777779e-05,
      "loss": 0.0298,
      "step": 41050
    },
    {
      "epoch": 5.474666666666667,
      "grad_norm": 0.4929995536804199,
      "learning_rate": 9.087555555555555e-05,
      "loss": 0.0253,
      "step": 41060
    },
    {
      "epoch": 5.476,
      "grad_norm": 0.2898101806640625,
      "learning_rate": 9.087333333333333e-05,
      "loss": 0.0168,
      "step": 41070
    },
    {
      "epoch": 5.477333333333333,
      "grad_norm": 0.8299281597137451,
      "learning_rate": 9.087111111111112e-05,
      "loss": 0.0203,
      "step": 41080
    },
    {
      "epoch": 5.478666666666666,
      "grad_norm": 0.22599457204341888,
      "learning_rate": 9.08688888888889e-05,
      "loss": 0.0244,
      "step": 41090
    },
    {
      "epoch": 5.48,
      "grad_norm": 0.3047026991844177,
      "learning_rate": 9.086666666666666e-05,
      "loss": 0.019,
      "step": 41100
    },
    {
      "epoch": 5.481333333333334,
      "grad_norm": 0.1540554016828537,
      "learning_rate": 9.086444444444445e-05,
      "loss": 0.0153,
      "step": 41110
    },
    {
      "epoch": 5.482666666666667,
      "grad_norm": 0.29693296551704407,
      "learning_rate": 9.086222222222223e-05,
      "loss": 0.0124,
      "step": 41120
    },
    {
      "epoch": 5.484,
      "grad_norm": 0.6608877182006836,
      "learning_rate": 9.086e-05,
      "loss": 0.031,
      "step": 41130
    },
    {
      "epoch": 5.485333333333333,
      "grad_norm": 0.36207640171051025,
      "learning_rate": 9.085777777777779e-05,
      "loss": 0.0207,
      "step": 41140
    },
    {
      "epoch": 5.486666666666666,
      "grad_norm": 0.49888113141059875,
      "learning_rate": 9.085555555555556e-05,
      "loss": 0.0201,
      "step": 41150
    },
    {
      "epoch": 5.4879999999999995,
      "grad_norm": 0.1968863308429718,
      "learning_rate": 9.085333333333334e-05,
      "loss": 0.0223,
      "step": 41160
    },
    {
      "epoch": 5.489333333333334,
      "grad_norm": 0.16688841581344604,
      "learning_rate": 9.085111111111112e-05,
      "loss": 0.0223,
      "step": 41170
    },
    {
      "epoch": 5.490666666666667,
      "grad_norm": 0.10805096477270126,
      "learning_rate": 9.08488888888889e-05,
      "loss": 0.0174,
      "step": 41180
    },
    {
      "epoch": 5.492,
      "grad_norm": 0.19145305454730988,
      "learning_rate": 9.084666666666667e-05,
      "loss": 0.0233,
      "step": 41190
    },
    {
      "epoch": 5.493333333333333,
      "grad_norm": 0.39039382338523865,
      "learning_rate": 9.084444444444445e-05,
      "loss": 0.0183,
      "step": 41200
    },
    {
      "epoch": 5.494666666666666,
      "grad_norm": 0.24179059267044067,
      "learning_rate": 9.084222222222223e-05,
      "loss": 0.0163,
      "step": 41210
    },
    {
      "epoch": 5.496,
      "grad_norm": 0.2473399043083191,
      "learning_rate": 9.084e-05,
      "loss": 0.0187,
      "step": 41220
    },
    {
      "epoch": 5.497333333333334,
      "grad_norm": 0.5336160063743591,
      "learning_rate": 9.083777777777778e-05,
      "loss": 0.0141,
      "step": 41230
    },
    {
      "epoch": 5.498666666666667,
      "grad_norm": 0.674400269985199,
      "learning_rate": 9.083555555555556e-05,
      "loss": 0.0212,
      "step": 41240
    },
    {
      "epoch": 5.5,
      "grad_norm": 0.29385995864868164,
      "learning_rate": 9.083333333333334e-05,
      "loss": 0.0213,
      "step": 41250
    },
    {
      "epoch": 5.501333333333333,
      "grad_norm": 0.3768979609012604,
      "learning_rate": 9.083111111111111e-05,
      "loss": 0.0216,
      "step": 41260
    },
    {
      "epoch": 5.502666666666666,
      "grad_norm": 0.04943306744098663,
      "learning_rate": 9.082888888888889e-05,
      "loss": 0.0147,
      "step": 41270
    },
    {
      "epoch": 5.504,
      "grad_norm": 0.32386142015457153,
      "learning_rate": 9.082666666666667e-05,
      "loss": 0.0239,
      "step": 41280
    },
    {
      "epoch": 5.505333333333334,
      "grad_norm": 0.5351845622062683,
      "learning_rate": 9.082444444444445e-05,
      "loss": 0.0208,
      "step": 41290
    },
    {
      "epoch": 5.506666666666667,
      "grad_norm": 0.11653744429349899,
      "learning_rate": 9.082222222222224e-05,
      "loss": 0.0206,
      "step": 41300
    },
    {
      "epoch": 5.508,
      "grad_norm": 0.15703779458999634,
      "learning_rate": 9.082e-05,
      "loss": 0.0279,
      "step": 41310
    },
    {
      "epoch": 5.509333333333333,
      "grad_norm": 0.48777803778648376,
      "learning_rate": 9.081777777777778e-05,
      "loss": 0.0235,
      "step": 41320
    },
    {
      "epoch": 5.510666666666666,
      "grad_norm": 0.5342397093772888,
      "learning_rate": 9.081555555555557e-05,
      "loss": 0.0243,
      "step": 41330
    },
    {
      "epoch": 5.5120000000000005,
      "grad_norm": 0.2789536714553833,
      "learning_rate": 9.081333333333333e-05,
      "loss": 0.0191,
      "step": 41340
    },
    {
      "epoch": 5.513333333333334,
      "grad_norm": 0.8113226890563965,
      "learning_rate": 9.081111111111111e-05,
      "loss": 0.0294,
      "step": 41350
    },
    {
      "epoch": 5.514666666666667,
      "grad_norm": 0.21871376037597656,
      "learning_rate": 9.080888888888889e-05,
      "loss": 0.0277,
      "step": 41360
    },
    {
      "epoch": 5.516,
      "grad_norm": 0.39892658591270447,
      "learning_rate": 9.080666666666668e-05,
      "loss": 0.027,
      "step": 41370
    },
    {
      "epoch": 5.517333333333333,
      "grad_norm": 0.4088177978992462,
      "learning_rate": 9.080444444444444e-05,
      "loss": 0.0232,
      "step": 41380
    },
    {
      "epoch": 5.518666666666666,
      "grad_norm": 0.4312152862548828,
      "learning_rate": 9.080222222222222e-05,
      "loss": 0.0155,
      "step": 41390
    },
    {
      "epoch": 5.52,
      "grad_norm": 0.8290086984634399,
      "learning_rate": 9.080000000000001e-05,
      "loss": 0.0302,
      "step": 41400
    },
    {
      "epoch": 5.521333333333334,
      "grad_norm": 0.25571298599243164,
      "learning_rate": 9.079777777777778e-05,
      "loss": 0.0181,
      "step": 41410
    },
    {
      "epoch": 5.522666666666667,
      "grad_norm": 0.32783034443855286,
      "learning_rate": 9.079555555555555e-05,
      "loss": 0.024,
      "step": 41420
    },
    {
      "epoch": 5.524,
      "grad_norm": 1.3371875286102295,
      "learning_rate": 9.079333333333334e-05,
      "loss": 0.0199,
      "step": 41430
    },
    {
      "epoch": 5.525333333333333,
      "grad_norm": 0.2177232801914215,
      "learning_rate": 9.079111111111112e-05,
      "loss": 0.0215,
      "step": 41440
    },
    {
      "epoch": 5.526666666666666,
      "grad_norm": 0.26310116052627563,
      "learning_rate": 9.078888888888889e-05,
      "loss": 0.0251,
      "step": 41450
    },
    {
      "epoch": 5.5280000000000005,
      "grad_norm": 0.3233860433101654,
      "learning_rate": 9.078666666666668e-05,
      "loss": 0.0253,
      "step": 41460
    },
    {
      "epoch": 5.529333333333334,
      "grad_norm": 0.5932985544204712,
      "learning_rate": 9.078444444444445e-05,
      "loss": 0.0275,
      "step": 41470
    },
    {
      "epoch": 5.530666666666667,
      "grad_norm": 0.16387221217155457,
      "learning_rate": 9.078222222222222e-05,
      "loss": 0.0209,
      "step": 41480
    },
    {
      "epoch": 5.532,
      "grad_norm": 0.38066744804382324,
      "learning_rate": 9.078000000000001e-05,
      "loss": 0.03,
      "step": 41490
    },
    {
      "epoch": 5.533333333333333,
      "grad_norm": 0.0648474171757698,
      "learning_rate": 9.077777777777779e-05,
      "loss": 0.0193,
      "step": 41500
    },
    {
      "epoch": 5.534666666666666,
      "grad_norm": 0.3508358597755432,
      "learning_rate": 9.077555555555556e-05,
      "loss": 0.0185,
      "step": 41510
    },
    {
      "epoch": 5.536,
      "grad_norm": 0.23069699108600616,
      "learning_rate": 9.077333333333333e-05,
      "loss": 0.0271,
      "step": 41520
    },
    {
      "epoch": 5.537333333333334,
      "grad_norm": 0.42840254306793213,
      "learning_rate": 9.077111111111112e-05,
      "loss": 0.0186,
      "step": 41530
    },
    {
      "epoch": 5.538666666666667,
      "grad_norm": 1.6374248266220093,
      "learning_rate": 9.07688888888889e-05,
      "loss": 0.0286,
      "step": 41540
    },
    {
      "epoch": 5.54,
      "grad_norm": 1.2414238452911377,
      "learning_rate": 9.076666666666667e-05,
      "loss": 0.0232,
      "step": 41550
    },
    {
      "epoch": 5.541333333333333,
      "grad_norm": 0.4796496629714966,
      "learning_rate": 9.076444444444445e-05,
      "loss": 0.0188,
      "step": 41560
    },
    {
      "epoch": 5.542666666666666,
      "grad_norm": 0.4966093897819519,
      "learning_rate": 9.076222222222223e-05,
      "loss": 0.019,
      "step": 41570
    },
    {
      "epoch": 5.5440000000000005,
      "grad_norm": 1.111828088760376,
      "learning_rate": 9.076e-05,
      "loss": 0.0231,
      "step": 41580
    },
    {
      "epoch": 5.545333333333334,
      "grad_norm": 0.9043248295783997,
      "learning_rate": 9.075777777777778e-05,
      "loss": 0.0258,
      "step": 41590
    },
    {
      "epoch": 5.546666666666667,
      "grad_norm": 0.3404994010925293,
      "learning_rate": 9.075555555555556e-05,
      "loss": 0.0156,
      "step": 41600
    },
    {
      "epoch": 5.548,
      "grad_norm": 0.4817107021808624,
      "learning_rate": 9.075333333333334e-05,
      "loss": 0.0125,
      "step": 41610
    },
    {
      "epoch": 5.549333333333333,
      "grad_norm": 0.3266904652118683,
      "learning_rate": 9.075111111111111e-05,
      "loss": 0.0209,
      "step": 41620
    },
    {
      "epoch": 5.550666666666666,
      "grad_norm": 0.383720725774765,
      "learning_rate": 9.074888888888889e-05,
      "loss": 0.022,
      "step": 41630
    },
    {
      "epoch": 5.552,
      "grad_norm": 0.4922654926776886,
      "learning_rate": 9.074666666666667e-05,
      "loss": 0.0253,
      "step": 41640
    },
    {
      "epoch": 5.553333333333334,
      "grad_norm": 0.2535381019115448,
      "learning_rate": 9.074444444444446e-05,
      "loss": 0.0153,
      "step": 41650
    },
    {
      "epoch": 5.554666666666667,
      "grad_norm": 0.4027469754219055,
      "learning_rate": 9.074222222222222e-05,
      "loss": 0.0165,
      "step": 41660
    },
    {
      "epoch": 5.556,
      "grad_norm": 0.25185030698776245,
      "learning_rate": 9.074e-05,
      "loss": 0.018,
      "step": 41670
    },
    {
      "epoch": 5.557333333333333,
      "grad_norm": 0.23314505815505981,
      "learning_rate": 9.073777777777778e-05,
      "loss": 0.0228,
      "step": 41680
    },
    {
      "epoch": 5.558666666666666,
      "grad_norm": 1.2670403718948364,
      "learning_rate": 9.073555555555556e-05,
      "loss": 0.0393,
      "step": 41690
    },
    {
      "epoch": 5.5600000000000005,
      "grad_norm": 1.0694423913955688,
      "learning_rate": 9.073333333333333e-05,
      "loss": 0.0342,
      "step": 41700
    },
    {
      "epoch": 5.561333333333334,
      "grad_norm": 0.42791548371315,
      "learning_rate": 9.073111111111111e-05,
      "loss": 0.0196,
      "step": 41710
    },
    {
      "epoch": 5.562666666666667,
      "grad_norm": 0.9956770539283752,
      "learning_rate": 9.07288888888889e-05,
      "loss": 0.0231,
      "step": 41720
    },
    {
      "epoch": 5.564,
      "grad_norm": 0.24529777467250824,
      "learning_rate": 9.072666666666667e-05,
      "loss": 0.0183,
      "step": 41730
    },
    {
      "epoch": 5.565333333333333,
      "grad_norm": 1.312451720237732,
      "learning_rate": 9.072444444444444e-05,
      "loss": 0.0242,
      "step": 41740
    },
    {
      "epoch": 5.566666666666666,
      "grad_norm": 0.23854197561740875,
      "learning_rate": 9.072222222222223e-05,
      "loss": 0.0154,
      "step": 41750
    },
    {
      "epoch": 5.568,
      "grad_norm": 0.18603935837745667,
      "learning_rate": 9.072e-05,
      "loss": 0.0299,
      "step": 41760
    },
    {
      "epoch": 5.569333333333334,
      "grad_norm": 0.5230127573013306,
      "learning_rate": 9.071777777777778e-05,
      "loss": 0.0203,
      "step": 41770
    },
    {
      "epoch": 5.570666666666667,
      "grad_norm": 0.06802516430616379,
      "learning_rate": 9.071555555555557e-05,
      "loss": 0.0189,
      "step": 41780
    },
    {
      "epoch": 5.572,
      "grad_norm": 0.4002726972103119,
      "learning_rate": 9.071333333333334e-05,
      "loss": 0.0251,
      "step": 41790
    },
    {
      "epoch": 5.573333333333333,
      "grad_norm": 0.2553598880767822,
      "learning_rate": 9.071111111111111e-05,
      "loss": 0.0166,
      "step": 41800
    },
    {
      "epoch": 5.574666666666666,
      "grad_norm": 0.29540735483169556,
      "learning_rate": 9.070888888888889e-05,
      "loss": 0.0172,
      "step": 41810
    },
    {
      "epoch": 5.576,
      "grad_norm": 0.679811954498291,
      "learning_rate": 9.070666666666668e-05,
      "loss": 0.0242,
      "step": 41820
    },
    {
      "epoch": 5.577333333333334,
      "grad_norm": 0.31437036395072937,
      "learning_rate": 9.070444444444444e-05,
      "loss": 0.0164,
      "step": 41830
    },
    {
      "epoch": 5.578666666666667,
      "grad_norm": 0.8384178876876831,
      "learning_rate": 9.070222222222222e-05,
      "loss": 0.0281,
      "step": 41840
    },
    {
      "epoch": 5.58,
      "grad_norm": 0.38951781392097473,
      "learning_rate": 9.070000000000001e-05,
      "loss": 0.0256,
      "step": 41850
    },
    {
      "epoch": 5.581333333333333,
      "grad_norm": 0.7948318123817444,
      "learning_rate": 9.069777777777779e-05,
      "loss": 0.0188,
      "step": 41860
    },
    {
      "epoch": 5.582666666666666,
      "grad_norm": 0.1954108029603958,
      "learning_rate": 9.069555555555555e-05,
      "loss": 0.0222,
      "step": 41870
    },
    {
      "epoch": 5.584,
      "grad_norm": 0.2493148297071457,
      "learning_rate": 9.069333333333334e-05,
      "loss": 0.019,
      "step": 41880
    },
    {
      "epoch": 5.585333333333334,
      "grad_norm": 0.3794124722480774,
      "learning_rate": 9.069111111111112e-05,
      "loss": 0.0208,
      "step": 41890
    },
    {
      "epoch": 5.586666666666667,
      "grad_norm": 0.6345888376235962,
      "learning_rate": 9.06888888888889e-05,
      "loss": 0.0228,
      "step": 41900
    },
    {
      "epoch": 5.588,
      "grad_norm": 0.09908854216337204,
      "learning_rate": 9.068666666666667e-05,
      "loss": 0.0171,
      "step": 41910
    },
    {
      "epoch": 5.589333333333333,
      "grad_norm": 0.1197623461484909,
      "learning_rate": 9.068444444444445e-05,
      "loss": 0.0256,
      "step": 41920
    },
    {
      "epoch": 5.5906666666666665,
      "grad_norm": 0.3072475790977478,
      "learning_rate": 9.068222222222223e-05,
      "loss": 0.0183,
      "step": 41930
    },
    {
      "epoch": 5.592,
      "grad_norm": 0.17676647007465363,
      "learning_rate": 9.068e-05,
      "loss": 0.0257,
      "step": 41940
    },
    {
      "epoch": 5.593333333333334,
      "grad_norm": 0.2644366919994354,
      "learning_rate": 9.067777777777778e-05,
      "loss": 0.0134,
      "step": 41950
    },
    {
      "epoch": 5.594666666666667,
      "grad_norm": 0.3632892072200775,
      "learning_rate": 9.067555555555556e-05,
      "loss": 0.0165,
      "step": 41960
    },
    {
      "epoch": 5.596,
      "grad_norm": 0.196843683719635,
      "learning_rate": 9.067333333333334e-05,
      "loss": 0.022,
      "step": 41970
    },
    {
      "epoch": 5.597333333333333,
      "grad_norm": 0.4076124429702759,
      "learning_rate": 9.067111111111112e-05,
      "loss": 0.0187,
      "step": 41980
    },
    {
      "epoch": 5.5986666666666665,
      "grad_norm": 0.5895953178405762,
      "learning_rate": 9.066888888888889e-05,
      "loss": 0.0281,
      "step": 41990
    },
    {
      "epoch": 5.6,
      "grad_norm": 0.42377540469169617,
      "learning_rate": 9.066666666666667e-05,
      "loss": 0.0212,
      "step": 42000
    },
    {
      "epoch": 5.601333333333334,
      "grad_norm": 0.8701518774032593,
      "learning_rate": 9.066444444444445e-05,
      "loss": 0.012,
      "step": 42010
    },
    {
      "epoch": 5.602666666666667,
      "grad_norm": 0.056200072169303894,
      "learning_rate": 9.066222222222223e-05,
      "loss": 0.0349,
      "step": 42020
    },
    {
      "epoch": 5.604,
      "grad_norm": 0.44350844621658325,
      "learning_rate": 9.066e-05,
      "loss": 0.0258,
      "step": 42030
    },
    {
      "epoch": 5.605333333333333,
      "grad_norm": 0.10504397004842758,
      "learning_rate": 9.065777777777778e-05,
      "loss": 0.0143,
      "step": 42040
    },
    {
      "epoch": 5.6066666666666665,
      "grad_norm": 0.43435826897621155,
      "learning_rate": 9.065555555555556e-05,
      "loss": 0.0257,
      "step": 42050
    },
    {
      "epoch": 5.608,
      "grad_norm": 0.7280728816986084,
      "learning_rate": 9.065333333333334e-05,
      "loss": 0.0261,
      "step": 42060
    },
    {
      "epoch": 5.609333333333334,
      "grad_norm": 0.25162261724472046,
      "learning_rate": 9.065111111111113e-05,
      "loss": 0.0248,
      "step": 42070
    },
    {
      "epoch": 5.610666666666667,
      "grad_norm": 0.4090874493122101,
      "learning_rate": 9.064888888888889e-05,
      "loss": 0.0235,
      "step": 42080
    },
    {
      "epoch": 5.612,
      "grad_norm": 0.2164263129234314,
      "learning_rate": 9.064666666666667e-05,
      "loss": 0.0151,
      "step": 42090
    },
    {
      "epoch": 5.613333333333333,
      "grad_norm": 0.3411358594894409,
      "learning_rate": 9.064444444444446e-05,
      "loss": 0.0209,
      "step": 42100
    },
    {
      "epoch": 5.6146666666666665,
      "grad_norm": 0.11938724666833878,
      "learning_rate": 9.064222222222222e-05,
      "loss": 0.0213,
      "step": 42110
    },
    {
      "epoch": 5.616,
      "grad_norm": 0.7972447276115417,
      "learning_rate": 9.064e-05,
      "loss": 0.0326,
      "step": 42120
    },
    {
      "epoch": 5.617333333333333,
      "grad_norm": 1.0866007804870605,
      "learning_rate": 9.063777777777778e-05,
      "loss": 0.0178,
      "step": 42130
    },
    {
      "epoch": 5.618666666666667,
      "grad_norm": 0.4987173080444336,
      "learning_rate": 9.063555555555557e-05,
      "loss": 0.021,
      "step": 42140
    },
    {
      "epoch": 5.62,
      "grad_norm": 0.4986205995082855,
      "learning_rate": 9.063333333333333e-05,
      "loss": 0.0229,
      "step": 42150
    },
    {
      "epoch": 5.621333333333333,
      "grad_norm": 0.4047791659832001,
      "learning_rate": 9.063111111111111e-05,
      "loss": 0.0189,
      "step": 42160
    },
    {
      "epoch": 5.6226666666666665,
      "grad_norm": 0.602004885673523,
      "learning_rate": 9.06288888888889e-05,
      "loss": 0.0212,
      "step": 42170
    },
    {
      "epoch": 5.624,
      "grad_norm": 0.38072189688682556,
      "learning_rate": 9.062666666666666e-05,
      "loss": 0.0214,
      "step": 42180
    },
    {
      "epoch": 5.625333333333334,
      "grad_norm": 0.30455613136291504,
      "learning_rate": 9.062444444444444e-05,
      "loss": 0.0202,
      "step": 42190
    },
    {
      "epoch": 5.626666666666667,
      "grad_norm": 0.5475146174430847,
      "learning_rate": 9.062222222222223e-05,
      "loss": 0.0237,
      "step": 42200
    },
    {
      "epoch": 5.628,
      "grad_norm": 0.5176998972892761,
      "learning_rate": 9.062000000000001e-05,
      "loss": 0.0192,
      "step": 42210
    },
    {
      "epoch": 5.629333333333333,
      "grad_norm": 0.9237420558929443,
      "learning_rate": 9.061777777777777e-05,
      "loss": 0.0205,
      "step": 42220
    },
    {
      "epoch": 5.6306666666666665,
      "grad_norm": 0.24327951669692993,
      "learning_rate": 9.061555555555556e-05,
      "loss": 0.0206,
      "step": 42230
    },
    {
      "epoch": 5.632,
      "grad_norm": 0.3453972339630127,
      "learning_rate": 9.061333333333334e-05,
      "loss": 0.019,
      "step": 42240
    },
    {
      "epoch": 5.633333333333333,
      "grad_norm": 0.4244938790798187,
      "learning_rate": 9.061111111111112e-05,
      "loss": 0.0245,
      "step": 42250
    },
    {
      "epoch": 5.634666666666667,
      "grad_norm": 0.48279520869255066,
      "learning_rate": 9.06088888888889e-05,
      "loss": 0.0263,
      "step": 42260
    },
    {
      "epoch": 5.636,
      "grad_norm": 0.1680784970521927,
      "learning_rate": 9.060666666666667e-05,
      "loss": 0.0128,
      "step": 42270
    },
    {
      "epoch": 5.637333333333333,
      "grad_norm": 0.5069308280944824,
      "learning_rate": 9.060444444444445e-05,
      "loss": 0.0188,
      "step": 42280
    },
    {
      "epoch": 5.6386666666666665,
      "grad_norm": 0.6939958333969116,
      "learning_rate": 9.060222222222222e-05,
      "loss": 0.0157,
      "step": 42290
    },
    {
      "epoch": 5.64,
      "grad_norm": 0.22430476546287537,
      "learning_rate": 9.06e-05,
      "loss": 0.0229,
      "step": 42300
    },
    {
      "epoch": 5.641333333333334,
      "grad_norm": 0.7889266610145569,
      "learning_rate": 9.059777777777778e-05,
      "loss": 0.0243,
      "step": 42310
    },
    {
      "epoch": 5.642666666666667,
      "grad_norm": 0.21239036321640015,
      "learning_rate": 9.059555555555556e-05,
      "loss": 0.0193,
      "step": 42320
    },
    {
      "epoch": 5.644,
      "grad_norm": 0.2436274290084839,
      "learning_rate": 9.059333333333334e-05,
      "loss": 0.0226,
      "step": 42330
    },
    {
      "epoch": 5.645333333333333,
      "grad_norm": 0.5940179228782654,
      "learning_rate": 9.059111111111112e-05,
      "loss": 0.0179,
      "step": 42340
    },
    {
      "epoch": 5.6466666666666665,
      "grad_norm": 0.2948263883590698,
      "learning_rate": 9.05888888888889e-05,
      "loss": 0.0195,
      "step": 42350
    },
    {
      "epoch": 5.648,
      "grad_norm": 0.539863109588623,
      "learning_rate": 9.058666666666667e-05,
      "loss": 0.0168,
      "step": 42360
    },
    {
      "epoch": 5.649333333333333,
      "grad_norm": 0.9023486971855164,
      "learning_rate": 9.058444444444445e-05,
      "loss": 0.0197,
      "step": 42370
    },
    {
      "epoch": 5.650666666666667,
      "grad_norm": 0.6902656555175781,
      "learning_rate": 9.058222222222223e-05,
      "loss": 0.026,
      "step": 42380
    },
    {
      "epoch": 5.652,
      "grad_norm": 0.4945460259914398,
      "learning_rate": 9.058e-05,
      "loss": 0.0276,
      "step": 42390
    },
    {
      "epoch": 5.653333333333333,
      "grad_norm": 0.26890337467193604,
      "learning_rate": 9.057777777777778e-05,
      "loss": 0.0225,
      "step": 42400
    },
    {
      "epoch": 5.6546666666666665,
      "grad_norm": 0.3236669600009918,
      "learning_rate": 9.057555555555556e-05,
      "loss": 0.0158,
      "step": 42410
    },
    {
      "epoch": 5.656,
      "grad_norm": 0.4842967391014099,
      "learning_rate": 9.057333333333334e-05,
      "loss": 0.0249,
      "step": 42420
    },
    {
      "epoch": 5.657333333333334,
      "grad_norm": 1.716805100440979,
      "learning_rate": 9.057111111111111e-05,
      "loss": 0.024,
      "step": 42430
    },
    {
      "epoch": 5.658666666666667,
      "grad_norm": 0.3523785471916199,
      "learning_rate": 9.056888888888889e-05,
      "loss": 0.0213,
      "step": 42440
    },
    {
      "epoch": 5.66,
      "grad_norm": 0.5168032050132751,
      "learning_rate": 9.056666666666667e-05,
      "loss": 0.0139,
      "step": 42450
    },
    {
      "epoch": 5.661333333333333,
      "grad_norm": 0.8460186719894409,
      "learning_rate": 9.056444444444445e-05,
      "loss": 0.0269,
      "step": 42460
    },
    {
      "epoch": 5.6626666666666665,
      "grad_norm": 0.6208353042602539,
      "learning_rate": 9.056222222222222e-05,
      "loss": 0.0177,
      "step": 42470
    },
    {
      "epoch": 5.664,
      "grad_norm": 0.31255364418029785,
      "learning_rate": 9.056e-05,
      "loss": 0.0212,
      "step": 42480
    },
    {
      "epoch": 5.665333333333333,
      "grad_norm": 0.6347591280937195,
      "learning_rate": 9.055777777777779e-05,
      "loss": 0.0236,
      "step": 42490
    },
    {
      "epoch": 5.666666666666667,
      "grad_norm": 1.0737000703811646,
      "learning_rate": 9.055555555555556e-05,
      "loss": 0.014,
      "step": 42500
    },
    {
      "epoch": 5.668,
      "grad_norm": 0.46356162428855896,
      "learning_rate": 9.055333333333333e-05,
      "loss": 0.0224,
      "step": 42510
    },
    {
      "epoch": 5.669333333333333,
      "grad_norm": 0.36757850646972656,
      "learning_rate": 9.055111111111112e-05,
      "loss": 0.0211,
      "step": 42520
    },
    {
      "epoch": 5.6706666666666665,
      "grad_norm": 0.5258263945579529,
      "learning_rate": 9.05488888888889e-05,
      "loss": 0.0264,
      "step": 42530
    },
    {
      "epoch": 5.672,
      "grad_norm": 0.6494516730308533,
      "learning_rate": 9.054666666666666e-05,
      "loss": 0.0221,
      "step": 42540
    },
    {
      "epoch": 5.673333333333334,
      "grad_norm": 0.207571342587471,
      "learning_rate": 9.054444444444446e-05,
      "loss": 0.0223,
      "step": 42550
    },
    {
      "epoch": 5.674666666666667,
      "grad_norm": 0.6098097562789917,
      "learning_rate": 9.054222222222223e-05,
      "loss": 0.0222,
      "step": 42560
    },
    {
      "epoch": 5.676,
      "grad_norm": 0.5109453797340393,
      "learning_rate": 9.054e-05,
      "loss": 0.0186,
      "step": 42570
    },
    {
      "epoch": 5.677333333333333,
      "grad_norm": 0.5096923112869263,
      "learning_rate": 9.053777777777777e-05,
      "loss": 0.0204,
      "step": 42580
    },
    {
      "epoch": 5.6786666666666665,
      "grad_norm": 0.23573005199432373,
      "learning_rate": 9.053555555555557e-05,
      "loss": 0.0131,
      "step": 42590
    },
    {
      "epoch": 5.68,
      "grad_norm": 0.5077475905418396,
      "learning_rate": 9.053333333333334e-05,
      "loss": 0.0192,
      "step": 42600
    },
    {
      "epoch": 5.681333333333333,
      "grad_norm": 0.7514485120773315,
      "learning_rate": 9.053111111111111e-05,
      "loss": 0.0213,
      "step": 42610
    },
    {
      "epoch": 5.682666666666667,
      "grad_norm": 0.651418924331665,
      "learning_rate": 9.05288888888889e-05,
      "loss": 0.0318,
      "step": 42620
    },
    {
      "epoch": 5.684,
      "grad_norm": 0.02185465581715107,
      "learning_rate": 9.052666666666668e-05,
      "loss": 0.0176,
      "step": 42630
    },
    {
      "epoch": 5.685333333333333,
      "grad_norm": 0.12816794216632843,
      "learning_rate": 9.052444444444444e-05,
      "loss": 0.0155,
      "step": 42640
    },
    {
      "epoch": 5.6866666666666665,
      "grad_norm": 0.3452448844909668,
      "learning_rate": 9.052222222222223e-05,
      "loss": 0.022,
      "step": 42650
    },
    {
      "epoch": 5.688,
      "grad_norm": 0.08800370246171951,
      "learning_rate": 9.052000000000001e-05,
      "loss": 0.0157,
      "step": 42660
    },
    {
      "epoch": 5.689333333333334,
      "grad_norm": 0.12080930173397064,
      "learning_rate": 9.051777777777778e-05,
      "loss": 0.0313,
      "step": 42670
    },
    {
      "epoch": 5.690666666666667,
      "grad_norm": 0.4735226333141327,
      "learning_rate": 9.051555555555556e-05,
      "loss": 0.0248,
      "step": 42680
    },
    {
      "epoch": 5.692,
      "grad_norm": 0.3585391938686371,
      "learning_rate": 9.051333333333334e-05,
      "loss": 0.0205,
      "step": 42690
    },
    {
      "epoch": 5.693333333333333,
      "grad_norm": 0.35710766911506653,
      "learning_rate": 9.051111111111112e-05,
      "loss": 0.0203,
      "step": 42700
    },
    {
      "epoch": 5.6946666666666665,
      "grad_norm": 0.23998089134693146,
      "learning_rate": 9.05088888888889e-05,
      "loss": 0.0227,
      "step": 42710
    },
    {
      "epoch": 5.696,
      "grad_norm": 0.28606706857681274,
      "learning_rate": 9.050666666666667e-05,
      "loss": 0.0187,
      "step": 42720
    },
    {
      "epoch": 5.697333333333333,
      "grad_norm": 1.524864912033081,
      "learning_rate": 9.050444444444445e-05,
      "loss": 0.0214,
      "step": 42730
    },
    {
      "epoch": 5.698666666666667,
      "grad_norm": 0.6536012887954712,
      "learning_rate": 9.050222222222223e-05,
      "loss": 0.0223,
      "step": 42740
    },
    {
      "epoch": 5.7,
      "grad_norm": 0.29050859808921814,
      "learning_rate": 9.05e-05,
      "loss": 0.027,
      "step": 42750
    },
    {
      "epoch": 5.701333333333333,
      "grad_norm": 0.4856341481208801,
      "learning_rate": 9.049777777777778e-05,
      "loss": 0.0269,
      "step": 42760
    },
    {
      "epoch": 5.7026666666666666,
      "grad_norm": 0.38641902804374695,
      "learning_rate": 9.049555555555556e-05,
      "loss": 0.0158,
      "step": 42770
    },
    {
      "epoch": 5.704,
      "grad_norm": 0.4804377853870392,
      "learning_rate": 9.049333333333334e-05,
      "loss": 0.0148,
      "step": 42780
    },
    {
      "epoch": 5.705333333333334,
      "grad_norm": 0.5346082448959351,
      "learning_rate": 9.049111111111111e-05,
      "loss": 0.0227,
      "step": 42790
    },
    {
      "epoch": 5.706666666666667,
      "grad_norm": 0.7834798097610474,
      "learning_rate": 9.048888888888889e-05,
      "loss": 0.0203,
      "step": 42800
    },
    {
      "epoch": 5.708,
      "grad_norm": 0.39440229535102844,
      "learning_rate": 9.048666666666667e-05,
      "loss": 0.0217,
      "step": 42810
    },
    {
      "epoch": 5.709333333333333,
      "grad_norm": 0.20719878375530243,
      "learning_rate": 9.048444444444445e-05,
      "loss": 0.0169,
      "step": 42820
    },
    {
      "epoch": 5.710666666666667,
      "grad_norm": 0.546840250492096,
      "learning_rate": 9.048222222222222e-05,
      "loss": 0.0168,
      "step": 42830
    },
    {
      "epoch": 5.712,
      "grad_norm": 0.29480236768722534,
      "learning_rate": 9.048000000000001e-05,
      "loss": 0.0201,
      "step": 42840
    },
    {
      "epoch": 5.713333333333333,
      "grad_norm": 0.9063478708267212,
      "learning_rate": 9.047777777777778e-05,
      "loss": 0.0271,
      "step": 42850
    },
    {
      "epoch": 5.714666666666667,
      "grad_norm": 0.13673532009124756,
      "learning_rate": 9.047555555555556e-05,
      "loss": 0.0201,
      "step": 42860
    },
    {
      "epoch": 5.716,
      "grad_norm": 0.5733464956283569,
      "learning_rate": 9.047333333333333e-05,
      "loss": 0.0277,
      "step": 42870
    },
    {
      "epoch": 5.717333333333333,
      "grad_norm": 0.20490701496601105,
      "learning_rate": 9.047111111111112e-05,
      "loss": 0.018,
      "step": 42880
    },
    {
      "epoch": 5.718666666666667,
      "grad_norm": 0.037853505462408066,
      "learning_rate": 9.046888888888889e-05,
      "loss": 0.0259,
      "step": 42890
    },
    {
      "epoch": 5.72,
      "grad_norm": 0.3409866392612457,
      "learning_rate": 9.046666666666667e-05,
      "loss": 0.0226,
      "step": 42900
    },
    {
      "epoch": 5.721333333333334,
      "grad_norm": 0.18595051765441895,
      "learning_rate": 9.046444444444446e-05,
      "loss": 0.0143,
      "step": 42910
    },
    {
      "epoch": 5.722666666666667,
      "grad_norm": 0.6733809113502502,
      "learning_rate": 9.046222222222222e-05,
      "loss": 0.0253,
      "step": 42920
    },
    {
      "epoch": 5.724,
      "grad_norm": 0.3760015368461609,
      "learning_rate": 9.046e-05,
      "loss": 0.0302,
      "step": 42930
    },
    {
      "epoch": 5.725333333333333,
      "grad_norm": 0.17003785073757172,
      "learning_rate": 9.045777777777779e-05,
      "loss": 0.0174,
      "step": 42940
    },
    {
      "epoch": 5.726666666666667,
      "grad_norm": 0.5229620337486267,
      "learning_rate": 9.045555555555557e-05,
      "loss": 0.0127,
      "step": 42950
    },
    {
      "epoch": 5.728,
      "grad_norm": 0.2669784724712372,
      "learning_rate": 9.045333333333333e-05,
      "loss": 0.0188,
      "step": 42960
    },
    {
      "epoch": 5.729333333333333,
      "grad_norm": 0.6083523631095886,
      "learning_rate": 9.045111111111112e-05,
      "loss": 0.0185,
      "step": 42970
    },
    {
      "epoch": 5.730666666666667,
      "grad_norm": 0.24295544624328613,
      "learning_rate": 9.04488888888889e-05,
      "loss": 0.0171,
      "step": 42980
    },
    {
      "epoch": 5.732,
      "grad_norm": 0.6271094679832458,
      "learning_rate": 9.044666666666666e-05,
      "loss": 0.022,
      "step": 42990
    },
    {
      "epoch": 5.733333333333333,
      "grad_norm": 0.2878479063510895,
      "learning_rate": 9.044444444444445e-05,
      "loss": 0.0218,
      "step": 43000
    },
    {
      "epoch": 5.734666666666667,
      "grad_norm": 0.4880468249320984,
      "learning_rate": 9.044222222222223e-05,
      "loss": 0.0387,
      "step": 43010
    },
    {
      "epoch": 5.736,
      "grad_norm": 0.40775761008262634,
      "learning_rate": 9.044000000000001e-05,
      "loss": 0.0304,
      "step": 43020
    },
    {
      "epoch": 5.737333333333333,
      "grad_norm": 0.1639370173215866,
      "learning_rate": 9.043777777777777e-05,
      "loss": 0.0211,
      "step": 43030
    },
    {
      "epoch": 5.738666666666667,
      "grad_norm": 0.3412635624408722,
      "learning_rate": 9.043555555555556e-05,
      "loss": 0.018,
      "step": 43040
    },
    {
      "epoch": 5.74,
      "grad_norm": 0.25263869762420654,
      "learning_rate": 9.043333333333334e-05,
      "loss": 0.0193,
      "step": 43050
    },
    {
      "epoch": 5.741333333333333,
      "grad_norm": 0.30699074268341064,
      "learning_rate": 9.04311111111111e-05,
      "loss": 0.0316,
      "step": 43060
    },
    {
      "epoch": 5.742666666666667,
      "grad_norm": 0.3927118182182312,
      "learning_rate": 9.04288888888889e-05,
      "loss": 0.024,
      "step": 43070
    },
    {
      "epoch": 5.744,
      "grad_norm": 0.3243909180164337,
      "learning_rate": 9.042666666666667e-05,
      "loss": 0.0336,
      "step": 43080
    },
    {
      "epoch": 5.745333333333333,
      "grad_norm": 0.25573286414146423,
      "learning_rate": 9.042444444444445e-05,
      "loss": 0.0184,
      "step": 43090
    },
    {
      "epoch": 5.746666666666667,
      "grad_norm": 1.5800029039382935,
      "learning_rate": 9.042222222222223e-05,
      "loss": 0.0242,
      "step": 43100
    },
    {
      "epoch": 5.748,
      "grad_norm": 0.5337061882019043,
      "learning_rate": 9.042e-05,
      "loss": 0.0272,
      "step": 43110
    },
    {
      "epoch": 5.749333333333333,
      "grad_norm": 0.7656872272491455,
      "learning_rate": 9.041777777777778e-05,
      "loss": 0.0147,
      "step": 43120
    },
    {
      "epoch": 5.750666666666667,
      "grad_norm": 0.16814759373664856,
      "learning_rate": 9.041555555555556e-05,
      "loss": 0.0176,
      "step": 43130
    },
    {
      "epoch": 5.752,
      "grad_norm": 0.3247787356376648,
      "learning_rate": 9.041333333333334e-05,
      "loss": 0.0208,
      "step": 43140
    },
    {
      "epoch": 5.753333333333333,
      "grad_norm": 0.04100166633725166,
      "learning_rate": 9.041111111111111e-05,
      "loss": 0.0215,
      "step": 43150
    },
    {
      "epoch": 5.754666666666667,
      "grad_norm": 1.202330231666565,
      "learning_rate": 9.040888888888889e-05,
      "loss": 0.019,
      "step": 43160
    },
    {
      "epoch": 5.756,
      "grad_norm": 0.18074877560138702,
      "learning_rate": 9.040666666666667e-05,
      "loss": 0.0207,
      "step": 43170
    },
    {
      "epoch": 5.757333333333333,
      "grad_norm": 0.4086371660232544,
      "learning_rate": 9.040444444444445e-05,
      "loss": 0.0201,
      "step": 43180
    },
    {
      "epoch": 5.758666666666667,
      "grad_norm": 0.7704354524612427,
      "learning_rate": 9.040222222222222e-05,
      "loss": 0.0324,
      "step": 43190
    },
    {
      "epoch": 5.76,
      "grad_norm": 0.04348619654774666,
      "learning_rate": 9.04e-05,
      "loss": 0.0208,
      "step": 43200
    },
    {
      "epoch": 5.761333333333333,
      "grad_norm": 0.6508248448371887,
      "learning_rate": 9.039777777777778e-05,
      "loss": 0.0178,
      "step": 43210
    },
    {
      "epoch": 5.762666666666667,
      "grad_norm": 0.5946423411369324,
      "learning_rate": 9.039555555555556e-05,
      "loss": 0.0278,
      "step": 43220
    },
    {
      "epoch": 5.764,
      "grad_norm": 0.165005624294281,
      "learning_rate": 9.039333333333335e-05,
      "loss": 0.024,
      "step": 43230
    },
    {
      "epoch": 5.765333333333333,
      "grad_norm": 0.38309770822525024,
      "learning_rate": 9.039111111111111e-05,
      "loss": 0.0196,
      "step": 43240
    },
    {
      "epoch": 5.766666666666667,
      "grad_norm": 0.11043136566877365,
      "learning_rate": 9.038888888888889e-05,
      "loss": 0.0201,
      "step": 43250
    },
    {
      "epoch": 5.768,
      "grad_norm": 0.5769253373146057,
      "learning_rate": 9.038666666666668e-05,
      "loss": 0.0179,
      "step": 43260
    },
    {
      "epoch": 5.769333333333333,
      "grad_norm": 0.23681606352329254,
      "learning_rate": 9.038444444444444e-05,
      "loss": 0.0415,
      "step": 43270
    },
    {
      "epoch": 5.770666666666667,
      "grad_norm": 0.42615094780921936,
      "learning_rate": 9.038222222222222e-05,
      "loss": 0.0234,
      "step": 43280
    },
    {
      "epoch": 5.772,
      "grad_norm": 0.10600481927394867,
      "learning_rate": 9.038000000000001e-05,
      "loss": 0.0172,
      "step": 43290
    },
    {
      "epoch": 5.773333333333333,
      "grad_norm": 0.7784160375595093,
      "learning_rate": 9.037777777777779e-05,
      "loss": 0.0204,
      "step": 43300
    },
    {
      "epoch": 5.774666666666667,
      "grad_norm": 0.22174055874347687,
      "learning_rate": 9.037555555555555e-05,
      "loss": 0.0228,
      "step": 43310
    },
    {
      "epoch": 5.776,
      "grad_norm": 0.7336747646331787,
      "learning_rate": 9.037333333333334e-05,
      "loss": 0.014,
      "step": 43320
    },
    {
      "epoch": 5.777333333333333,
      "grad_norm": 0.3161976933479309,
      "learning_rate": 9.037111111111112e-05,
      "loss": 0.0148,
      "step": 43330
    },
    {
      "epoch": 5.778666666666666,
      "grad_norm": 0.5828337669372559,
      "learning_rate": 9.036888888888889e-05,
      "loss": 0.0227,
      "step": 43340
    },
    {
      "epoch": 5.78,
      "grad_norm": 0.13350825011730194,
      "learning_rate": 9.036666666666666e-05,
      "loss": 0.0209,
      "step": 43350
    },
    {
      "epoch": 5.781333333333333,
      "grad_norm": 0.4874591827392578,
      "learning_rate": 9.036444444444445e-05,
      "loss": 0.0164,
      "step": 43360
    },
    {
      "epoch": 5.782666666666667,
      "grad_norm": 0.27488237619400024,
      "learning_rate": 9.036222222222223e-05,
      "loss": 0.0211,
      "step": 43370
    },
    {
      "epoch": 5.784,
      "grad_norm": 1.621557354927063,
      "learning_rate": 9.036e-05,
      "loss": 0.0163,
      "step": 43380
    },
    {
      "epoch": 5.785333333333333,
      "grad_norm": 0.3175952434539795,
      "learning_rate": 9.035777777777779e-05,
      "loss": 0.0246,
      "step": 43390
    },
    {
      "epoch": 5.786666666666667,
      "grad_norm": 0.3996693193912506,
      "learning_rate": 9.035555555555556e-05,
      "loss": 0.0296,
      "step": 43400
    },
    {
      "epoch": 5.788,
      "grad_norm": 0.1780129075050354,
      "learning_rate": 9.035333333333333e-05,
      "loss": 0.0245,
      "step": 43410
    },
    {
      "epoch": 5.789333333333333,
      "grad_norm": 0.4790199100971222,
      "learning_rate": 9.035111111111112e-05,
      "loss": 0.0315,
      "step": 43420
    },
    {
      "epoch": 5.790666666666667,
      "grad_norm": 0.33045801520347595,
      "learning_rate": 9.03488888888889e-05,
      "loss": 0.0265,
      "step": 43430
    },
    {
      "epoch": 5.792,
      "grad_norm": 0.15038739144802094,
      "learning_rate": 9.034666666666667e-05,
      "loss": 0.0172,
      "step": 43440
    },
    {
      "epoch": 5.793333333333333,
      "grad_norm": 0.7001041769981384,
      "learning_rate": 9.034444444444445e-05,
      "loss": 0.0259,
      "step": 43450
    },
    {
      "epoch": 5.794666666666666,
      "grad_norm": 0.3923592269420624,
      "learning_rate": 9.034222222222223e-05,
      "loss": 0.0287,
      "step": 43460
    },
    {
      "epoch": 5.796,
      "grad_norm": 1.7084364891052246,
      "learning_rate": 9.034e-05,
      "loss": 0.0179,
      "step": 43470
    },
    {
      "epoch": 5.7973333333333334,
      "grad_norm": 0.2111099511384964,
      "learning_rate": 9.033777777777778e-05,
      "loss": 0.0189,
      "step": 43480
    },
    {
      "epoch": 5.798666666666667,
      "grad_norm": 0.8933264017105103,
      "learning_rate": 9.033555555555556e-05,
      "loss": 0.0262,
      "step": 43490
    },
    {
      "epoch": 5.8,
      "grad_norm": 0.2806522846221924,
      "learning_rate": 9.033333333333334e-05,
      "loss": 0.0153,
      "step": 43500
    },
    {
      "epoch": 5.801333333333333,
      "grad_norm": 0.28704017400741577,
      "learning_rate": 9.033111111111112e-05,
      "loss": 0.0145,
      "step": 43510
    },
    {
      "epoch": 5.802666666666667,
      "grad_norm": 0.38831785321235657,
      "learning_rate": 9.032888888888889e-05,
      "loss": 0.0216,
      "step": 43520
    },
    {
      "epoch": 5.804,
      "grad_norm": 0.8295762538909912,
      "learning_rate": 9.032666666666667e-05,
      "loss": 0.0202,
      "step": 43530
    },
    {
      "epoch": 5.8053333333333335,
      "grad_norm": 0.531520426273346,
      "learning_rate": 9.032444444444445e-05,
      "loss": 0.0214,
      "step": 43540
    },
    {
      "epoch": 5.806666666666667,
      "grad_norm": 0.7800054550170898,
      "learning_rate": 9.032222222222223e-05,
      "loss": 0.0292,
      "step": 43550
    },
    {
      "epoch": 5.808,
      "grad_norm": 0.5000720620155334,
      "learning_rate": 9.032e-05,
      "loss": 0.0187,
      "step": 43560
    },
    {
      "epoch": 5.809333333333333,
      "grad_norm": 1.5208102464675903,
      "learning_rate": 9.031777777777778e-05,
      "loss": 0.0299,
      "step": 43570
    },
    {
      "epoch": 5.810666666666666,
      "grad_norm": 0.4287934899330139,
      "learning_rate": 9.031555555555557e-05,
      "loss": 0.0234,
      "step": 43580
    },
    {
      "epoch": 5.812,
      "grad_norm": 1.092660665512085,
      "learning_rate": 9.031333333333333e-05,
      "loss": 0.0294,
      "step": 43590
    },
    {
      "epoch": 5.8133333333333335,
      "grad_norm": 0.8009061217308044,
      "learning_rate": 9.031111111111111e-05,
      "loss": 0.0217,
      "step": 43600
    },
    {
      "epoch": 5.814666666666667,
      "grad_norm": 0.35735541582107544,
      "learning_rate": 9.03088888888889e-05,
      "loss": 0.0162,
      "step": 43610
    },
    {
      "epoch": 5.816,
      "grad_norm": 0.12066785991191864,
      "learning_rate": 9.030666666666667e-05,
      "loss": 0.0253,
      "step": 43620
    },
    {
      "epoch": 5.817333333333333,
      "grad_norm": 0.03439844399690628,
      "learning_rate": 9.030444444444444e-05,
      "loss": 0.0166,
      "step": 43630
    },
    {
      "epoch": 5.818666666666667,
      "grad_norm": 0.2798435091972351,
      "learning_rate": 9.030222222222222e-05,
      "loss": 0.0205,
      "step": 43640
    },
    {
      "epoch": 5.82,
      "grad_norm": 0.4196074306964874,
      "learning_rate": 9.030000000000001e-05,
      "loss": 0.0205,
      "step": 43650
    },
    {
      "epoch": 5.8213333333333335,
      "grad_norm": 0.4666471481323242,
      "learning_rate": 9.029777777777778e-05,
      "loss": 0.0275,
      "step": 43660
    },
    {
      "epoch": 5.822666666666667,
      "grad_norm": 0.13386757671833038,
      "learning_rate": 9.029555555555555e-05,
      "loss": 0.0257,
      "step": 43670
    },
    {
      "epoch": 5.824,
      "grad_norm": 1.4648464918136597,
      "learning_rate": 9.029333333333335e-05,
      "loss": 0.0226,
      "step": 43680
    },
    {
      "epoch": 5.825333333333333,
      "grad_norm": 0.6032238602638245,
      "learning_rate": 9.029111111111111e-05,
      "loss": 0.0205,
      "step": 43690
    },
    {
      "epoch": 5.826666666666666,
      "grad_norm": 0.4278642237186432,
      "learning_rate": 9.028888888888889e-05,
      "loss": 0.0236,
      "step": 43700
    },
    {
      "epoch": 5.828,
      "grad_norm": 0.6497668027877808,
      "learning_rate": 9.028666666666668e-05,
      "loss": 0.0275,
      "step": 43710
    },
    {
      "epoch": 5.8293333333333335,
      "grad_norm": 0.0823044404387474,
      "learning_rate": 9.028444444444445e-05,
      "loss": 0.0178,
      "step": 43720
    },
    {
      "epoch": 5.830666666666667,
      "grad_norm": 0.2204710841178894,
      "learning_rate": 9.028222222222222e-05,
      "loss": 0.0176,
      "step": 43730
    },
    {
      "epoch": 5.832,
      "grad_norm": 0.15252557396888733,
      "learning_rate": 9.028000000000001e-05,
      "loss": 0.0165,
      "step": 43740
    },
    {
      "epoch": 5.833333333333333,
      "grad_norm": 0.745213508605957,
      "learning_rate": 9.027777777777779e-05,
      "loss": 0.0237,
      "step": 43750
    },
    {
      "epoch": 5.834666666666667,
      "grad_norm": 0.2946539521217346,
      "learning_rate": 9.027555555555555e-05,
      "loss": 0.0214,
      "step": 43760
    },
    {
      "epoch": 5.836,
      "grad_norm": 0.0813138484954834,
      "learning_rate": 9.027333333333334e-05,
      "loss": 0.0174,
      "step": 43770
    },
    {
      "epoch": 5.8373333333333335,
      "grad_norm": 0.2809036374092102,
      "learning_rate": 9.027111111111112e-05,
      "loss": 0.0167,
      "step": 43780
    },
    {
      "epoch": 5.838666666666667,
      "grad_norm": 0.6087181568145752,
      "learning_rate": 9.02688888888889e-05,
      "loss": 0.0165,
      "step": 43790
    },
    {
      "epoch": 5.84,
      "grad_norm": 0.0946311354637146,
      "learning_rate": 9.026666666666666e-05,
      "loss": 0.0232,
      "step": 43800
    },
    {
      "epoch": 5.841333333333333,
      "grad_norm": 0.3503415286540985,
      "learning_rate": 9.026444444444445e-05,
      "loss": 0.0188,
      "step": 43810
    },
    {
      "epoch": 5.842666666666666,
      "grad_norm": 0.5241478085517883,
      "learning_rate": 9.026222222222223e-05,
      "loss": 0.028,
      "step": 43820
    },
    {
      "epoch": 5.844,
      "grad_norm": 0.88458251953125,
      "learning_rate": 9.026e-05,
      "loss": 0.0208,
      "step": 43830
    },
    {
      "epoch": 5.8453333333333335,
      "grad_norm": 0.23191428184509277,
      "learning_rate": 9.025777777777778e-05,
      "loss": 0.0198,
      "step": 43840
    },
    {
      "epoch": 5.846666666666667,
      "grad_norm": 0.5645120143890381,
      "learning_rate": 9.025555555555556e-05,
      "loss": 0.023,
      "step": 43850
    },
    {
      "epoch": 5.848,
      "grad_norm": 0.6046695709228516,
      "learning_rate": 9.025333333333334e-05,
      "loss": 0.0214,
      "step": 43860
    },
    {
      "epoch": 5.849333333333333,
      "grad_norm": 0.7321879267692566,
      "learning_rate": 9.025111111111112e-05,
      "loss": 0.0187,
      "step": 43870
    },
    {
      "epoch": 5.850666666666667,
      "grad_norm": 0.23292894661426544,
      "learning_rate": 9.02488888888889e-05,
      "loss": 0.0113,
      "step": 43880
    },
    {
      "epoch": 5.852,
      "grad_norm": 0.42310672998428345,
      "learning_rate": 9.024666666666667e-05,
      "loss": 0.0258,
      "step": 43890
    },
    {
      "epoch": 5.8533333333333335,
      "grad_norm": 0.6062618494033813,
      "learning_rate": 9.024444444444445e-05,
      "loss": 0.022,
      "step": 43900
    },
    {
      "epoch": 5.854666666666667,
      "grad_norm": 0.9454143047332764,
      "learning_rate": 9.024222222222223e-05,
      "loss": 0.0201,
      "step": 43910
    },
    {
      "epoch": 5.856,
      "grad_norm": 1.7131682634353638,
      "learning_rate": 9.024e-05,
      "loss": 0.0373,
      "step": 43920
    },
    {
      "epoch": 5.857333333333333,
      "grad_norm": 0.1660350114107132,
      "learning_rate": 9.023777777777778e-05,
      "loss": 0.0149,
      "step": 43930
    },
    {
      "epoch": 5.858666666666666,
      "grad_norm": 0.6264792680740356,
      "learning_rate": 9.023555555555556e-05,
      "loss": 0.0253,
      "step": 43940
    },
    {
      "epoch": 5.86,
      "grad_norm": 1.0291541814804077,
      "learning_rate": 9.023333333333334e-05,
      "loss": 0.0192,
      "step": 43950
    },
    {
      "epoch": 5.8613333333333335,
      "grad_norm": 0.6615852117538452,
      "learning_rate": 9.023111111111111e-05,
      "loss": 0.0227,
      "step": 43960
    },
    {
      "epoch": 5.862666666666667,
      "grad_norm": 0.39144569635391235,
      "learning_rate": 9.022888888888889e-05,
      "loss": 0.0205,
      "step": 43970
    },
    {
      "epoch": 5.864,
      "grad_norm": 0.18209177255630493,
      "learning_rate": 9.022666666666667e-05,
      "loss": 0.0216,
      "step": 43980
    },
    {
      "epoch": 5.865333333333333,
      "grad_norm": 0.3530001938343048,
      "learning_rate": 9.022444444444445e-05,
      "loss": 0.0329,
      "step": 43990
    },
    {
      "epoch": 5.866666666666667,
      "grad_norm": 0.27505984902381897,
      "learning_rate": 9.022222222222224e-05,
      "loss": 0.0229,
      "step": 44000
    },
    {
      "epoch": 5.868,
      "grad_norm": 0.7702562212944031,
      "learning_rate": 9.022e-05,
      "loss": 0.0297,
      "step": 44010
    },
    {
      "epoch": 5.8693333333333335,
      "grad_norm": 0.3355706036090851,
      "learning_rate": 9.021777777777778e-05,
      "loss": 0.0288,
      "step": 44020
    },
    {
      "epoch": 5.870666666666667,
      "grad_norm": 1.3834202289581299,
      "learning_rate": 9.021555555555557e-05,
      "loss": 0.025,
      "step": 44030
    },
    {
      "epoch": 5.872,
      "grad_norm": 0.3294946551322937,
      "learning_rate": 9.021333333333333e-05,
      "loss": 0.0262,
      "step": 44040
    },
    {
      "epoch": 5.873333333333333,
      "grad_norm": 0.5556522607803345,
      "learning_rate": 9.021111111111111e-05,
      "loss": 0.0187,
      "step": 44050
    },
    {
      "epoch": 5.874666666666666,
      "grad_norm": 0.10368036478757858,
      "learning_rate": 9.02088888888889e-05,
      "loss": 0.0251,
      "step": 44060
    },
    {
      "epoch": 5.876,
      "grad_norm": 0.17954961955547333,
      "learning_rate": 9.020666666666668e-05,
      "loss": 0.0222,
      "step": 44070
    },
    {
      "epoch": 5.8773333333333335,
      "grad_norm": 0.4075716733932495,
      "learning_rate": 9.020444444444444e-05,
      "loss": 0.0202,
      "step": 44080
    },
    {
      "epoch": 5.878666666666667,
      "grad_norm": 0.31827181577682495,
      "learning_rate": 9.020222222222222e-05,
      "loss": 0.0229,
      "step": 44090
    },
    {
      "epoch": 5.88,
      "grad_norm": 0.5131398439407349,
      "learning_rate": 9.020000000000001e-05,
      "loss": 0.0259,
      "step": 44100
    },
    {
      "epoch": 5.881333333333333,
      "grad_norm": 0.5581530332565308,
      "learning_rate": 9.019777777777777e-05,
      "loss": 0.0247,
      "step": 44110
    },
    {
      "epoch": 5.882666666666667,
      "grad_norm": 0.25568103790283203,
      "learning_rate": 9.019555555555555e-05,
      "loss": 0.0097,
      "step": 44120
    },
    {
      "epoch": 5.884,
      "grad_norm": 0.4696265161037445,
      "learning_rate": 9.019333333333334e-05,
      "loss": 0.0196,
      "step": 44130
    },
    {
      "epoch": 5.8853333333333335,
      "grad_norm": 0.3626498281955719,
      "learning_rate": 9.019111111111112e-05,
      "loss": 0.0158,
      "step": 44140
    },
    {
      "epoch": 5.886666666666667,
      "grad_norm": 0.5040110945701599,
      "learning_rate": 9.018888888888888e-05,
      "loss": 0.021,
      "step": 44150
    },
    {
      "epoch": 5.888,
      "grad_norm": 0.9576462507247925,
      "learning_rate": 9.018666666666668e-05,
      "loss": 0.023,
      "step": 44160
    },
    {
      "epoch": 5.889333333333333,
      "grad_norm": 1.208943247795105,
      "learning_rate": 9.018444444444445e-05,
      "loss": 0.018,
      "step": 44170
    },
    {
      "epoch": 5.890666666666666,
      "grad_norm": 0.48531097173690796,
      "learning_rate": 9.018222222222223e-05,
      "loss": 0.0203,
      "step": 44180
    },
    {
      "epoch": 5.892,
      "grad_norm": 0.44147470593452454,
      "learning_rate": 9.018000000000001e-05,
      "loss": 0.0182,
      "step": 44190
    },
    {
      "epoch": 5.8933333333333335,
      "grad_norm": 0.21855878829956055,
      "learning_rate": 9.017777777777778e-05,
      "loss": 0.0214,
      "step": 44200
    },
    {
      "epoch": 5.894666666666667,
      "grad_norm": 0.5255107879638672,
      "learning_rate": 9.017555555555556e-05,
      "loss": 0.0262,
      "step": 44210
    },
    {
      "epoch": 5.896,
      "grad_norm": 0.18497243523597717,
      "learning_rate": 9.017333333333334e-05,
      "loss": 0.0217,
      "step": 44220
    },
    {
      "epoch": 5.897333333333333,
      "grad_norm": 0.7727516889572144,
      "learning_rate": 9.017111111111112e-05,
      "loss": 0.0312,
      "step": 44230
    },
    {
      "epoch": 5.898666666666666,
      "grad_norm": 0.32282528281211853,
      "learning_rate": 9.01688888888889e-05,
      "loss": 0.0215,
      "step": 44240
    },
    {
      "epoch": 5.9,
      "grad_norm": 0.1890699714422226,
      "learning_rate": 9.016666666666667e-05,
      "loss": 0.0226,
      "step": 44250
    },
    {
      "epoch": 5.9013333333333335,
      "grad_norm": 1.0097036361694336,
      "learning_rate": 9.016444444444445e-05,
      "loss": 0.0433,
      "step": 44260
    },
    {
      "epoch": 5.902666666666667,
      "grad_norm": 1.026335597038269,
      "learning_rate": 9.016222222222223e-05,
      "loss": 0.0287,
      "step": 44270
    },
    {
      "epoch": 5.904,
      "grad_norm": 0.5283405780792236,
      "learning_rate": 9.016e-05,
      "loss": 0.0208,
      "step": 44280
    },
    {
      "epoch": 5.905333333333333,
      "grad_norm": 0.39620912075042725,
      "learning_rate": 9.015777777777778e-05,
      "loss": 0.0187,
      "step": 44290
    },
    {
      "epoch": 5.906666666666666,
      "grad_norm": 0.5230473279953003,
      "learning_rate": 9.015555555555556e-05,
      "loss": 0.0204,
      "step": 44300
    },
    {
      "epoch": 5.908,
      "grad_norm": 0.2784194350242615,
      "learning_rate": 9.015333333333334e-05,
      "loss": 0.0246,
      "step": 44310
    },
    {
      "epoch": 5.9093333333333335,
      "grad_norm": 0.3750840425491333,
      "learning_rate": 9.015111111111111e-05,
      "loss": 0.0294,
      "step": 44320
    },
    {
      "epoch": 5.910666666666667,
      "grad_norm": 0.09534050524234772,
      "learning_rate": 9.014888888888889e-05,
      "loss": 0.0232,
      "step": 44330
    },
    {
      "epoch": 5.912,
      "grad_norm": 0.35416287183761597,
      "learning_rate": 9.014666666666667e-05,
      "loss": 0.0238,
      "step": 44340
    },
    {
      "epoch": 5.913333333333333,
      "grad_norm": 0.32350626587867737,
      "learning_rate": 9.014444444444446e-05,
      "loss": 0.0217,
      "step": 44350
    },
    {
      "epoch": 5.914666666666666,
      "grad_norm": 0.14624089002609253,
      "learning_rate": 9.014222222222222e-05,
      "loss": 0.02,
      "step": 44360
    },
    {
      "epoch": 5.916,
      "grad_norm": 0.4166131317615509,
      "learning_rate": 9.014e-05,
      "loss": 0.0157,
      "step": 44370
    },
    {
      "epoch": 5.917333333333334,
      "grad_norm": 0.30088865756988525,
      "learning_rate": 9.013777777777779e-05,
      "loss": 0.0253,
      "step": 44380
    },
    {
      "epoch": 5.918666666666667,
      "grad_norm": 0.24561791121959686,
      "learning_rate": 9.013555555555556e-05,
      "loss": 0.0183,
      "step": 44390
    },
    {
      "epoch": 5.92,
      "grad_norm": 0.30988577008247375,
      "learning_rate": 9.013333333333333e-05,
      "loss": 0.0356,
      "step": 44400
    },
    {
      "epoch": 5.921333333333333,
      "grad_norm": 0.19647672772407532,
      "learning_rate": 9.013111111111111e-05,
      "loss": 0.0179,
      "step": 44410
    },
    {
      "epoch": 5.922666666666666,
      "grad_norm": 0.39644429087638855,
      "learning_rate": 9.01288888888889e-05,
      "loss": 0.0197,
      "step": 44420
    },
    {
      "epoch": 5.924,
      "grad_norm": 0.44280096888542175,
      "learning_rate": 9.012666666666667e-05,
      "loss": 0.0235,
      "step": 44430
    },
    {
      "epoch": 5.925333333333334,
      "grad_norm": 0.25150150060653687,
      "learning_rate": 9.012444444444444e-05,
      "loss": 0.0221,
      "step": 44440
    },
    {
      "epoch": 5.926666666666667,
      "grad_norm": 0.254129022359848,
      "learning_rate": 9.012222222222223e-05,
      "loss": 0.0214,
      "step": 44450
    },
    {
      "epoch": 5.928,
      "grad_norm": 0.3859580159187317,
      "learning_rate": 9.012e-05,
      "loss": 0.0178,
      "step": 44460
    },
    {
      "epoch": 5.929333333333333,
      "grad_norm": 0.6693804860115051,
      "learning_rate": 9.011777777777778e-05,
      "loss": 0.0193,
      "step": 44470
    },
    {
      "epoch": 5.930666666666666,
      "grad_norm": 0.847554087638855,
      "learning_rate": 9.011555555555557e-05,
      "loss": 0.032,
      "step": 44480
    },
    {
      "epoch": 5.932,
      "grad_norm": 0.7543964982032776,
      "learning_rate": 9.011333333333334e-05,
      "loss": 0.0224,
      "step": 44490
    },
    {
      "epoch": 5.933333333333334,
      "grad_norm": 0.17481842637062073,
      "learning_rate": 9.011111111111111e-05,
      "loss": 0.0188,
      "step": 44500
    },
    {
      "epoch": 5.934666666666667,
      "grad_norm": 0.7848995923995972,
      "learning_rate": 9.01088888888889e-05,
      "loss": 0.0209,
      "step": 44510
    },
    {
      "epoch": 5.936,
      "grad_norm": 0.32123735547065735,
      "learning_rate": 9.010666666666668e-05,
      "loss": 0.0224,
      "step": 44520
    },
    {
      "epoch": 5.937333333333333,
      "grad_norm": 0.2467542439699173,
      "learning_rate": 9.010444444444445e-05,
      "loss": 0.0186,
      "step": 44530
    },
    {
      "epoch": 5.938666666666666,
      "grad_norm": 0.5278247594833374,
      "learning_rate": 9.010222222222222e-05,
      "loss": 0.0279,
      "step": 44540
    },
    {
      "epoch": 5.9399999999999995,
      "grad_norm": 0.0471949502825737,
      "learning_rate": 9.010000000000001e-05,
      "loss": 0.0187,
      "step": 44550
    },
    {
      "epoch": 5.941333333333334,
      "grad_norm": 0.45957115292549133,
      "learning_rate": 9.009777777777779e-05,
      "loss": 0.0276,
      "step": 44560
    },
    {
      "epoch": 5.942666666666667,
      "grad_norm": 0.1831716150045395,
      "learning_rate": 9.009555555555555e-05,
      "loss": 0.0182,
      "step": 44570
    },
    {
      "epoch": 5.944,
      "grad_norm": 0.6403953433036804,
      "learning_rate": 9.009333333333334e-05,
      "loss": 0.0278,
      "step": 44580
    },
    {
      "epoch": 5.945333333333333,
      "grad_norm": 0.06438825279474258,
      "learning_rate": 9.009111111111112e-05,
      "loss": 0.0155,
      "step": 44590
    },
    {
      "epoch": 5.946666666666666,
      "grad_norm": 0.4126415252685547,
      "learning_rate": 9.00888888888889e-05,
      "loss": 0.0188,
      "step": 44600
    },
    {
      "epoch": 5.948,
      "grad_norm": 0.7951545715332031,
      "learning_rate": 9.008666666666667e-05,
      "loss": 0.0281,
      "step": 44610
    },
    {
      "epoch": 5.949333333333334,
      "grad_norm": 0.49747976660728455,
      "learning_rate": 9.008444444444445e-05,
      "loss": 0.0226,
      "step": 44620
    },
    {
      "epoch": 5.950666666666667,
      "grad_norm": 0.17554129660129547,
      "learning_rate": 9.008222222222223e-05,
      "loss": 0.0223,
      "step": 44630
    },
    {
      "epoch": 5.952,
      "grad_norm": 0.5054419636726379,
      "learning_rate": 9.008e-05,
      "loss": 0.03,
      "step": 44640
    },
    {
      "epoch": 5.953333333333333,
      "grad_norm": 0.15946485102176666,
      "learning_rate": 9.007777777777778e-05,
      "loss": 0.0208,
      "step": 44650
    },
    {
      "epoch": 5.954666666666666,
      "grad_norm": 0.710992693901062,
      "learning_rate": 9.007555555555556e-05,
      "loss": 0.0235,
      "step": 44660
    },
    {
      "epoch": 5.9559999999999995,
      "grad_norm": 0.2201092541217804,
      "learning_rate": 9.007333333333334e-05,
      "loss": 0.0177,
      "step": 44670
    },
    {
      "epoch": 5.957333333333334,
      "grad_norm": 0.060233961790800095,
      "learning_rate": 9.007111111111111e-05,
      "loss": 0.0273,
      "step": 44680
    },
    {
      "epoch": 5.958666666666667,
      "grad_norm": 0.2226489931344986,
      "learning_rate": 9.006888888888889e-05,
      "loss": 0.0121,
      "step": 44690
    },
    {
      "epoch": 5.96,
      "grad_norm": 0.3918692469596863,
      "learning_rate": 9.006666666666667e-05,
      "loss": 0.022,
      "step": 44700
    },
    {
      "epoch": 5.961333333333333,
      "grad_norm": 0.579072892665863,
      "learning_rate": 9.006444444444445e-05,
      "loss": 0.0343,
      "step": 44710
    },
    {
      "epoch": 5.962666666666666,
      "grad_norm": 0.27694952487945557,
      "learning_rate": 9.006222222222222e-05,
      "loss": 0.0233,
      "step": 44720
    },
    {
      "epoch": 5.964,
      "grad_norm": 0.4812298119068146,
      "learning_rate": 9.006e-05,
      "loss": 0.0228,
      "step": 44730
    },
    {
      "epoch": 5.965333333333334,
      "grad_norm": 0.06361517310142517,
      "learning_rate": 9.005777777777778e-05,
      "loss": 0.0227,
      "step": 44740
    },
    {
      "epoch": 5.966666666666667,
      "grad_norm": 0.40158703923225403,
      "learning_rate": 9.005555555555556e-05,
      "loss": 0.0131,
      "step": 44750
    },
    {
      "epoch": 5.968,
      "grad_norm": 0.5123381018638611,
      "learning_rate": 9.005333333333333e-05,
      "loss": 0.021,
      "step": 44760
    },
    {
      "epoch": 5.969333333333333,
      "grad_norm": 0.8354130387306213,
      "learning_rate": 9.005111111111112e-05,
      "loss": 0.019,
      "step": 44770
    },
    {
      "epoch": 5.970666666666666,
      "grad_norm": 0.5088227391242981,
      "learning_rate": 9.004888888888889e-05,
      "loss": 0.0215,
      "step": 44780
    },
    {
      "epoch": 5.9719999999999995,
      "grad_norm": 0.5082100629806519,
      "learning_rate": 9.004666666666667e-05,
      "loss": 0.0185,
      "step": 44790
    },
    {
      "epoch": 5.973333333333334,
      "grad_norm": 0.6470159888267517,
      "learning_rate": 9.004444444444446e-05,
      "loss": 0.0296,
      "step": 44800
    },
    {
      "epoch": 5.974666666666667,
      "grad_norm": 0.32944256067276,
      "learning_rate": 9.004222222222222e-05,
      "loss": 0.0232,
      "step": 44810
    },
    {
      "epoch": 5.976,
      "grad_norm": 0.45136523246765137,
      "learning_rate": 9.004e-05,
      "loss": 0.0225,
      "step": 44820
    },
    {
      "epoch": 5.977333333333333,
      "grad_norm": 0.5139721035957336,
      "learning_rate": 9.003777777777779e-05,
      "loss": 0.0245,
      "step": 44830
    },
    {
      "epoch": 5.978666666666666,
      "grad_norm": 0.10477074235677719,
      "learning_rate": 9.003555555555557e-05,
      "loss": 0.0265,
      "step": 44840
    },
    {
      "epoch": 5.98,
      "grad_norm": 0.6715518832206726,
      "learning_rate": 9.003333333333333e-05,
      "loss": 0.0227,
      "step": 44850
    },
    {
      "epoch": 5.981333333333334,
      "grad_norm": 0.5287097692489624,
      "learning_rate": 9.003111111111111e-05,
      "loss": 0.0232,
      "step": 44860
    },
    {
      "epoch": 5.982666666666667,
      "grad_norm": 0.32331839203834534,
      "learning_rate": 9.00288888888889e-05,
      "loss": 0.0232,
      "step": 44870
    },
    {
      "epoch": 5.984,
      "grad_norm": 0.41207000613212585,
      "learning_rate": 9.002666666666668e-05,
      "loss": 0.0259,
      "step": 44880
    },
    {
      "epoch": 5.985333333333333,
      "grad_norm": 0.14130297303199768,
      "learning_rate": 9.002444444444444e-05,
      "loss": 0.0211,
      "step": 44890
    },
    {
      "epoch": 5.986666666666666,
      "grad_norm": 0.41327887773513794,
      "learning_rate": 9.002222222222223e-05,
      "loss": 0.0228,
      "step": 44900
    },
    {
      "epoch": 5.9879999999999995,
      "grad_norm": 0.9574182033538818,
      "learning_rate": 9.002000000000001e-05,
      "loss": 0.0304,
      "step": 44910
    },
    {
      "epoch": 5.989333333333334,
      "grad_norm": 0.2244502305984497,
      "learning_rate": 9.001777777777777e-05,
      "loss": 0.0236,
      "step": 44920
    },
    {
      "epoch": 5.990666666666667,
      "grad_norm": 0.3026914894580841,
      "learning_rate": 9.001555555555556e-05,
      "loss": 0.027,
      "step": 44930
    },
    {
      "epoch": 5.992,
      "grad_norm": 0.35256126523017883,
      "learning_rate": 9.001333333333334e-05,
      "loss": 0.0252,
      "step": 44940
    },
    {
      "epoch": 5.993333333333333,
      "grad_norm": 0.2532719671726227,
      "learning_rate": 9.001111111111112e-05,
      "loss": 0.0216,
      "step": 44950
    },
    {
      "epoch": 5.994666666666666,
      "grad_norm": 0.3092448115348816,
      "learning_rate": 9.00088888888889e-05,
      "loss": 0.0245,
      "step": 44960
    },
    {
      "epoch": 5.996,
      "grad_norm": 0.528302788734436,
      "learning_rate": 9.000666666666667e-05,
      "loss": 0.0223,
      "step": 44970
    },
    {
      "epoch": 5.997333333333334,
      "grad_norm": 0.3393191397190094,
      "learning_rate": 9.000444444444445e-05,
      "loss": 0.0199,
      "step": 44980
    },
    {
      "epoch": 5.998666666666667,
      "grad_norm": 0.3235463798046112,
      "learning_rate": 9.000222222222221e-05,
      "loss": 0.0239,
      "step": 44990
    },
    {
      "epoch": 6.0,
      "grad_norm": 0.40098655223846436,
      "learning_rate": 9e-05,
      "loss": 0.0186,
      "step": 45000
    },
    {
      "epoch": 6.0,
      "eval_loss": 0.02312643453478813,
      "eval_runtime": 37.0285,
      "eval_samples_per_second": 81.019,
      "eval_steps_per_second": 5.077,
      "step": 45000
    },
    {
      "epoch": 6.001333333333333,
      "grad_norm": 0.08423721045255661,
      "learning_rate": 8.999777777777778e-05,
      "loss": 0.018,
      "step": 45010
    },
    {
      "epoch": 6.002666666666666,
      "grad_norm": 0.9055566191673279,
      "learning_rate": 8.999555555555556e-05,
      "loss": 0.0237,
      "step": 45020
    },
    {
      "epoch": 6.004,
      "grad_norm": 0.17145416140556335,
      "learning_rate": 8.999333333333334e-05,
      "loss": 0.0246,
      "step": 45030
    },
    {
      "epoch": 6.005333333333334,
      "grad_norm": 0.27294301986694336,
      "learning_rate": 8.999111111111112e-05,
      "loss": 0.0137,
      "step": 45040
    },
    {
      "epoch": 6.006666666666667,
      "grad_norm": 0.48793500661849976,
      "learning_rate": 8.998888888888889e-05,
      "loss": 0.019,
      "step": 45050
    },
    {
      "epoch": 6.008,
      "grad_norm": 0.0927695706486702,
      "learning_rate": 8.998666666666667e-05,
      "loss": 0.0212,
      "step": 45060
    },
    {
      "epoch": 6.009333333333333,
      "grad_norm": 0.4807021915912628,
      "learning_rate": 8.998444444444445e-05,
      "loss": 0.0385,
      "step": 45070
    },
    {
      "epoch": 6.010666666666666,
      "grad_norm": 0.1889095902442932,
      "learning_rate": 8.998222222222223e-05,
      "loss": 0.0156,
      "step": 45080
    },
    {
      "epoch": 6.012,
      "grad_norm": 0.3916066586971283,
      "learning_rate": 8.998e-05,
      "loss": 0.0143,
      "step": 45090
    },
    {
      "epoch": 6.013333333333334,
      "grad_norm": 0.6811449527740479,
      "learning_rate": 8.997777777777778e-05,
      "loss": 0.0227,
      "step": 45100
    },
    {
      "epoch": 6.014666666666667,
      "grad_norm": 0.017702197656035423,
      "learning_rate": 8.997555555555556e-05,
      "loss": 0.0229,
      "step": 45110
    },
    {
      "epoch": 6.016,
      "grad_norm": 0.37448668479919434,
      "learning_rate": 8.997333333333335e-05,
      "loss": 0.0145,
      "step": 45120
    },
    {
      "epoch": 6.017333333333333,
      "grad_norm": 0.37842366099357605,
      "learning_rate": 8.997111111111111e-05,
      "loss": 0.017,
      "step": 45130
    },
    {
      "epoch": 6.018666666666666,
      "grad_norm": 0.6650057435035706,
      "learning_rate": 8.996888888888889e-05,
      "loss": 0.0202,
      "step": 45140
    },
    {
      "epoch": 6.02,
      "grad_norm": 0.4810781180858612,
      "learning_rate": 8.996666666666667e-05,
      "loss": 0.0223,
      "step": 45150
    },
    {
      "epoch": 6.021333333333334,
      "grad_norm": 0.5334097146987915,
      "learning_rate": 8.996444444444444e-05,
      "loss": 0.0175,
      "step": 45160
    },
    {
      "epoch": 6.022666666666667,
      "grad_norm": 0.16817989945411682,
      "learning_rate": 8.996222222222222e-05,
      "loss": 0.0174,
      "step": 45170
    },
    {
      "epoch": 6.024,
      "grad_norm": 0.14133024215698242,
      "learning_rate": 8.996e-05,
      "loss": 0.0192,
      "step": 45180
    },
    {
      "epoch": 6.025333333333333,
      "grad_norm": 0.2375764101743698,
      "learning_rate": 8.995777777777779e-05,
      "loss": 0.0143,
      "step": 45190
    },
    {
      "epoch": 6.026666666666666,
      "grad_norm": 0.8192998766899109,
      "learning_rate": 8.995555555555555e-05,
      "loss": 0.0258,
      "step": 45200
    },
    {
      "epoch": 6.028,
      "grad_norm": 0.45866256952285767,
      "learning_rate": 8.995333333333333e-05,
      "loss": 0.0199,
      "step": 45210
    },
    {
      "epoch": 6.029333333333334,
      "grad_norm": 0.25811973214149475,
      "learning_rate": 8.995111111111112e-05,
      "loss": 0.0261,
      "step": 45220
    },
    {
      "epoch": 6.030666666666667,
      "grad_norm": 0.18330436944961548,
      "learning_rate": 8.99488888888889e-05,
      "loss": 0.0166,
      "step": 45230
    },
    {
      "epoch": 6.032,
      "grad_norm": 1.3040130138397217,
      "learning_rate": 8.994666666666666e-05,
      "loss": 0.0162,
      "step": 45240
    },
    {
      "epoch": 6.033333333333333,
      "grad_norm": 1.0971646308898926,
      "learning_rate": 8.994444444444445e-05,
      "loss": 0.0189,
      "step": 45250
    },
    {
      "epoch": 6.034666666666666,
      "grad_norm": 0.24483716487884521,
      "learning_rate": 8.994222222222223e-05,
      "loss": 0.0174,
      "step": 45260
    },
    {
      "epoch": 6.036,
      "grad_norm": 0.3543247580528259,
      "learning_rate": 8.994e-05,
      "loss": 0.0166,
      "step": 45270
    },
    {
      "epoch": 6.037333333333334,
      "grad_norm": 0.23678502440452576,
      "learning_rate": 8.993777777777779e-05,
      "loss": 0.0144,
      "step": 45280
    },
    {
      "epoch": 6.038666666666667,
      "grad_norm": 0.43438833951950073,
      "learning_rate": 8.993555555555556e-05,
      "loss": 0.013,
      "step": 45290
    },
    {
      "epoch": 6.04,
      "grad_norm": 0.5805965065956116,
      "learning_rate": 8.993333333333334e-05,
      "loss": 0.0249,
      "step": 45300
    },
    {
      "epoch": 6.041333333333333,
      "grad_norm": 0.2873478829860687,
      "learning_rate": 8.99311111111111e-05,
      "loss": 0.0191,
      "step": 45310
    },
    {
      "epoch": 6.042666666666666,
      "grad_norm": 0.09956736862659454,
      "learning_rate": 8.99288888888889e-05,
      "loss": 0.0163,
      "step": 45320
    },
    {
      "epoch": 6.044,
      "grad_norm": 0.46138885617256165,
      "learning_rate": 8.992666666666667e-05,
      "loss": 0.0141,
      "step": 45330
    },
    {
      "epoch": 6.045333333333334,
      "grad_norm": 0.46040716767311096,
      "learning_rate": 8.992444444444444e-05,
      "loss": 0.0263,
      "step": 45340
    },
    {
      "epoch": 6.046666666666667,
      "grad_norm": 0.2843363583087921,
      "learning_rate": 8.992222222222223e-05,
      "loss": 0.0187,
      "step": 45350
    },
    {
      "epoch": 6.048,
      "grad_norm": 0.8751551508903503,
      "learning_rate": 8.992e-05,
      "loss": 0.0145,
      "step": 45360
    },
    {
      "epoch": 6.049333333333333,
      "grad_norm": 0.3856506943702698,
      "learning_rate": 8.991777777777778e-05,
      "loss": 0.0223,
      "step": 45370
    },
    {
      "epoch": 6.050666666666666,
      "grad_norm": 0.2661038041114807,
      "learning_rate": 8.991555555555556e-05,
      "loss": 0.012,
      "step": 45380
    },
    {
      "epoch": 6.052,
      "grad_norm": 0.637451708316803,
      "learning_rate": 8.991333333333334e-05,
      "loss": 0.0284,
      "step": 45390
    },
    {
      "epoch": 6.053333333333334,
      "grad_norm": 0.25094786286354065,
      "learning_rate": 8.991111111111112e-05,
      "loss": 0.0103,
      "step": 45400
    },
    {
      "epoch": 6.054666666666667,
      "grad_norm": 0.49428942799568176,
      "learning_rate": 8.99088888888889e-05,
      "loss": 0.0171,
      "step": 45410
    },
    {
      "epoch": 6.056,
      "grad_norm": 0.6823155283927917,
      "learning_rate": 8.990666666666667e-05,
      "loss": 0.0179,
      "step": 45420
    },
    {
      "epoch": 6.057333333333333,
      "grad_norm": 1.9770885705947876,
      "learning_rate": 8.990444444444445e-05,
      "loss": 0.0189,
      "step": 45430
    },
    {
      "epoch": 6.058666666666666,
      "grad_norm": 0.08204081654548645,
      "learning_rate": 8.990222222222223e-05,
      "loss": 0.0117,
      "step": 45440
    },
    {
      "epoch": 6.06,
      "grad_norm": 0.4171423316001892,
      "learning_rate": 8.99e-05,
      "loss": 0.0185,
      "step": 45450
    },
    {
      "epoch": 6.061333333333334,
      "grad_norm": 0.26863282918930054,
      "learning_rate": 8.989777777777778e-05,
      "loss": 0.0133,
      "step": 45460
    },
    {
      "epoch": 6.062666666666667,
      "grad_norm": 0.41205576062202454,
      "learning_rate": 8.989555555555556e-05,
      "loss": 0.0129,
      "step": 45470
    },
    {
      "epoch": 6.064,
      "grad_norm": 0.27915409207344055,
      "learning_rate": 8.989333333333334e-05,
      "loss": 0.0202,
      "step": 45480
    },
    {
      "epoch": 6.065333333333333,
      "grad_norm": 0.3434765338897705,
      "learning_rate": 8.989111111111111e-05,
      "loss": 0.0159,
      "step": 45490
    },
    {
      "epoch": 6.066666666666666,
      "grad_norm": 0.31913039088249207,
      "learning_rate": 8.988888888888889e-05,
      "loss": 0.0259,
      "step": 45500
    },
    {
      "epoch": 6.068,
      "grad_norm": 1.160699725151062,
      "learning_rate": 8.988666666666668e-05,
      "loss": 0.0238,
      "step": 45510
    },
    {
      "epoch": 6.069333333333334,
      "grad_norm": 0.5234414339065552,
      "learning_rate": 8.988444444444445e-05,
      "loss": 0.0331,
      "step": 45520
    },
    {
      "epoch": 6.070666666666667,
      "grad_norm": 0.503312349319458,
      "learning_rate": 8.988222222222222e-05,
      "loss": 0.0104,
      "step": 45530
    },
    {
      "epoch": 6.072,
      "grad_norm": 0.06213270127773285,
      "learning_rate": 8.988000000000001e-05,
      "loss": 0.012,
      "step": 45540
    },
    {
      "epoch": 6.073333333333333,
      "grad_norm": 0.3868465721607208,
      "learning_rate": 8.987777777777778e-05,
      "loss": 0.0182,
      "step": 45550
    },
    {
      "epoch": 6.074666666666666,
      "grad_norm": 0.3713894486427307,
      "learning_rate": 8.987555555555555e-05,
      "loss": 0.0233,
      "step": 45560
    },
    {
      "epoch": 6.076,
      "grad_norm": 0.3455086052417755,
      "learning_rate": 8.987333333333335e-05,
      "loss": 0.0217,
      "step": 45570
    },
    {
      "epoch": 6.077333333333334,
      "grad_norm": 0.31040865182876587,
      "learning_rate": 8.987111111111112e-05,
      "loss": 0.0125,
      "step": 45580
    },
    {
      "epoch": 6.078666666666667,
      "grad_norm": 0.6763986349105835,
      "learning_rate": 8.986888888888889e-05,
      "loss": 0.0204,
      "step": 45590
    },
    {
      "epoch": 6.08,
      "grad_norm": 0.17962239682674408,
      "learning_rate": 8.986666666666666e-05,
      "loss": 0.0243,
      "step": 45600
    },
    {
      "epoch": 6.081333333333333,
      "grad_norm": 0.2796294093132019,
      "learning_rate": 8.986444444444446e-05,
      "loss": 0.0188,
      "step": 45610
    },
    {
      "epoch": 6.082666666666666,
      "grad_norm": 0.8105691075325012,
      "learning_rate": 8.986222222222222e-05,
      "loss": 0.0185,
      "step": 45620
    },
    {
      "epoch": 6.084,
      "grad_norm": 0.4883091449737549,
      "learning_rate": 8.986e-05,
      "loss": 0.0194,
      "step": 45630
    },
    {
      "epoch": 6.085333333333334,
      "grad_norm": 0.8989495038986206,
      "learning_rate": 8.985777777777779e-05,
      "loss": 0.0157,
      "step": 45640
    },
    {
      "epoch": 6.086666666666667,
      "grad_norm": 0.17512322962284088,
      "learning_rate": 8.985555555555557e-05,
      "loss": 0.0205,
      "step": 45650
    },
    {
      "epoch": 6.088,
      "grad_norm": 0.433035284280777,
      "learning_rate": 8.985333333333333e-05,
      "loss": 0.0147,
      "step": 45660
    },
    {
      "epoch": 6.089333333333333,
      "grad_norm": 0.11706996709108353,
      "learning_rate": 8.985111111111112e-05,
      "loss": 0.021,
      "step": 45670
    },
    {
      "epoch": 6.0906666666666665,
      "grad_norm": 0.07320483028888702,
      "learning_rate": 8.98488888888889e-05,
      "loss": 0.0209,
      "step": 45680
    },
    {
      "epoch": 6.092,
      "grad_norm": 0.3731893002986908,
      "learning_rate": 8.984666666666666e-05,
      "loss": 0.0275,
      "step": 45690
    },
    {
      "epoch": 6.093333333333334,
      "grad_norm": 0.492583692073822,
      "learning_rate": 8.984444444444445e-05,
      "loss": 0.0233,
      "step": 45700
    },
    {
      "epoch": 6.094666666666667,
      "grad_norm": 1.4744365215301514,
      "learning_rate": 8.984222222222223e-05,
      "loss": 0.0176,
      "step": 45710
    },
    {
      "epoch": 6.096,
      "grad_norm": 0.3939588963985443,
      "learning_rate": 8.984000000000001e-05,
      "loss": 0.0216,
      "step": 45720
    },
    {
      "epoch": 6.097333333333333,
      "grad_norm": 0.9452461004257202,
      "learning_rate": 8.983777777777778e-05,
      "loss": 0.0166,
      "step": 45730
    },
    {
      "epoch": 6.0986666666666665,
      "grad_norm": 0.7560677528381348,
      "learning_rate": 8.983555555555556e-05,
      "loss": 0.0163,
      "step": 45740
    },
    {
      "epoch": 6.1,
      "grad_norm": 0.5217240452766418,
      "learning_rate": 8.983333333333334e-05,
      "loss": 0.018,
      "step": 45750
    },
    {
      "epoch": 6.101333333333334,
      "grad_norm": 0.7755592465400696,
      "learning_rate": 8.983111111111112e-05,
      "loss": 0.0217,
      "step": 45760
    },
    {
      "epoch": 6.102666666666667,
      "grad_norm": 0.4526512026786804,
      "learning_rate": 8.98288888888889e-05,
      "loss": 0.0269,
      "step": 45770
    },
    {
      "epoch": 6.104,
      "grad_norm": 0.4191516637802124,
      "learning_rate": 8.982666666666667e-05,
      "loss": 0.028,
      "step": 45780
    },
    {
      "epoch": 6.105333333333333,
      "grad_norm": 0.03765963017940521,
      "learning_rate": 8.982444444444445e-05,
      "loss": 0.0232,
      "step": 45790
    },
    {
      "epoch": 6.1066666666666665,
      "grad_norm": 0.356097549200058,
      "learning_rate": 8.982222222222223e-05,
      "loss": 0.0185,
      "step": 45800
    },
    {
      "epoch": 6.108,
      "grad_norm": 0.37244975566864014,
      "learning_rate": 8.982e-05,
      "loss": 0.0154,
      "step": 45810
    },
    {
      "epoch": 6.109333333333334,
      "grad_norm": 0.49105992913246155,
      "learning_rate": 8.981777777777778e-05,
      "loss": 0.0174,
      "step": 45820
    },
    {
      "epoch": 6.110666666666667,
      "grad_norm": 0.5516283512115479,
      "learning_rate": 8.981555555555556e-05,
      "loss": 0.0152,
      "step": 45830
    },
    {
      "epoch": 6.112,
      "grad_norm": 1.0312304496765137,
      "learning_rate": 8.981333333333334e-05,
      "loss": 0.0208,
      "step": 45840
    },
    {
      "epoch": 6.113333333333333,
      "grad_norm": 0.19119012355804443,
      "learning_rate": 8.981111111111111e-05,
      "loss": 0.018,
      "step": 45850
    },
    {
      "epoch": 6.1146666666666665,
      "grad_norm": 0.8633421659469604,
      "learning_rate": 8.98088888888889e-05,
      "loss": 0.0224,
      "step": 45860
    },
    {
      "epoch": 6.116,
      "grad_norm": 0.3635388910770416,
      "learning_rate": 8.980666666666667e-05,
      "loss": 0.0172,
      "step": 45870
    },
    {
      "epoch": 6.117333333333334,
      "grad_norm": 0.14406263828277588,
      "learning_rate": 8.980444444444445e-05,
      "loss": 0.0131,
      "step": 45880
    },
    {
      "epoch": 6.118666666666667,
      "grad_norm": 0.5469203591346741,
      "learning_rate": 8.980222222222224e-05,
      "loss": 0.0112,
      "step": 45890
    },
    {
      "epoch": 6.12,
      "grad_norm": 80.96709442138672,
      "learning_rate": 8.98e-05,
      "loss": 0.0263,
      "step": 45900
    },
    {
      "epoch": 6.121333333333333,
      "grad_norm": 0.49572744965553284,
      "learning_rate": 8.979777777777778e-05,
      "loss": 0.0163,
      "step": 45910
    },
    {
      "epoch": 6.1226666666666665,
      "grad_norm": 0.6938169002532959,
      "learning_rate": 8.979555555555556e-05,
      "loss": 0.0224,
      "step": 45920
    },
    {
      "epoch": 6.124,
      "grad_norm": 0.39492666721343994,
      "learning_rate": 8.979333333333335e-05,
      "loss": 0.0297,
      "step": 45930
    },
    {
      "epoch": 6.125333333333334,
      "grad_norm": 0.49960586428642273,
      "learning_rate": 8.979111111111111e-05,
      "loss": 0.0168,
      "step": 45940
    },
    {
      "epoch": 6.126666666666667,
      "grad_norm": 0.29803961515426636,
      "learning_rate": 8.978888888888889e-05,
      "loss": 0.0182,
      "step": 45950
    },
    {
      "epoch": 6.128,
      "grad_norm": 0.2585918605327606,
      "learning_rate": 8.978666666666668e-05,
      "loss": 0.0162,
      "step": 45960
    },
    {
      "epoch": 6.129333333333333,
      "grad_norm": 0.10339193791151047,
      "learning_rate": 8.978444444444444e-05,
      "loss": 0.0129,
      "step": 45970
    },
    {
      "epoch": 6.1306666666666665,
      "grad_norm": 0.2425447404384613,
      "learning_rate": 8.978222222222222e-05,
      "loss": 0.0203,
      "step": 45980
    },
    {
      "epoch": 6.132,
      "grad_norm": 0.4218390882015228,
      "learning_rate": 8.978000000000001e-05,
      "loss": 0.0211,
      "step": 45990
    },
    {
      "epoch": 6.133333333333334,
      "grad_norm": 0.20302714407444,
      "learning_rate": 8.977777777777779e-05,
      "loss": 0.0194,
      "step": 46000
    },
    {
      "epoch": 6.134666666666667,
      "grad_norm": 0.32394030690193176,
      "learning_rate": 8.977555555555555e-05,
      "loss": 0.0203,
      "step": 46010
    },
    {
      "epoch": 6.136,
      "grad_norm": 0.41687971353530884,
      "learning_rate": 8.977333333333334e-05,
      "loss": 0.0238,
      "step": 46020
    },
    {
      "epoch": 6.137333333333333,
      "grad_norm": 0.26927587389945984,
      "learning_rate": 8.977111111111112e-05,
      "loss": 0.0115,
      "step": 46030
    },
    {
      "epoch": 6.1386666666666665,
      "grad_norm": 0.9506977200508118,
      "learning_rate": 8.976888888888888e-05,
      "loss": 0.0251,
      "step": 46040
    },
    {
      "epoch": 6.14,
      "grad_norm": 0.33101990818977356,
      "learning_rate": 8.976666666666666e-05,
      "loss": 0.0212,
      "step": 46050
    },
    {
      "epoch": 6.141333333333334,
      "grad_norm": 0.1817079484462738,
      "learning_rate": 8.976444444444445e-05,
      "loss": 0.0226,
      "step": 46060
    },
    {
      "epoch": 6.142666666666667,
      "grad_norm": 0.024767564609646797,
      "learning_rate": 8.976222222222223e-05,
      "loss": 0.0237,
      "step": 46070
    },
    {
      "epoch": 6.144,
      "grad_norm": 0.17760778963565826,
      "learning_rate": 8.976e-05,
      "loss": 0.0152,
      "step": 46080
    },
    {
      "epoch": 6.145333333333333,
      "grad_norm": 0.47590330243110657,
      "learning_rate": 8.975777777777779e-05,
      "loss": 0.0217,
      "step": 46090
    },
    {
      "epoch": 6.1466666666666665,
      "grad_norm": 0.732011616230011,
      "learning_rate": 8.975555555555556e-05,
      "loss": 0.0249,
      "step": 46100
    },
    {
      "epoch": 6.148,
      "grad_norm": 0.6537814140319824,
      "learning_rate": 8.975333333333334e-05,
      "loss": 0.0174,
      "step": 46110
    },
    {
      "epoch": 6.149333333333334,
      "grad_norm": 0.34930506348609924,
      "learning_rate": 8.975111111111112e-05,
      "loss": 0.0248,
      "step": 46120
    },
    {
      "epoch": 6.150666666666667,
      "grad_norm": 0.1759822815656662,
      "learning_rate": 8.97488888888889e-05,
      "loss": 0.0135,
      "step": 46130
    },
    {
      "epoch": 6.152,
      "grad_norm": 0.0238383486866951,
      "learning_rate": 8.974666666666667e-05,
      "loss": 0.0222,
      "step": 46140
    },
    {
      "epoch": 6.153333333333333,
      "grad_norm": 0.2979712188243866,
      "learning_rate": 8.974444444444445e-05,
      "loss": 0.0217,
      "step": 46150
    },
    {
      "epoch": 6.1546666666666665,
      "grad_norm": 0.43704771995544434,
      "learning_rate": 8.974222222222223e-05,
      "loss": 0.0102,
      "step": 46160
    },
    {
      "epoch": 6.156,
      "grad_norm": 0.2602781057357788,
      "learning_rate": 8.974e-05,
      "loss": 0.0205,
      "step": 46170
    },
    {
      "epoch": 6.157333333333334,
      "grad_norm": 0.1834067553281784,
      "learning_rate": 8.973777777777778e-05,
      "loss": 0.0257,
      "step": 46180
    },
    {
      "epoch": 6.158666666666667,
      "grad_norm": 0.2791284918785095,
      "learning_rate": 8.973555555555556e-05,
      "loss": 0.0225,
      "step": 46190
    },
    {
      "epoch": 6.16,
      "grad_norm": 0.5405265688896179,
      "learning_rate": 8.973333333333334e-05,
      "loss": 0.0188,
      "step": 46200
    },
    {
      "epoch": 6.161333333333333,
      "grad_norm": 0.3574202358722687,
      "learning_rate": 8.973111111111111e-05,
      "loss": 0.0227,
      "step": 46210
    },
    {
      "epoch": 6.1626666666666665,
      "grad_norm": 0.6051445603370667,
      "learning_rate": 8.972888888888889e-05,
      "loss": 0.0245,
      "step": 46220
    },
    {
      "epoch": 6.164,
      "grad_norm": 0.4832521080970764,
      "learning_rate": 8.972666666666667e-05,
      "loss": 0.0233,
      "step": 46230
    },
    {
      "epoch": 6.165333333333333,
      "grad_norm": 0.3818255662918091,
      "learning_rate": 8.972444444444445e-05,
      "loss": 0.0177,
      "step": 46240
    },
    {
      "epoch": 6.166666666666667,
      "grad_norm": 0.4366592466831207,
      "learning_rate": 8.972222222222222e-05,
      "loss": 0.0281,
      "step": 46250
    },
    {
      "epoch": 6.168,
      "grad_norm": 0.5286021828651428,
      "learning_rate": 8.972e-05,
      "loss": 0.0185,
      "step": 46260
    },
    {
      "epoch": 6.169333333333333,
      "grad_norm": 0.4472741484642029,
      "learning_rate": 8.971777777777778e-05,
      "loss": 0.0166,
      "step": 46270
    },
    {
      "epoch": 6.1706666666666665,
      "grad_norm": 0.3383816182613373,
      "learning_rate": 8.971555555555557e-05,
      "loss": 0.0149,
      "step": 46280
    },
    {
      "epoch": 6.172,
      "grad_norm": 1.117771863937378,
      "learning_rate": 8.971333333333333e-05,
      "loss": 0.0272,
      "step": 46290
    },
    {
      "epoch": 6.173333333333334,
      "grad_norm": 0.6716734766960144,
      "learning_rate": 8.971111111111111e-05,
      "loss": 0.0224,
      "step": 46300
    },
    {
      "epoch": 6.174666666666667,
      "grad_norm": 0.26159852743148804,
      "learning_rate": 8.97088888888889e-05,
      "loss": 0.0122,
      "step": 46310
    },
    {
      "epoch": 6.176,
      "grad_norm": 0.2035878598690033,
      "learning_rate": 8.970666666666667e-05,
      "loss": 0.0127,
      "step": 46320
    },
    {
      "epoch": 6.177333333333333,
      "grad_norm": 0.45195603370666504,
      "learning_rate": 8.970444444444444e-05,
      "loss": 0.0167,
      "step": 46330
    },
    {
      "epoch": 6.1786666666666665,
      "grad_norm": 0.8129172921180725,
      "learning_rate": 8.970222222222223e-05,
      "loss": 0.0185,
      "step": 46340
    },
    {
      "epoch": 6.18,
      "grad_norm": 0.2000330537557602,
      "learning_rate": 8.970000000000001e-05,
      "loss": 0.0188,
      "step": 46350
    },
    {
      "epoch": 6.181333333333333,
      "grad_norm": 0.8312346339225769,
      "learning_rate": 8.969777777777778e-05,
      "loss": 0.022,
      "step": 46360
    },
    {
      "epoch": 6.182666666666667,
      "grad_norm": 0.4738214612007141,
      "learning_rate": 8.969555555555555e-05,
      "loss": 0.0184,
      "step": 46370
    },
    {
      "epoch": 6.184,
      "grad_norm": 1.8931187391281128,
      "learning_rate": 8.969333333333334e-05,
      "loss": 0.0127,
      "step": 46380
    },
    {
      "epoch": 6.185333333333333,
      "grad_norm": 0.3574051856994629,
      "learning_rate": 8.969111111111111e-05,
      "loss": 0.0209,
      "step": 46390
    },
    {
      "epoch": 6.1866666666666665,
      "grad_norm": 0.45786866545677185,
      "learning_rate": 8.968888888888889e-05,
      "loss": 0.0223,
      "step": 46400
    },
    {
      "epoch": 6.188,
      "grad_norm": 0.3544611930847168,
      "learning_rate": 8.968666666666668e-05,
      "loss": 0.0162,
      "step": 46410
    },
    {
      "epoch": 6.189333333333333,
      "grad_norm": 0.4347485601902008,
      "learning_rate": 8.968444444444445e-05,
      "loss": 0.0187,
      "step": 46420
    },
    {
      "epoch": 6.190666666666667,
      "grad_norm": 0.3129073679447174,
      "learning_rate": 8.968222222222222e-05,
      "loss": 0.022,
      "step": 46430
    },
    {
      "epoch": 6.192,
      "grad_norm": 0.15775015950202942,
      "learning_rate": 8.968000000000001e-05,
      "loss": 0.0177,
      "step": 46440
    },
    {
      "epoch": 6.193333333333333,
      "grad_norm": 0.07264818251132965,
      "learning_rate": 8.967777777777779e-05,
      "loss": 0.0193,
      "step": 46450
    },
    {
      "epoch": 6.1946666666666665,
      "grad_norm": 0.5773454308509827,
      "learning_rate": 8.967555555555556e-05,
      "loss": 0.0198,
      "step": 46460
    },
    {
      "epoch": 6.196,
      "grad_norm": 0.10955969244241714,
      "learning_rate": 8.967333333333334e-05,
      "loss": 0.0118,
      "step": 46470
    },
    {
      "epoch": 6.197333333333333,
      "grad_norm": 0.2919018566608429,
      "learning_rate": 8.967111111111112e-05,
      "loss": 0.0145,
      "step": 46480
    },
    {
      "epoch": 6.198666666666667,
      "grad_norm": 0.21107354760169983,
      "learning_rate": 8.96688888888889e-05,
      "loss": 0.0164,
      "step": 46490
    },
    {
      "epoch": 6.2,
      "grad_norm": 0.15269796550273895,
      "learning_rate": 8.966666666666666e-05,
      "loss": 0.0219,
      "step": 46500
    },
    {
      "epoch": 6.201333333333333,
      "grad_norm": 0.40211743116378784,
      "learning_rate": 8.966444444444445e-05,
      "loss": 0.0153,
      "step": 46510
    },
    {
      "epoch": 6.2026666666666666,
      "grad_norm": 0.10666390508413315,
      "learning_rate": 8.966222222222223e-05,
      "loss": 0.0175,
      "step": 46520
    },
    {
      "epoch": 6.204,
      "grad_norm": 0.5701401233673096,
      "learning_rate": 8.966e-05,
      "loss": 0.0197,
      "step": 46530
    },
    {
      "epoch": 6.205333333333333,
      "grad_norm": 0.12738043069839478,
      "learning_rate": 8.965777777777778e-05,
      "loss": 0.0149,
      "step": 46540
    },
    {
      "epoch": 6.206666666666667,
      "grad_norm": 0.4137333333492279,
      "learning_rate": 8.965555555555556e-05,
      "loss": 0.0175,
      "step": 46550
    },
    {
      "epoch": 6.208,
      "grad_norm": 0.11462531238794327,
      "learning_rate": 8.965333333333334e-05,
      "loss": 0.016,
      "step": 46560
    },
    {
      "epoch": 6.209333333333333,
      "grad_norm": 0.19836324453353882,
      "learning_rate": 8.965111111111112e-05,
      "loss": 0.0259,
      "step": 46570
    },
    {
      "epoch": 6.210666666666667,
      "grad_norm": 0.9142133593559265,
      "learning_rate": 8.964888888888889e-05,
      "loss": 0.0172,
      "step": 46580
    },
    {
      "epoch": 6.212,
      "grad_norm": 1.1225903034210205,
      "learning_rate": 8.964666666666667e-05,
      "loss": 0.0324,
      "step": 46590
    },
    {
      "epoch": 6.213333333333333,
      "grad_norm": 0.19910837709903717,
      "learning_rate": 8.964444444444445e-05,
      "loss": 0.013,
      "step": 46600
    },
    {
      "epoch": 6.214666666666667,
      "grad_norm": 0.15312767028808594,
      "learning_rate": 8.964222222222222e-05,
      "loss": 0.0235,
      "step": 46610
    },
    {
      "epoch": 6.216,
      "grad_norm": 0.6251016855239868,
      "learning_rate": 8.964e-05,
      "loss": 0.0222,
      "step": 46620
    },
    {
      "epoch": 6.217333333333333,
      "grad_norm": 1.7926095724105835,
      "learning_rate": 8.96377777777778e-05,
      "loss": 0.0302,
      "step": 46630
    },
    {
      "epoch": 6.218666666666667,
      "grad_norm": 0.30843260884284973,
      "learning_rate": 8.963555555555556e-05,
      "loss": 0.0138,
      "step": 46640
    },
    {
      "epoch": 6.22,
      "grad_norm": 0.9166164994239807,
      "learning_rate": 8.963333333333333e-05,
      "loss": 0.0224,
      "step": 46650
    },
    {
      "epoch": 6.221333333333333,
      "grad_norm": 0.2519580125808716,
      "learning_rate": 8.963111111111111e-05,
      "loss": 0.0169,
      "step": 46660
    },
    {
      "epoch": 6.222666666666667,
      "grad_norm": 0.856218695640564,
      "learning_rate": 8.962888888888889e-05,
      "loss": 0.0152,
      "step": 46670
    },
    {
      "epoch": 6.224,
      "grad_norm": 0.27100080251693726,
      "learning_rate": 8.962666666666667e-05,
      "loss": 0.0211,
      "step": 46680
    },
    {
      "epoch": 6.225333333333333,
      "grad_norm": 0.3513387441635132,
      "learning_rate": 8.962444444444444e-05,
      "loss": 0.02,
      "step": 46690
    },
    {
      "epoch": 6.226666666666667,
      "grad_norm": 0.22020787000656128,
      "learning_rate": 8.962222222222224e-05,
      "loss": 0.0174,
      "step": 46700
    },
    {
      "epoch": 6.228,
      "grad_norm": 0.44970467686653137,
      "learning_rate": 8.962e-05,
      "loss": 0.0205,
      "step": 46710
    },
    {
      "epoch": 6.229333333333333,
      "grad_norm": 0.6565555334091187,
      "learning_rate": 8.961777777777778e-05,
      "loss": 0.0135,
      "step": 46720
    },
    {
      "epoch": 6.230666666666667,
      "grad_norm": 0.5988698601722717,
      "learning_rate": 8.961555555555557e-05,
      "loss": 0.0144,
      "step": 46730
    },
    {
      "epoch": 6.232,
      "grad_norm": 0.4049762189388275,
      "learning_rate": 8.961333333333333e-05,
      "loss": 0.023,
      "step": 46740
    },
    {
      "epoch": 6.233333333333333,
      "grad_norm": 1.7204924821853638,
      "learning_rate": 8.961111111111111e-05,
      "loss": 0.0253,
      "step": 46750
    },
    {
      "epoch": 6.234666666666667,
      "grad_norm": 0.2546929121017456,
      "learning_rate": 8.96088888888889e-05,
      "loss": 0.0097,
      "step": 46760
    },
    {
      "epoch": 6.236,
      "grad_norm": 0.34860071539878845,
      "learning_rate": 8.960666666666668e-05,
      "loss": 0.0186,
      "step": 46770
    },
    {
      "epoch": 6.237333333333333,
      "grad_norm": 0.9167460203170776,
      "learning_rate": 8.960444444444444e-05,
      "loss": 0.0268,
      "step": 46780
    },
    {
      "epoch": 6.238666666666667,
      "grad_norm": 0.34687212109565735,
      "learning_rate": 8.960222222222223e-05,
      "loss": 0.016,
      "step": 46790
    },
    {
      "epoch": 6.24,
      "grad_norm": 0.37947458028793335,
      "learning_rate": 8.960000000000001e-05,
      "loss": 0.0225,
      "step": 46800
    },
    {
      "epoch": 6.241333333333333,
      "grad_norm": 0.5256651043891907,
      "learning_rate": 8.959777777777779e-05,
      "loss": 0.0194,
      "step": 46810
    },
    {
      "epoch": 6.242666666666667,
      "grad_norm": 0.2009803205728531,
      "learning_rate": 8.959555555555555e-05,
      "loss": 0.0248,
      "step": 46820
    },
    {
      "epoch": 6.244,
      "grad_norm": 0.1187172532081604,
      "learning_rate": 8.959333333333334e-05,
      "loss": 0.0176,
      "step": 46830
    },
    {
      "epoch": 6.245333333333333,
      "grad_norm": 0.09832193702459335,
      "learning_rate": 8.959111111111112e-05,
      "loss": 0.0226,
      "step": 46840
    },
    {
      "epoch": 6.246666666666667,
      "grad_norm": 0.13589413464069366,
      "learning_rate": 8.958888888888888e-05,
      "loss": 0.0351,
      "step": 46850
    },
    {
      "epoch": 6.248,
      "grad_norm": 0.36762410402297974,
      "learning_rate": 8.958666666666667e-05,
      "loss": 0.0199,
      "step": 46860
    },
    {
      "epoch": 6.249333333333333,
      "grad_norm": 0.3088066577911377,
      "learning_rate": 8.958444444444445e-05,
      "loss": 0.0169,
      "step": 46870
    },
    {
      "epoch": 6.250666666666667,
      "grad_norm": 0.7196852564811707,
      "learning_rate": 8.958222222222223e-05,
      "loss": 0.0169,
      "step": 46880
    },
    {
      "epoch": 6.252,
      "grad_norm": 0.5271614789962769,
      "learning_rate": 8.958e-05,
      "loss": 0.0175,
      "step": 46890
    },
    {
      "epoch": 6.253333333333333,
      "grad_norm": 0.7384477257728577,
      "learning_rate": 8.957777777777778e-05,
      "loss": 0.017,
      "step": 46900
    },
    {
      "epoch": 6.254666666666667,
      "grad_norm": 0.41993027925491333,
      "learning_rate": 8.957555555555556e-05,
      "loss": 0.0139,
      "step": 46910
    },
    {
      "epoch": 6.256,
      "grad_norm": 0.9358423352241516,
      "learning_rate": 8.957333333333334e-05,
      "loss": 0.0144,
      "step": 46920
    },
    {
      "epoch": 6.257333333333333,
      "grad_norm": 0.48261594772338867,
      "learning_rate": 8.957111111111112e-05,
      "loss": 0.0193,
      "step": 46930
    },
    {
      "epoch": 6.258666666666667,
      "grad_norm": 0.18786738812923431,
      "learning_rate": 8.95688888888889e-05,
      "loss": 0.0312,
      "step": 46940
    },
    {
      "epoch": 6.26,
      "grad_norm": 0.047059837728738785,
      "learning_rate": 8.956666666666667e-05,
      "loss": 0.0181,
      "step": 46950
    },
    {
      "epoch": 6.261333333333333,
      "grad_norm": 0.25082677602767944,
      "learning_rate": 8.956444444444445e-05,
      "loss": 0.0232,
      "step": 46960
    },
    {
      "epoch": 6.262666666666667,
      "grad_norm": 0.8069663643836975,
      "learning_rate": 8.956222222222223e-05,
      "loss": 0.0266,
      "step": 46970
    },
    {
      "epoch": 6.264,
      "grad_norm": 0.29668307304382324,
      "learning_rate": 8.956e-05,
      "loss": 0.0252,
      "step": 46980
    },
    {
      "epoch": 6.265333333333333,
      "grad_norm": 0.29303303360939026,
      "learning_rate": 8.955777777777778e-05,
      "loss": 0.0262,
      "step": 46990
    },
    {
      "epoch": 6.266666666666667,
      "grad_norm": 0.3578171133995056,
      "learning_rate": 8.955555555555556e-05,
      "loss": 0.0629,
      "step": 47000
    },
    {
      "epoch": 6.268,
      "grad_norm": 0.5510951280593872,
      "learning_rate": 8.955333333333334e-05,
      "loss": 0.0363,
      "step": 47010
    },
    {
      "epoch": 6.269333333333333,
      "grad_norm": 0.20935018360614777,
      "learning_rate": 8.955111111111111e-05,
      "loss": 0.0164,
      "step": 47020
    },
    {
      "epoch": 6.270666666666667,
      "grad_norm": 0.2752036154270172,
      "learning_rate": 8.954888888888889e-05,
      "loss": 0.0251,
      "step": 47030
    },
    {
      "epoch": 6.272,
      "grad_norm": 0.3450661897659302,
      "learning_rate": 8.954666666666667e-05,
      "loss": 0.0186,
      "step": 47040
    },
    {
      "epoch": 6.273333333333333,
      "grad_norm": 0.3972128629684448,
      "learning_rate": 8.954444444444446e-05,
      "loss": 0.0217,
      "step": 47050
    },
    {
      "epoch": 6.274666666666667,
      "grad_norm": 0.6146377325057983,
      "learning_rate": 8.954222222222222e-05,
      "loss": 0.0332,
      "step": 47060
    },
    {
      "epoch": 6.276,
      "grad_norm": 0.10024839639663696,
      "learning_rate": 8.954e-05,
      "loss": 0.0191,
      "step": 47070
    },
    {
      "epoch": 6.277333333333333,
      "grad_norm": 0.4460392892360687,
      "learning_rate": 8.953777777777779e-05,
      "loss": 0.0136,
      "step": 47080
    },
    {
      "epoch": 6.278666666666667,
      "grad_norm": 0.6334893703460693,
      "learning_rate": 8.953555555555555e-05,
      "loss": 0.0208,
      "step": 47090
    },
    {
      "epoch": 6.28,
      "grad_norm": 0.2212013155221939,
      "learning_rate": 8.953333333333333e-05,
      "loss": 0.0169,
      "step": 47100
    },
    {
      "epoch": 6.281333333333333,
      "grad_norm": 0.5807042121887207,
      "learning_rate": 8.953111111111111e-05,
      "loss": 0.017,
      "step": 47110
    },
    {
      "epoch": 6.282666666666667,
      "grad_norm": 0.47245389223098755,
      "learning_rate": 8.95288888888889e-05,
      "loss": 0.0206,
      "step": 47120
    },
    {
      "epoch": 6.284,
      "grad_norm": 0.29576632380485535,
      "learning_rate": 8.952666666666666e-05,
      "loss": 0.0214,
      "step": 47130
    },
    {
      "epoch": 6.285333333333333,
      "grad_norm": 0.35682451725006104,
      "learning_rate": 8.952444444444444e-05,
      "loss": 0.0224,
      "step": 47140
    },
    {
      "epoch": 6.286666666666667,
      "grad_norm": 0.4246859550476074,
      "learning_rate": 8.952222222222223e-05,
      "loss": 0.0177,
      "step": 47150
    },
    {
      "epoch": 6.288,
      "grad_norm": 0.7150673270225525,
      "learning_rate": 8.952000000000001e-05,
      "loss": 0.0119,
      "step": 47160
    },
    {
      "epoch": 6.289333333333333,
      "grad_norm": 0.21794727444648743,
      "learning_rate": 8.951777777777777e-05,
      "loss": 0.0275,
      "step": 47170
    },
    {
      "epoch": 6.290666666666667,
      "grad_norm": 0.36117324233055115,
      "learning_rate": 8.951555555555557e-05,
      "loss": 0.018,
      "step": 47180
    },
    {
      "epoch": 6.292,
      "grad_norm": 0.10112318396568298,
      "learning_rate": 8.951333333333334e-05,
      "loss": 0.0225,
      "step": 47190
    },
    {
      "epoch": 6.293333333333333,
      "grad_norm": 0.2928793430328369,
      "learning_rate": 8.95111111111111e-05,
      "loss": 0.0206,
      "step": 47200
    },
    {
      "epoch": 6.294666666666667,
      "grad_norm": 0.2964787781238556,
      "learning_rate": 8.95088888888889e-05,
      "loss": 0.016,
      "step": 47210
    },
    {
      "epoch": 6.296,
      "grad_norm": 0.2850355803966522,
      "learning_rate": 8.950666666666667e-05,
      "loss": 0.017,
      "step": 47220
    },
    {
      "epoch": 6.2973333333333334,
      "grad_norm": 0.39587751030921936,
      "learning_rate": 8.950444444444445e-05,
      "loss": 0.0193,
      "step": 47230
    },
    {
      "epoch": 6.298666666666667,
      "grad_norm": 0.6506871581077576,
      "learning_rate": 8.950222222222223e-05,
      "loss": 0.0205,
      "step": 47240
    },
    {
      "epoch": 6.3,
      "grad_norm": 0.6565588116645813,
      "learning_rate": 8.950000000000001e-05,
      "loss": 0.022,
      "step": 47250
    },
    {
      "epoch": 6.301333333333333,
      "grad_norm": 0.4877583384513855,
      "learning_rate": 8.949777777777778e-05,
      "loss": 0.0161,
      "step": 47260
    },
    {
      "epoch": 6.302666666666667,
      "grad_norm": 0.1605466604232788,
      "learning_rate": 8.949555555555555e-05,
      "loss": 0.0188,
      "step": 47270
    },
    {
      "epoch": 6.304,
      "grad_norm": 1.067731261253357,
      "learning_rate": 8.949333333333334e-05,
      "loss": 0.0169,
      "step": 47280
    },
    {
      "epoch": 6.3053333333333335,
      "grad_norm": 0.5811347961425781,
      "learning_rate": 8.949111111111112e-05,
      "loss": 0.0239,
      "step": 47290
    },
    {
      "epoch": 6.306666666666667,
      "grad_norm": 0.7141416668891907,
      "learning_rate": 8.94888888888889e-05,
      "loss": 0.0162,
      "step": 47300
    },
    {
      "epoch": 6.308,
      "grad_norm": 1.4777535200119019,
      "learning_rate": 8.948666666666667e-05,
      "loss": 0.0243,
      "step": 47310
    },
    {
      "epoch": 6.309333333333333,
      "grad_norm": 0.5444525480270386,
      "learning_rate": 8.948444444444445e-05,
      "loss": 0.0225,
      "step": 47320
    },
    {
      "epoch": 6.310666666666666,
      "grad_norm": 0.5170093178749084,
      "learning_rate": 8.948222222222223e-05,
      "loss": 0.0178,
      "step": 47330
    },
    {
      "epoch": 6.312,
      "grad_norm": 1.0541213750839233,
      "learning_rate": 8.948e-05,
      "loss": 0.0157,
      "step": 47340
    },
    {
      "epoch": 6.3133333333333335,
      "grad_norm": 0.3592340052127838,
      "learning_rate": 8.947777777777778e-05,
      "loss": 0.0217,
      "step": 47350
    },
    {
      "epoch": 6.314666666666667,
      "grad_norm": 0.377588152885437,
      "learning_rate": 8.947555555555556e-05,
      "loss": 0.017,
      "step": 47360
    },
    {
      "epoch": 6.316,
      "grad_norm": 0.1614377647638321,
      "learning_rate": 8.947333333333334e-05,
      "loss": 0.0167,
      "step": 47370
    },
    {
      "epoch": 6.317333333333333,
      "grad_norm": 0.29164284467697144,
      "learning_rate": 8.947111111111111e-05,
      "loss": 0.0164,
      "step": 47380
    },
    {
      "epoch": 6.318666666666667,
      "grad_norm": 0.2422727793455124,
      "learning_rate": 8.946888888888889e-05,
      "loss": 0.0207,
      "step": 47390
    },
    {
      "epoch": 6.32,
      "grad_norm": 0.11239078640937805,
      "learning_rate": 8.946666666666668e-05,
      "loss": 0.0133,
      "step": 47400
    },
    {
      "epoch": 6.3213333333333335,
      "grad_norm": 0.4400714039802551,
      "learning_rate": 8.946444444444445e-05,
      "loss": 0.0202,
      "step": 47410
    },
    {
      "epoch": 6.322666666666667,
      "grad_norm": 0.2385767251253128,
      "learning_rate": 8.946222222222222e-05,
      "loss": 0.0233,
      "step": 47420
    },
    {
      "epoch": 6.324,
      "grad_norm": 0.6392463445663452,
      "learning_rate": 8.946e-05,
      "loss": 0.0214,
      "step": 47430
    },
    {
      "epoch": 6.325333333333333,
      "grad_norm": 0.16528110206127167,
      "learning_rate": 8.945777777777778e-05,
      "loss": 0.017,
      "step": 47440
    },
    {
      "epoch": 6.326666666666666,
      "grad_norm": 0.3530530631542206,
      "learning_rate": 8.945555555555556e-05,
      "loss": 0.0212,
      "step": 47450
    },
    {
      "epoch": 6.328,
      "grad_norm": 1.15226411819458,
      "learning_rate": 8.945333333333333e-05,
      "loss": 0.0254,
      "step": 47460
    },
    {
      "epoch": 6.3293333333333335,
      "grad_norm": 0.520621120929718,
      "learning_rate": 8.945111111111112e-05,
      "loss": 0.0132,
      "step": 47470
    },
    {
      "epoch": 6.330666666666667,
      "grad_norm": 0.19965100288391113,
      "learning_rate": 8.944888888888889e-05,
      "loss": 0.0227,
      "step": 47480
    },
    {
      "epoch": 6.332,
      "grad_norm": 0.31927937269210815,
      "learning_rate": 8.944666666666667e-05,
      "loss": 0.0112,
      "step": 47490
    },
    {
      "epoch": 6.333333333333333,
      "grad_norm": 0.5914157032966614,
      "learning_rate": 8.944444444444446e-05,
      "loss": 0.0201,
      "step": 47500
    },
    {
      "epoch": 6.334666666666667,
      "grad_norm": 0.6306905746459961,
      "learning_rate": 8.944222222222223e-05,
      "loss": 0.0219,
      "step": 47510
    },
    {
      "epoch": 6.336,
      "grad_norm": 0.2182932049036026,
      "learning_rate": 8.944e-05,
      "loss": 0.0272,
      "step": 47520
    },
    {
      "epoch": 6.3373333333333335,
      "grad_norm": 0.26803112030029297,
      "learning_rate": 8.943777777777779e-05,
      "loss": 0.0195,
      "step": 47530
    },
    {
      "epoch": 6.338666666666667,
      "grad_norm": 0.22594451904296875,
      "learning_rate": 8.943555555555557e-05,
      "loss": 0.0198,
      "step": 47540
    },
    {
      "epoch": 6.34,
      "grad_norm": 0.25337424874305725,
      "learning_rate": 8.943333333333333e-05,
      "loss": 0.0169,
      "step": 47550
    },
    {
      "epoch": 6.341333333333333,
      "grad_norm": 0.7789704203605652,
      "learning_rate": 8.943111111111111e-05,
      "loss": 0.0156,
      "step": 47560
    },
    {
      "epoch": 6.342666666666666,
      "grad_norm": 0.44609329104423523,
      "learning_rate": 8.94288888888889e-05,
      "loss": 0.0193,
      "step": 47570
    },
    {
      "epoch": 6.344,
      "grad_norm": 0.5013654828071594,
      "learning_rate": 8.942666666666668e-05,
      "loss": 0.0211,
      "step": 47580
    },
    {
      "epoch": 6.3453333333333335,
      "grad_norm": 0.6748642921447754,
      "learning_rate": 8.942444444444444e-05,
      "loss": 0.0191,
      "step": 47590
    },
    {
      "epoch": 6.346666666666667,
      "grad_norm": 0.10769524425268173,
      "learning_rate": 8.942222222222223e-05,
      "loss": 0.0174,
      "step": 47600
    },
    {
      "epoch": 6.348,
      "grad_norm": 0.46355533599853516,
      "learning_rate": 8.942000000000001e-05,
      "loss": 0.0192,
      "step": 47610
    },
    {
      "epoch": 6.349333333333333,
      "grad_norm": 0.38001975417137146,
      "learning_rate": 8.941777777777777e-05,
      "loss": 0.0137,
      "step": 47620
    },
    {
      "epoch": 6.350666666666667,
      "grad_norm": 0.31916993856430054,
      "learning_rate": 8.941555555555556e-05,
      "loss": 0.026,
      "step": 47630
    },
    {
      "epoch": 6.352,
      "grad_norm": 0.4994039833545685,
      "learning_rate": 8.941333333333334e-05,
      "loss": 0.0187,
      "step": 47640
    },
    {
      "epoch": 6.3533333333333335,
      "grad_norm": 0.7972435355186462,
      "learning_rate": 8.941111111111112e-05,
      "loss": 0.0128,
      "step": 47650
    },
    {
      "epoch": 6.354666666666667,
      "grad_norm": 0.48697054386138916,
      "learning_rate": 8.94088888888889e-05,
      "loss": 0.0224,
      "step": 47660
    },
    {
      "epoch": 6.356,
      "grad_norm": 0.5707985162734985,
      "learning_rate": 8.940666666666667e-05,
      "loss": 0.0181,
      "step": 47670
    },
    {
      "epoch": 6.357333333333333,
      "grad_norm": 0.2876569628715515,
      "learning_rate": 8.940444444444445e-05,
      "loss": 0.0215,
      "step": 47680
    },
    {
      "epoch": 6.358666666666666,
      "grad_norm": 1.930479884147644,
      "learning_rate": 8.940222222222223e-05,
      "loss": 0.0209,
      "step": 47690
    },
    {
      "epoch": 6.36,
      "grad_norm": 1.118635654449463,
      "learning_rate": 8.94e-05,
      "loss": 0.0158,
      "step": 47700
    },
    {
      "epoch": 6.3613333333333335,
      "grad_norm": 0.3724648356437683,
      "learning_rate": 8.939777777777778e-05,
      "loss": 0.0192,
      "step": 47710
    },
    {
      "epoch": 6.362666666666667,
      "grad_norm": 0.2672182619571686,
      "learning_rate": 8.939555555555556e-05,
      "loss": 0.0126,
      "step": 47720
    },
    {
      "epoch": 6.364,
      "grad_norm": 0.3542279005050659,
      "learning_rate": 8.939333333333334e-05,
      "loss": 0.0182,
      "step": 47730
    },
    {
      "epoch": 6.365333333333333,
      "grad_norm": 0.5290263891220093,
      "learning_rate": 8.939111111111111e-05,
      "loss": 0.0185,
      "step": 47740
    },
    {
      "epoch": 6.366666666666666,
      "grad_norm": 0.6288454532623291,
      "learning_rate": 8.938888888888889e-05,
      "loss": 0.0153,
      "step": 47750
    },
    {
      "epoch": 6.368,
      "grad_norm": 0.6477253437042236,
      "learning_rate": 8.938666666666667e-05,
      "loss": 0.0171,
      "step": 47760
    },
    {
      "epoch": 6.3693333333333335,
      "grad_norm": 0.15802937746047974,
      "learning_rate": 8.938444444444445e-05,
      "loss": 0.0196,
      "step": 47770
    },
    {
      "epoch": 6.370666666666667,
      "grad_norm": 0.03177819773554802,
      "learning_rate": 8.938222222222222e-05,
      "loss": 0.0204,
      "step": 47780
    },
    {
      "epoch": 6.372,
      "grad_norm": 0.5186066627502441,
      "learning_rate": 8.938e-05,
      "loss": 0.0201,
      "step": 47790
    },
    {
      "epoch": 6.373333333333333,
      "grad_norm": 0.7212937474250793,
      "learning_rate": 8.937777777777778e-05,
      "loss": 0.0285,
      "step": 47800
    },
    {
      "epoch": 6.374666666666666,
      "grad_norm": 0.21841619908809662,
      "learning_rate": 8.937555555555556e-05,
      "loss": 0.0136,
      "step": 47810
    },
    {
      "epoch": 6.376,
      "grad_norm": 0.474183589220047,
      "learning_rate": 8.937333333333335e-05,
      "loss": 0.0183,
      "step": 47820
    },
    {
      "epoch": 6.3773333333333335,
      "grad_norm": 0.2447430044412613,
      "learning_rate": 8.937111111111111e-05,
      "loss": 0.0212,
      "step": 47830
    },
    {
      "epoch": 6.378666666666667,
      "grad_norm": 0.18470077216625214,
      "learning_rate": 8.936888888888889e-05,
      "loss": 0.0129,
      "step": 47840
    },
    {
      "epoch": 6.38,
      "grad_norm": 0.25148019194602966,
      "learning_rate": 8.936666666666668e-05,
      "loss": 0.0175,
      "step": 47850
    },
    {
      "epoch": 6.381333333333333,
      "grad_norm": 0.1053793728351593,
      "learning_rate": 8.936444444444446e-05,
      "loss": 0.0128,
      "step": 47860
    },
    {
      "epoch": 6.382666666666666,
      "grad_norm": 0.6311288475990295,
      "learning_rate": 8.936222222222222e-05,
      "loss": 0.0289,
      "step": 47870
    },
    {
      "epoch": 6.384,
      "grad_norm": 0.24695351719856262,
      "learning_rate": 8.936e-05,
      "loss": 0.0219,
      "step": 47880
    },
    {
      "epoch": 6.3853333333333335,
      "grad_norm": 0.45605191588401794,
      "learning_rate": 8.935777777777779e-05,
      "loss": 0.0169,
      "step": 47890
    },
    {
      "epoch": 6.386666666666667,
      "grad_norm": 0.3727179169654846,
      "learning_rate": 8.935555555555555e-05,
      "loss": 0.0226,
      "step": 47900
    },
    {
      "epoch": 6.388,
      "grad_norm": 1.0181828737258911,
      "learning_rate": 8.935333333333333e-05,
      "loss": 0.0177,
      "step": 47910
    },
    {
      "epoch": 6.389333333333333,
      "grad_norm": 0.34383735060691833,
      "learning_rate": 8.935111111111112e-05,
      "loss": 0.0199,
      "step": 47920
    },
    {
      "epoch": 6.390666666666666,
      "grad_norm": 0.3348778486251831,
      "learning_rate": 8.93488888888889e-05,
      "loss": 0.039,
      "step": 47930
    },
    {
      "epoch": 6.392,
      "grad_norm": 0.31160053610801697,
      "learning_rate": 8.934666666666666e-05,
      "loss": 0.0199,
      "step": 47940
    },
    {
      "epoch": 6.3933333333333335,
      "grad_norm": 0.34107494354248047,
      "learning_rate": 8.934444444444445e-05,
      "loss": 0.022,
      "step": 47950
    },
    {
      "epoch": 6.394666666666667,
      "grad_norm": 0.25918102264404297,
      "learning_rate": 8.934222222222223e-05,
      "loss": 0.0146,
      "step": 47960
    },
    {
      "epoch": 6.396,
      "grad_norm": 0.2602429986000061,
      "learning_rate": 8.934e-05,
      "loss": 0.0199,
      "step": 47970
    },
    {
      "epoch": 6.397333333333333,
      "grad_norm": 0.4028206169605255,
      "learning_rate": 8.933777777777779e-05,
      "loss": 0.0222,
      "step": 47980
    },
    {
      "epoch": 6.398666666666666,
      "grad_norm": 0.5280967354774475,
      "learning_rate": 8.933555555555556e-05,
      "loss": 0.014,
      "step": 47990
    },
    {
      "epoch": 6.4,
      "grad_norm": 0.5097503662109375,
      "learning_rate": 8.933333333333334e-05,
      "loss": 0.0194,
      "step": 48000
    },
    {
      "epoch": 6.4013333333333335,
      "grad_norm": 0.37699100375175476,
      "learning_rate": 8.93311111111111e-05,
      "loss": 0.017,
      "step": 48010
    },
    {
      "epoch": 6.402666666666667,
      "grad_norm": 0.2535327672958374,
      "learning_rate": 8.93288888888889e-05,
      "loss": 0.0122,
      "step": 48020
    },
    {
      "epoch": 6.404,
      "grad_norm": 0.5358548760414124,
      "learning_rate": 8.932666666666667e-05,
      "loss": 0.0199,
      "step": 48030
    },
    {
      "epoch": 6.405333333333333,
      "grad_norm": 0.30784738063812256,
      "learning_rate": 8.932444444444445e-05,
      "loss": 0.0189,
      "step": 48040
    },
    {
      "epoch": 6.406666666666666,
      "grad_norm": 0.4157887101173401,
      "learning_rate": 8.932222222222223e-05,
      "loss": 0.0243,
      "step": 48050
    },
    {
      "epoch": 6.408,
      "grad_norm": 0.34836751222610474,
      "learning_rate": 8.932e-05,
      "loss": 0.0179,
      "step": 48060
    },
    {
      "epoch": 6.4093333333333335,
      "grad_norm": 0.18587103486061096,
      "learning_rate": 8.931777777777778e-05,
      "loss": 0.0196,
      "step": 48070
    },
    {
      "epoch": 6.410666666666667,
      "grad_norm": 0.9694955945014954,
      "learning_rate": 8.931555555555556e-05,
      "loss": 0.0205,
      "step": 48080
    },
    {
      "epoch": 6.412,
      "grad_norm": 0.16432352364063263,
      "learning_rate": 8.931333333333334e-05,
      "loss": 0.0206,
      "step": 48090
    },
    {
      "epoch": 6.413333333333333,
      "grad_norm": 0.652975857257843,
      "learning_rate": 8.931111111111112e-05,
      "loss": 0.0258,
      "step": 48100
    },
    {
      "epoch": 6.414666666666666,
      "grad_norm": 0.0849142000079155,
      "learning_rate": 8.930888888888889e-05,
      "loss": 0.0151,
      "step": 48110
    },
    {
      "epoch": 6.416,
      "grad_norm": 0.20881086587905884,
      "learning_rate": 8.930666666666667e-05,
      "loss": 0.0208,
      "step": 48120
    },
    {
      "epoch": 6.417333333333334,
      "grad_norm": 0.3595491349697113,
      "learning_rate": 8.930444444444445e-05,
      "loss": 0.0203,
      "step": 48130
    },
    {
      "epoch": 6.418666666666667,
      "grad_norm": 0.11506228893995285,
      "learning_rate": 8.930222222222222e-05,
      "loss": 0.0195,
      "step": 48140
    },
    {
      "epoch": 6.42,
      "grad_norm": 0.6924924254417419,
      "learning_rate": 8.93e-05,
      "loss": 0.0138,
      "step": 48150
    },
    {
      "epoch": 6.421333333333333,
      "grad_norm": 0.20605386793613434,
      "learning_rate": 8.929777777777778e-05,
      "loss": 0.0251,
      "step": 48160
    },
    {
      "epoch": 6.422666666666666,
      "grad_norm": 0.33082711696624756,
      "learning_rate": 8.929555555555556e-05,
      "loss": 0.0225,
      "step": 48170
    },
    {
      "epoch": 6.424,
      "grad_norm": 0.7264489531517029,
      "learning_rate": 8.929333333333333e-05,
      "loss": 0.0146,
      "step": 48180
    },
    {
      "epoch": 6.425333333333334,
      "grad_norm": 0.49728789925575256,
      "learning_rate": 8.929111111111111e-05,
      "loss": 0.0142,
      "step": 48190
    },
    {
      "epoch": 6.426666666666667,
      "grad_norm": 0.27799221873283386,
      "learning_rate": 8.928888888888889e-05,
      "loss": 0.0137,
      "step": 48200
    },
    {
      "epoch": 6.428,
      "grad_norm": 0.22117720544338226,
      "learning_rate": 8.928666666666668e-05,
      "loss": 0.0158,
      "step": 48210
    },
    {
      "epoch": 6.429333333333333,
      "grad_norm": 0.6371134519577026,
      "learning_rate": 8.928444444444444e-05,
      "loss": 0.0227,
      "step": 48220
    },
    {
      "epoch": 6.430666666666666,
      "grad_norm": 0.17302344739437103,
      "learning_rate": 8.928222222222222e-05,
      "loss": 0.0155,
      "step": 48230
    },
    {
      "epoch": 6.432,
      "grad_norm": 0.487946480512619,
      "learning_rate": 8.928000000000001e-05,
      "loss": 0.0176,
      "step": 48240
    },
    {
      "epoch": 6.433333333333334,
      "grad_norm": 0.15786762535572052,
      "learning_rate": 8.927777777777778e-05,
      "loss": 0.0218,
      "step": 48250
    },
    {
      "epoch": 6.434666666666667,
      "grad_norm": 0.133971706032753,
      "learning_rate": 8.927555555555555e-05,
      "loss": 0.015,
      "step": 48260
    },
    {
      "epoch": 6.436,
      "grad_norm": 0.3859788775444031,
      "learning_rate": 8.927333333333334e-05,
      "loss": 0.0192,
      "step": 48270
    },
    {
      "epoch": 6.437333333333333,
      "grad_norm": 0.3234413266181946,
      "learning_rate": 8.927111111111112e-05,
      "loss": 0.0186,
      "step": 48280
    },
    {
      "epoch": 6.438666666666666,
      "grad_norm": 0.9422430992126465,
      "learning_rate": 8.926888888888889e-05,
      "loss": 0.0182,
      "step": 48290
    },
    {
      "epoch": 6.44,
      "grad_norm": 0.44877028465270996,
      "learning_rate": 8.926666666666668e-05,
      "loss": 0.0227,
      "step": 48300
    },
    {
      "epoch": 6.441333333333334,
      "grad_norm": 0.49712687730789185,
      "learning_rate": 8.926444444444445e-05,
      "loss": 0.02,
      "step": 48310
    },
    {
      "epoch": 6.442666666666667,
      "grad_norm": 0.5580662488937378,
      "learning_rate": 8.926222222222222e-05,
      "loss": 0.03,
      "step": 48320
    },
    {
      "epoch": 6.444,
      "grad_norm": 0.765808641910553,
      "learning_rate": 8.926e-05,
      "loss": 0.0192,
      "step": 48330
    },
    {
      "epoch": 6.445333333333333,
      "grad_norm": 0.5516080260276794,
      "learning_rate": 8.925777777777779e-05,
      "loss": 0.0175,
      "step": 48340
    },
    {
      "epoch": 6.446666666666666,
      "grad_norm": 0.20559102296829224,
      "learning_rate": 8.925555555555556e-05,
      "loss": 0.0154,
      "step": 48350
    },
    {
      "epoch": 6.448,
      "grad_norm": 0.09464217722415924,
      "learning_rate": 8.925333333333333e-05,
      "loss": 0.0204,
      "step": 48360
    },
    {
      "epoch": 6.449333333333334,
      "grad_norm": 1.305158019065857,
      "learning_rate": 8.925111111111112e-05,
      "loss": 0.0187,
      "step": 48370
    },
    {
      "epoch": 6.450666666666667,
      "grad_norm": 0.2551652193069458,
      "learning_rate": 8.92488888888889e-05,
      "loss": 0.0238,
      "step": 48380
    },
    {
      "epoch": 6.452,
      "grad_norm": 0.4188757836818695,
      "learning_rate": 8.924666666666667e-05,
      "loss": 0.0155,
      "step": 48390
    },
    {
      "epoch": 6.453333333333333,
      "grad_norm": 0.4658184349536896,
      "learning_rate": 8.924444444444445e-05,
      "loss": 0.0197,
      "step": 48400
    },
    {
      "epoch": 6.454666666666666,
      "grad_norm": 0.15056109428405762,
      "learning_rate": 8.924222222222223e-05,
      "loss": 0.0169,
      "step": 48410
    },
    {
      "epoch": 6.456,
      "grad_norm": 0.3040826618671417,
      "learning_rate": 8.924e-05,
      "loss": 0.0276,
      "step": 48420
    },
    {
      "epoch": 6.457333333333334,
      "grad_norm": 0.5979189872741699,
      "learning_rate": 8.923777777777778e-05,
      "loss": 0.0205,
      "step": 48430
    },
    {
      "epoch": 6.458666666666667,
      "grad_norm": 0.1942528635263443,
      "learning_rate": 8.923555555555556e-05,
      "loss": 0.0175,
      "step": 48440
    },
    {
      "epoch": 6.46,
      "grad_norm": 0.2810700535774231,
      "learning_rate": 8.923333333333334e-05,
      "loss": 0.0138,
      "step": 48450
    },
    {
      "epoch": 6.461333333333333,
      "grad_norm": 0.3318323791027069,
      "learning_rate": 8.923111111111112e-05,
      "loss": 0.0251,
      "step": 48460
    },
    {
      "epoch": 6.462666666666666,
      "grad_norm": 0.6890133023262024,
      "learning_rate": 8.92288888888889e-05,
      "loss": 0.0159,
      "step": 48470
    },
    {
      "epoch": 6.464,
      "grad_norm": 0.18033193051815033,
      "learning_rate": 8.922666666666667e-05,
      "loss": 0.013,
      "step": 48480
    },
    {
      "epoch": 6.465333333333334,
      "grad_norm": 0.09925535321235657,
      "learning_rate": 8.922444444444445e-05,
      "loss": 0.0283,
      "step": 48490
    },
    {
      "epoch": 6.466666666666667,
      "grad_norm": 0.872928261756897,
      "learning_rate": 8.922222222222223e-05,
      "loss": 0.0199,
      "step": 48500
    },
    {
      "epoch": 6.468,
      "grad_norm": 0.19570113718509674,
      "learning_rate": 8.922e-05,
      "loss": 0.0207,
      "step": 48510
    },
    {
      "epoch": 6.469333333333333,
      "grad_norm": 0.49097350239753723,
      "learning_rate": 8.921777777777778e-05,
      "loss": 0.0213,
      "step": 48520
    },
    {
      "epoch": 6.470666666666666,
      "grad_norm": 0.3637124300003052,
      "learning_rate": 8.921555555555556e-05,
      "loss": 0.0169,
      "step": 48530
    },
    {
      "epoch": 6.4719999999999995,
      "grad_norm": 0.8016066551208496,
      "learning_rate": 8.921333333333334e-05,
      "loss": 0.0194,
      "step": 48540
    },
    {
      "epoch": 6.473333333333334,
      "grad_norm": 0.606107771396637,
      "learning_rate": 8.921111111111111e-05,
      "loss": 0.0299,
      "step": 48550
    },
    {
      "epoch": 6.474666666666667,
      "grad_norm": 0.2021370232105255,
      "learning_rate": 8.92088888888889e-05,
      "loss": 0.0236,
      "step": 48560
    },
    {
      "epoch": 6.476,
      "grad_norm": 0.32008856534957886,
      "learning_rate": 8.920666666666667e-05,
      "loss": 0.0166,
      "step": 48570
    },
    {
      "epoch": 6.477333333333333,
      "grad_norm": 0.6516650319099426,
      "learning_rate": 8.920444444444444e-05,
      "loss": 0.0202,
      "step": 48580
    },
    {
      "epoch": 6.478666666666666,
      "grad_norm": 0.4024459421634674,
      "learning_rate": 8.920222222222224e-05,
      "loss": 0.0191,
      "step": 48590
    },
    {
      "epoch": 6.48,
      "grad_norm": 0.5171900987625122,
      "learning_rate": 8.92e-05,
      "loss": 0.0167,
      "step": 48600
    },
    {
      "epoch": 6.481333333333334,
      "grad_norm": 0.22269724309444427,
      "learning_rate": 8.919777777777778e-05,
      "loss": 0.017,
      "step": 48610
    },
    {
      "epoch": 6.482666666666667,
      "grad_norm": 0.34034857153892517,
      "learning_rate": 8.919555555555555e-05,
      "loss": 0.0143,
      "step": 48620
    },
    {
      "epoch": 6.484,
      "grad_norm": 0.6948553919792175,
      "learning_rate": 8.919333333333335e-05,
      "loss": 0.022,
      "step": 48630
    },
    {
      "epoch": 6.485333333333333,
      "grad_norm": 0.413099080324173,
      "learning_rate": 8.919111111111111e-05,
      "loss": 0.0177,
      "step": 48640
    },
    {
      "epoch": 6.486666666666666,
      "grad_norm": 0.5906449556350708,
      "learning_rate": 8.918888888888889e-05,
      "loss": 0.015,
      "step": 48650
    },
    {
      "epoch": 6.4879999999999995,
      "grad_norm": 0.16554522514343262,
      "learning_rate": 8.918666666666668e-05,
      "loss": 0.0228,
      "step": 48660
    },
    {
      "epoch": 6.489333333333334,
      "grad_norm": 0.2720092833042145,
      "learning_rate": 8.918444444444444e-05,
      "loss": 0.0213,
      "step": 48670
    },
    {
      "epoch": 6.490666666666667,
      "grad_norm": 2.2683699131011963,
      "learning_rate": 8.918222222222222e-05,
      "loss": 0.0231,
      "step": 48680
    },
    {
      "epoch": 6.492,
      "grad_norm": 0.4236145615577698,
      "learning_rate": 8.918000000000001e-05,
      "loss": 0.0172,
      "step": 48690
    },
    {
      "epoch": 6.493333333333333,
      "grad_norm": 0.21848373115062714,
      "learning_rate": 8.917777777777779e-05,
      "loss": 0.0217,
      "step": 48700
    },
    {
      "epoch": 6.494666666666666,
      "grad_norm": 0.32281047105789185,
      "learning_rate": 8.917555555555555e-05,
      "loss": 0.0176,
      "step": 48710
    },
    {
      "epoch": 6.496,
      "grad_norm": 0.3433121144771576,
      "learning_rate": 8.917333333333334e-05,
      "loss": 0.0177,
      "step": 48720
    },
    {
      "epoch": 6.497333333333334,
      "grad_norm": 0.16375873982906342,
      "learning_rate": 8.917111111111112e-05,
      "loss": 0.0173,
      "step": 48730
    },
    {
      "epoch": 6.498666666666667,
      "grad_norm": 0.3943405747413635,
      "learning_rate": 8.91688888888889e-05,
      "loss": 0.0183,
      "step": 48740
    },
    {
      "epoch": 6.5,
      "grad_norm": 0.6527825593948364,
      "learning_rate": 8.916666666666667e-05,
      "loss": 0.0299,
      "step": 48750
    },
    {
      "epoch": 6.501333333333333,
      "grad_norm": 0.050344068557024,
      "learning_rate": 8.916444444444445e-05,
      "loss": 0.0193,
      "step": 48760
    },
    {
      "epoch": 6.502666666666666,
      "grad_norm": 0.3714714050292969,
      "learning_rate": 8.916222222222223e-05,
      "loss": 0.0175,
      "step": 48770
    },
    {
      "epoch": 6.504,
      "grad_norm": 0.38332125544548035,
      "learning_rate": 8.916e-05,
      "loss": 0.0211,
      "step": 48780
    },
    {
      "epoch": 6.505333333333334,
      "grad_norm": 0.4319421648979187,
      "learning_rate": 8.915777777777778e-05,
      "loss": 0.0191,
      "step": 48790
    },
    {
      "epoch": 6.506666666666667,
      "grad_norm": 0.2680456340312958,
      "learning_rate": 8.915555555555556e-05,
      "loss": 0.0139,
      "step": 48800
    },
    {
      "epoch": 6.508,
      "grad_norm": 0.03541354089975357,
      "learning_rate": 8.915333333333334e-05,
      "loss": 0.0264,
      "step": 48810
    },
    {
      "epoch": 6.509333333333333,
      "grad_norm": 0.16901157796382904,
      "learning_rate": 8.915111111111112e-05,
      "loss": 0.0277,
      "step": 48820
    },
    {
      "epoch": 6.510666666666666,
      "grad_norm": 0.6205505728721619,
      "learning_rate": 8.91488888888889e-05,
      "loss": 0.0182,
      "step": 48830
    },
    {
      "epoch": 6.5120000000000005,
      "grad_norm": 0.3819807469844818,
      "learning_rate": 8.914666666666667e-05,
      "loss": 0.0163,
      "step": 48840
    },
    {
      "epoch": 6.513333333333334,
      "grad_norm": 0.37869030237197876,
      "learning_rate": 8.914444444444445e-05,
      "loss": 0.0148,
      "step": 48850
    },
    {
      "epoch": 6.514666666666667,
      "grad_norm": 0.576046347618103,
      "learning_rate": 8.914222222222223e-05,
      "loss": 0.0182,
      "step": 48860
    },
    {
      "epoch": 6.516,
      "grad_norm": 0.4794454276561737,
      "learning_rate": 8.914e-05,
      "loss": 0.0288,
      "step": 48870
    },
    {
      "epoch": 6.517333333333333,
      "grad_norm": 0.3936861455440521,
      "learning_rate": 8.913777777777778e-05,
      "loss": 0.0167,
      "step": 48880
    },
    {
      "epoch": 6.518666666666666,
      "grad_norm": 0.9751719236373901,
      "learning_rate": 8.913555555555556e-05,
      "loss": 0.0202,
      "step": 48890
    },
    {
      "epoch": 6.52,
      "grad_norm": 0.4165542721748352,
      "learning_rate": 8.913333333333334e-05,
      "loss": 0.0213,
      "step": 48900
    },
    {
      "epoch": 6.521333333333334,
      "grad_norm": 0.11718068271875381,
      "learning_rate": 8.913111111111113e-05,
      "loss": 0.0108,
      "step": 48910
    },
    {
      "epoch": 6.522666666666667,
      "grad_norm": 0.3906209170818329,
      "learning_rate": 8.912888888888889e-05,
      "loss": 0.0215,
      "step": 48920
    },
    {
      "epoch": 6.524,
      "grad_norm": 0.8159971833229065,
      "learning_rate": 8.912666666666667e-05,
      "loss": 0.0318,
      "step": 48930
    },
    {
      "epoch": 6.525333333333333,
      "grad_norm": 0.38292449712753296,
      "learning_rate": 8.912444444444445e-05,
      "loss": 0.0197,
      "step": 48940
    },
    {
      "epoch": 6.526666666666666,
      "grad_norm": 0.11223440617322922,
      "learning_rate": 8.912222222222222e-05,
      "loss": 0.0153,
      "step": 48950
    },
    {
      "epoch": 6.5280000000000005,
      "grad_norm": 0.2053336203098297,
      "learning_rate": 8.912e-05,
      "loss": 0.0227,
      "step": 48960
    },
    {
      "epoch": 6.529333333333334,
      "grad_norm": 0.11846594512462616,
      "learning_rate": 8.911777777777778e-05,
      "loss": 0.0183,
      "step": 48970
    },
    {
      "epoch": 6.530666666666667,
      "grad_norm": 0.4744076430797577,
      "learning_rate": 8.911555555555557e-05,
      "loss": 0.0204,
      "step": 48980
    },
    {
      "epoch": 6.532,
      "grad_norm": 0.5505154728889465,
      "learning_rate": 8.911333333333333e-05,
      "loss": 0.0154,
      "step": 48990
    },
    {
      "epoch": 6.533333333333333,
      "grad_norm": 0.839789867401123,
      "learning_rate": 8.911111111111111e-05,
      "loss": 0.0137,
      "step": 49000
    },
    {
      "epoch": 6.534666666666666,
      "grad_norm": 0.44961485266685486,
      "learning_rate": 8.91088888888889e-05,
      "loss": 0.0188,
      "step": 49010
    },
    {
      "epoch": 6.536,
      "grad_norm": 1.4507240056991577,
      "learning_rate": 8.910666666666667e-05,
      "loss": 0.0222,
      "step": 49020
    },
    {
      "epoch": 6.537333333333334,
      "grad_norm": 0.6359182000160217,
      "learning_rate": 8.910444444444444e-05,
      "loss": 0.0222,
      "step": 49030
    },
    {
      "epoch": 6.538666666666667,
      "grad_norm": 0.3332832157611847,
      "learning_rate": 8.910222222222223e-05,
      "loss": 0.0199,
      "step": 49040
    },
    {
      "epoch": 6.54,
      "grad_norm": 0.0303229708224535,
      "learning_rate": 8.910000000000001e-05,
      "loss": 0.0162,
      "step": 49050
    },
    {
      "epoch": 6.541333333333333,
      "grad_norm": 0.7090392708778381,
      "learning_rate": 8.909777777777777e-05,
      "loss": 0.0273,
      "step": 49060
    },
    {
      "epoch": 6.542666666666666,
      "grad_norm": 0.29762765765190125,
      "learning_rate": 8.909555555555555e-05,
      "loss": 0.0185,
      "step": 49070
    },
    {
      "epoch": 6.5440000000000005,
      "grad_norm": 0.10874459892511368,
      "learning_rate": 8.909333333333334e-05,
      "loss": 0.0125,
      "step": 49080
    },
    {
      "epoch": 6.545333333333334,
      "grad_norm": 0.6992563605308533,
      "learning_rate": 8.909111111111112e-05,
      "loss": 0.0126,
      "step": 49090
    },
    {
      "epoch": 6.546666666666667,
      "grad_norm": 0.7812127470970154,
      "learning_rate": 8.908888888888888e-05,
      "loss": 0.0189,
      "step": 49100
    },
    {
      "epoch": 6.548,
      "grad_norm": 0.3791249990463257,
      "learning_rate": 8.908666666666668e-05,
      "loss": 0.0192,
      "step": 49110
    },
    {
      "epoch": 6.549333333333333,
      "grad_norm": 1.741358757019043,
      "learning_rate": 8.908444444444445e-05,
      "loss": 0.0278,
      "step": 49120
    },
    {
      "epoch": 6.550666666666666,
      "grad_norm": 0.6844598650932312,
      "learning_rate": 8.908222222222222e-05,
      "loss": 0.0204,
      "step": 49130
    },
    {
      "epoch": 6.552,
      "grad_norm": 0.8055830001831055,
      "learning_rate": 8.908000000000001e-05,
      "loss": 0.0188,
      "step": 49140
    },
    {
      "epoch": 6.553333333333334,
      "grad_norm": 0.40539461374282837,
      "learning_rate": 8.907777777777779e-05,
      "loss": 0.0171,
      "step": 49150
    },
    {
      "epoch": 6.554666666666667,
      "grad_norm": 0.3036961853504181,
      "learning_rate": 8.907555555555556e-05,
      "loss": 0.0132,
      "step": 49160
    },
    {
      "epoch": 6.556,
      "grad_norm": 0.060275714844465256,
      "learning_rate": 8.907333333333334e-05,
      "loss": 0.0125,
      "step": 49170
    },
    {
      "epoch": 6.557333333333333,
      "grad_norm": 0.2683142423629761,
      "learning_rate": 8.907111111111112e-05,
      "loss": 0.0144,
      "step": 49180
    },
    {
      "epoch": 6.558666666666666,
      "grad_norm": 0.6940243244171143,
      "learning_rate": 8.90688888888889e-05,
      "loss": 0.0254,
      "step": 49190
    },
    {
      "epoch": 6.5600000000000005,
      "grad_norm": 0.49237480759620667,
      "learning_rate": 8.906666666666667e-05,
      "loss": 0.0214,
      "step": 49200
    },
    {
      "epoch": 6.561333333333334,
      "grad_norm": 2.8286406993865967,
      "learning_rate": 8.906444444444445e-05,
      "loss": 0.0206,
      "step": 49210
    },
    {
      "epoch": 6.562666666666667,
      "grad_norm": 0.375100314617157,
      "learning_rate": 8.906222222222223e-05,
      "loss": 0.0144,
      "step": 49220
    },
    {
      "epoch": 6.564,
      "grad_norm": 0.1380835622549057,
      "learning_rate": 8.906e-05,
      "loss": 0.0148,
      "step": 49230
    },
    {
      "epoch": 6.565333333333333,
      "grad_norm": 0.6228116154670715,
      "learning_rate": 8.905777777777778e-05,
      "loss": 0.0153,
      "step": 49240
    },
    {
      "epoch": 6.566666666666666,
      "grad_norm": 0.5246935486793518,
      "learning_rate": 8.905555555555556e-05,
      "loss": 0.0219,
      "step": 49250
    },
    {
      "epoch": 6.568,
      "grad_norm": 0.2766789197921753,
      "learning_rate": 8.905333333333334e-05,
      "loss": 0.0203,
      "step": 49260
    },
    {
      "epoch": 6.569333333333334,
      "grad_norm": 0.5279077291488647,
      "learning_rate": 8.905111111111111e-05,
      "loss": 0.0144,
      "step": 49270
    },
    {
      "epoch": 6.570666666666667,
      "grad_norm": 0.05636033043265343,
      "learning_rate": 8.904888888888889e-05,
      "loss": 0.0221,
      "step": 49280
    },
    {
      "epoch": 6.572,
      "grad_norm": 0.14984466135501862,
      "learning_rate": 8.904666666666667e-05,
      "loss": 0.024,
      "step": 49290
    },
    {
      "epoch": 6.573333333333333,
      "grad_norm": 0.29009029269218445,
      "learning_rate": 8.904444444444445e-05,
      "loss": 0.0175,
      "step": 49300
    },
    {
      "epoch": 6.574666666666666,
      "grad_norm": 0.13390620052814484,
      "learning_rate": 8.904222222222222e-05,
      "loss": 0.0215,
      "step": 49310
    },
    {
      "epoch": 6.576,
      "grad_norm": 0.3106968104839325,
      "learning_rate": 8.904e-05,
      "loss": 0.0192,
      "step": 49320
    },
    {
      "epoch": 6.577333333333334,
      "grad_norm": 0.654242217540741,
      "learning_rate": 8.903777777777779e-05,
      "loss": 0.0181,
      "step": 49330
    },
    {
      "epoch": 6.578666666666667,
      "grad_norm": 0.6961066722869873,
      "learning_rate": 8.903555555555556e-05,
      "loss": 0.0141,
      "step": 49340
    },
    {
      "epoch": 6.58,
      "grad_norm": 0.5425549149513245,
      "learning_rate": 8.903333333333333e-05,
      "loss": 0.0131,
      "step": 49350
    },
    {
      "epoch": 6.581333333333333,
      "grad_norm": 0.20315417647361755,
      "learning_rate": 8.903111111111112e-05,
      "loss": 0.0151,
      "step": 49360
    },
    {
      "epoch": 6.582666666666666,
      "grad_norm": 0.2986332178115845,
      "learning_rate": 8.902888888888889e-05,
      "loss": 0.0179,
      "step": 49370
    },
    {
      "epoch": 6.584,
      "grad_norm": 0.26404061913490295,
      "learning_rate": 8.902666666666667e-05,
      "loss": 0.0252,
      "step": 49380
    },
    {
      "epoch": 6.585333333333334,
      "grad_norm": 0.504945695400238,
      "learning_rate": 8.902444444444444e-05,
      "loss": 0.0178,
      "step": 49390
    },
    {
      "epoch": 6.586666666666667,
      "grad_norm": 2.4345109462738037,
      "learning_rate": 8.902222222222223e-05,
      "loss": 0.015,
      "step": 49400
    },
    {
      "epoch": 6.588,
      "grad_norm": 0.683087170124054,
      "learning_rate": 8.902e-05,
      "loss": 0.0242,
      "step": 49410
    },
    {
      "epoch": 6.589333333333333,
      "grad_norm": 0.3377070128917694,
      "learning_rate": 8.901777777777778e-05,
      "loss": 0.0171,
      "step": 49420
    },
    {
      "epoch": 6.5906666666666665,
      "grad_norm": 0.6730290651321411,
      "learning_rate": 8.901555555555557e-05,
      "loss": 0.0217,
      "step": 49430
    },
    {
      "epoch": 6.592,
      "grad_norm": 0.6071006655693054,
      "learning_rate": 8.901333333333334e-05,
      "loss": 0.0172,
      "step": 49440
    },
    {
      "epoch": 6.593333333333334,
      "grad_norm": 0.36187371611595154,
      "learning_rate": 8.901111111111111e-05,
      "loss": 0.0251,
      "step": 49450
    },
    {
      "epoch": 6.594666666666667,
      "grad_norm": 0.1476709395647049,
      "learning_rate": 8.90088888888889e-05,
      "loss": 0.0164,
      "step": 49460
    },
    {
      "epoch": 6.596,
      "grad_norm": 0.48538509011268616,
      "learning_rate": 8.900666666666668e-05,
      "loss": 0.0222,
      "step": 49470
    },
    {
      "epoch": 6.597333333333333,
      "grad_norm": 0.45047107338905334,
      "learning_rate": 8.900444444444444e-05,
      "loss": 0.0182,
      "step": 49480
    },
    {
      "epoch": 6.5986666666666665,
      "grad_norm": 0.42033442854881287,
      "learning_rate": 8.900222222222223e-05,
      "loss": 0.0256,
      "step": 49490
    },
    {
      "epoch": 6.6,
      "grad_norm": 0.5536853671073914,
      "learning_rate": 8.900000000000001e-05,
      "loss": 0.0162,
      "step": 49500
    },
    {
      "epoch": 6.601333333333334,
      "grad_norm": 0.4934409558773041,
      "learning_rate": 8.899777777777779e-05,
      "loss": 0.0222,
      "step": 49510
    },
    {
      "epoch": 6.602666666666667,
      "grad_norm": 0.47295671701431274,
      "learning_rate": 8.899555555555556e-05,
      "loss": 0.016,
      "step": 49520
    },
    {
      "epoch": 6.604,
      "grad_norm": 0.25361889600753784,
      "learning_rate": 8.899333333333334e-05,
      "loss": 0.0234,
      "step": 49530
    },
    {
      "epoch": 6.605333333333333,
      "grad_norm": 0.5670041441917419,
      "learning_rate": 8.899111111111112e-05,
      "loss": 0.0278,
      "step": 49540
    },
    {
      "epoch": 6.6066666666666665,
      "grad_norm": 0.31728649139404297,
      "learning_rate": 8.898888888888888e-05,
      "loss": 0.0259,
      "step": 49550
    },
    {
      "epoch": 6.608,
      "grad_norm": 0.3535820543766022,
      "learning_rate": 8.898666666666667e-05,
      "loss": 0.0174,
      "step": 49560
    },
    {
      "epoch": 6.609333333333334,
      "grad_norm": 0.43432632088661194,
      "learning_rate": 8.898444444444445e-05,
      "loss": 0.0131,
      "step": 49570
    },
    {
      "epoch": 6.610666666666667,
      "grad_norm": 0.3406910002231598,
      "learning_rate": 8.898222222222223e-05,
      "loss": 0.0131,
      "step": 49580
    },
    {
      "epoch": 6.612,
      "grad_norm": 0.6041622161865234,
      "learning_rate": 8.898e-05,
      "loss": 0.0211,
      "step": 49590
    },
    {
      "epoch": 6.613333333333333,
      "grad_norm": 0.5502472519874573,
      "learning_rate": 8.897777777777778e-05,
      "loss": 0.0171,
      "step": 49600
    },
    {
      "epoch": 6.6146666666666665,
      "grad_norm": 0.5513859987258911,
      "learning_rate": 8.897555555555556e-05,
      "loss": 0.0202,
      "step": 49610
    },
    {
      "epoch": 6.616,
      "grad_norm": 1.696658730506897,
      "learning_rate": 8.897333333333334e-05,
      "loss": 0.0266,
      "step": 49620
    },
    {
      "epoch": 6.617333333333333,
      "grad_norm": 0.6922074556350708,
      "learning_rate": 8.897111111111111e-05,
      "loss": 0.0149,
      "step": 49630
    },
    {
      "epoch": 6.618666666666667,
      "grad_norm": 0.6425872445106506,
      "learning_rate": 8.896888888888889e-05,
      "loss": 0.0217,
      "step": 49640
    },
    {
      "epoch": 6.62,
      "grad_norm": 0.3593752384185791,
      "learning_rate": 8.896666666666667e-05,
      "loss": 0.015,
      "step": 49650
    },
    {
      "epoch": 6.621333333333333,
      "grad_norm": 0.7100628018379211,
      "learning_rate": 8.896444444444445e-05,
      "loss": 0.0198,
      "step": 49660
    },
    {
      "epoch": 6.6226666666666665,
      "grad_norm": 0.04616784676909447,
      "learning_rate": 8.896222222222222e-05,
      "loss": 0.0157,
      "step": 49670
    },
    {
      "epoch": 6.624,
      "grad_norm": 0.3896213173866272,
      "learning_rate": 8.896e-05,
      "loss": 0.0139,
      "step": 49680
    },
    {
      "epoch": 6.625333333333334,
      "grad_norm": 0.5162009000778198,
      "learning_rate": 8.895777777777778e-05,
      "loss": 0.0171,
      "step": 49690
    },
    {
      "epoch": 6.626666666666667,
      "grad_norm": 0.09732544422149658,
      "learning_rate": 8.895555555555556e-05,
      "loss": 0.0122,
      "step": 49700
    },
    {
      "epoch": 6.628,
      "grad_norm": 0.3518010377883911,
      "learning_rate": 8.895333333333333e-05,
      "loss": 0.0134,
      "step": 49710
    },
    {
      "epoch": 6.629333333333333,
      "grad_norm": 0.29871806502342224,
      "learning_rate": 8.895111111111111e-05,
      "loss": 0.0129,
      "step": 49720
    },
    {
      "epoch": 6.6306666666666665,
      "grad_norm": 0.2137012779712677,
      "learning_rate": 8.894888888888889e-05,
      "loss": 0.0207,
      "step": 49730
    },
    {
      "epoch": 6.632,
      "grad_norm": 0.5922039747238159,
      "learning_rate": 8.894666666666667e-05,
      "loss": 0.0135,
      "step": 49740
    },
    {
      "epoch": 6.633333333333333,
      "grad_norm": 0.5317447185516357,
      "learning_rate": 8.894444444444446e-05,
      "loss": 0.021,
      "step": 49750
    },
    {
      "epoch": 6.634666666666667,
      "grad_norm": 0.3537411391735077,
      "learning_rate": 8.894222222222222e-05,
      "loss": 0.0129,
      "step": 49760
    },
    {
      "epoch": 6.636,
      "grad_norm": 0.5835763812065125,
      "learning_rate": 8.894e-05,
      "loss": 0.0149,
      "step": 49770
    },
    {
      "epoch": 6.637333333333333,
      "grad_norm": 1.1983747482299805,
      "learning_rate": 8.893777777777779e-05,
      "loss": 0.0124,
      "step": 49780
    },
    {
      "epoch": 6.6386666666666665,
      "grad_norm": 1.2309303283691406,
      "learning_rate": 8.893555555555557e-05,
      "loss": 0.0189,
      "step": 49790
    },
    {
      "epoch": 6.64,
      "grad_norm": 0.39654016494750977,
      "learning_rate": 8.893333333333333e-05,
      "loss": 0.0219,
      "step": 49800
    },
    {
      "epoch": 6.641333333333334,
      "grad_norm": 0.2274516373872757,
      "learning_rate": 8.893111111111112e-05,
      "loss": 0.02,
      "step": 49810
    },
    {
      "epoch": 6.642666666666667,
      "grad_norm": 0.21223114430904388,
      "learning_rate": 8.89288888888889e-05,
      "loss": 0.0157,
      "step": 49820
    },
    {
      "epoch": 6.644,
      "grad_norm": 0.3762602210044861,
      "learning_rate": 8.892666666666666e-05,
      "loss": 0.0136,
      "step": 49830
    },
    {
      "epoch": 6.645333333333333,
      "grad_norm": 0.4447711408138275,
      "learning_rate": 8.892444444444444e-05,
      "loss": 0.0156,
      "step": 49840
    },
    {
      "epoch": 6.6466666666666665,
      "grad_norm": 1.365099549293518,
      "learning_rate": 8.892222222222223e-05,
      "loss": 0.0146,
      "step": 49850
    },
    {
      "epoch": 6.648,
      "grad_norm": 0.09304029494524002,
      "learning_rate": 8.892000000000001e-05,
      "loss": 0.0098,
      "step": 49860
    },
    {
      "epoch": 6.649333333333333,
      "grad_norm": 2.3768725395202637,
      "learning_rate": 8.891777777777777e-05,
      "loss": 0.0283,
      "step": 49870
    },
    {
      "epoch": 6.650666666666667,
      "grad_norm": 0.32924342155456543,
      "learning_rate": 8.891555555555556e-05,
      "loss": 0.009,
      "step": 49880
    },
    {
      "epoch": 6.652,
      "grad_norm": 0.456167995929718,
      "learning_rate": 8.891333333333334e-05,
      "loss": 0.0185,
      "step": 49890
    },
    {
      "epoch": 6.653333333333333,
      "grad_norm": 0.2158309668302536,
      "learning_rate": 8.89111111111111e-05,
      "loss": 0.0136,
      "step": 49900
    },
    {
      "epoch": 6.6546666666666665,
      "grad_norm": 0.5241754651069641,
      "learning_rate": 8.89088888888889e-05,
      "loss": 0.02,
      "step": 49910
    },
    {
      "epoch": 6.656,
      "grad_norm": 0.23011523485183716,
      "learning_rate": 8.890666666666667e-05,
      "loss": 0.0129,
      "step": 49920
    },
    {
      "epoch": 6.657333333333334,
      "grad_norm": 1.2933686971664429,
      "learning_rate": 8.890444444444445e-05,
      "loss": 0.0144,
      "step": 49930
    },
    {
      "epoch": 6.658666666666667,
      "grad_norm": 0.46431681513786316,
      "learning_rate": 8.890222222222223e-05,
      "loss": 0.0219,
      "step": 49940
    },
    {
      "epoch": 6.66,
      "grad_norm": 0.20971524715423584,
      "learning_rate": 8.89e-05,
      "loss": 0.0154,
      "step": 49950
    },
    {
      "epoch": 6.661333333333333,
      "grad_norm": 0.32170218229293823,
      "learning_rate": 8.889777777777778e-05,
      "loss": 0.0246,
      "step": 49960
    },
    {
      "epoch": 6.6626666666666665,
      "grad_norm": 0.13062846660614014,
      "learning_rate": 8.889555555555556e-05,
      "loss": 0.0161,
      "step": 49970
    },
    {
      "epoch": 6.664,
      "grad_norm": 0.17707055807113647,
      "learning_rate": 8.889333333333334e-05,
      "loss": 0.013,
      "step": 49980
    },
    {
      "epoch": 6.665333333333333,
      "grad_norm": 0.21984116733074188,
      "learning_rate": 8.889111111111112e-05,
      "loss": 0.0171,
      "step": 49990
    },
    {
      "epoch": 6.666666666666667,
      "grad_norm": 0.056943416595458984,
      "learning_rate": 8.888888888888889e-05,
      "loss": 0.0113,
      "step": 50000
    },
    {
      "epoch": 6.668,
      "grad_norm": 0.5065394043922424,
      "learning_rate": 8.888666666666667e-05,
      "loss": 0.0254,
      "step": 50010
    },
    {
      "epoch": 6.669333333333333,
      "grad_norm": 1.579058289527893,
      "learning_rate": 8.888444444444445e-05,
      "loss": 0.0167,
      "step": 50020
    },
    {
      "epoch": 6.6706666666666665,
      "grad_norm": 0.9337467551231384,
      "learning_rate": 8.888222222222223e-05,
      "loss": 0.0318,
      "step": 50030
    },
    {
      "epoch": 6.672,
      "grad_norm": 0.7589667439460754,
      "learning_rate": 8.888e-05,
      "loss": 0.0152,
      "step": 50040
    },
    {
      "epoch": 6.673333333333334,
      "grad_norm": 0.3899947702884674,
      "learning_rate": 8.887777777777778e-05,
      "loss": 0.0231,
      "step": 50050
    },
    {
      "epoch": 6.674666666666667,
      "grad_norm": 0.2935618758201599,
      "learning_rate": 8.887555555555556e-05,
      "loss": 0.0155,
      "step": 50060
    },
    {
      "epoch": 6.676,
      "grad_norm": 0.3155532479286194,
      "learning_rate": 8.887333333333334e-05,
      "loss": 0.0244,
      "step": 50070
    },
    {
      "epoch": 6.677333333333333,
      "grad_norm": 0.8006253242492676,
      "learning_rate": 8.887111111111111e-05,
      "loss": 0.0179,
      "step": 50080
    },
    {
      "epoch": 6.6786666666666665,
      "grad_norm": 0.5130519270896912,
      "learning_rate": 8.886888888888889e-05,
      "loss": 0.0165,
      "step": 50090
    },
    {
      "epoch": 6.68,
      "grad_norm": 0.36358505487442017,
      "learning_rate": 8.886666666666668e-05,
      "loss": 0.0154,
      "step": 50100
    },
    {
      "epoch": 6.681333333333333,
      "grad_norm": 0.6203725934028625,
      "learning_rate": 8.886444444444444e-05,
      "loss": 0.0272,
      "step": 50110
    },
    {
      "epoch": 6.682666666666667,
      "grad_norm": 0.45267173647880554,
      "learning_rate": 8.886222222222222e-05,
      "loss": 0.018,
      "step": 50120
    },
    {
      "epoch": 6.684,
      "grad_norm": 0.7626991868019104,
      "learning_rate": 8.886e-05,
      "loss": 0.0187,
      "step": 50130
    },
    {
      "epoch": 6.685333333333333,
      "grad_norm": 0.8614575266838074,
      "learning_rate": 8.885777777777779e-05,
      "loss": 0.0189,
      "step": 50140
    },
    {
      "epoch": 6.6866666666666665,
      "grad_norm": 0.12501974403858185,
      "learning_rate": 8.885555555555555e-05,
      "loss": 0.012,
      "step": 50150
    },
    {
      "epoch": 6.688,
      "grad_norm": 0.5129528641700745,
      "learning_rate": 8.885333333333333e-05,
      "loss": 0.0168,
      "step": 50160
    },
    {
      "epoch": 6.689333333333334,
      "grad_norm": 1.0762919187545776,
      "learning_rate": 8.885111111111112e-05,
      "loss": 0.0304,
      "step": 50170
    },
    {
      "epoch": 6.690666666666667,
      "grad_norm": 0.916673481464386,
      "learning_rate": 8.884888888888889e-05,
      "loss": 0.0274,
      "step": 50180
    },
    {
      "epoch": 6.692,
      "grad_norm": 0.2810410261154175,
      "learning_rate": 8.884666666666666e-05,
      "loss": 0.0206,
      "step": 50190
    },
    {
      "epoch": 6.693333333333333,
      "grad_norm": 0.7512386441230774,
      "learning_rate": 8.884444444444446e-05,
      "loss": 0.0279,
      "step": 50200
    },
    {
      "epoch": 6.6946666666666665,
      "grad_norm": 0.17765529453754425,
      "learning_rate": 8.884222222222223e-05,
      "loss": 0.0142,
      "step": 50210
    },
    {
      "epoch": 6.696,
      "grad_norm": 0.232495978474617,
      "learning_rate": 8.884e-05,
      "loss": 0.0245,
      "step": 50220
    },
    {
      "epoch": 6.697333333333333,
      "grad_norm": 0.36471736431121826,
      "learning_rate": 8.883777777777779e-05,
      "loss": 0.0245,
      "step": 50230
    },
    {
      "epoch": 6.698666666666667,
      "grad_norm": 0.3947025239467621,
      "learning_rate": 8.883555555555556e-05,
      "loss": 0.0223,
      "step": 50240
    },
    {
      "epoch": 6.7,
      "grad_norm": 0.10762207955121994,
      "learning_rate": 8.883333333333333e-05,
      "loss": 0.0188,
      "step": 50250
    },
    {
      "epoch": 6.701333333333333,
      "grad_norm": 0.6764873266220093,
      "learning_rate": 8.883111111111112e-05,
      "loss": 0.0228,
      "step": 50260
    },
    {
      "epoch": 6.7026666666666666,
      "grad_norm": 0.40599074959754944,
      "learning_rate": 8.88288888888889e-05,
      "loss": 0.0144,
      "step": 50270
    },
    {
      "epoch": 6.704,
      "grad_norm": 0.447157621383667,
      "learning_rate": 8.882666666666667e-05,
      "loss": 0.0219,
      "step": 50280
    },
    {
      "epoch": 6.705333333333334,
      "grad_norm": 0.3065892457962036,
      "learning_rate": 8.882444444444444e-05,
      "loss": 0.0188,
      "step": 50290
    },
    {
      "epoch": 6.706666666666667,
      "grad_norm": 0.3589068055152893,
      "learning_rate": 8.882222222222223e-05,
      "loss": 0.0279,
      "step": 50300
    },
    {
      "epoch": 6.708,
      "grad_norm": 0.467590868473053,
      "learning_rate": 8.882000000000001e-05,
      "loss": 0.0232,
      "step": 50310
    },
    {
      "epoch": 6.709333333333333,
      "grad_norm": 0.2913937270641327,
      "learning_rate": 8.881777777777778e-05,
      "loss": 0.0184,
      "step": 50320
    },
    {
      "epoch": 6.710666666666667,
      "grad_norm": 0.24349108338356018,
      "learning_rate": 8.881555555555556e-05,
      "loss": 0.0145,
      "step": 50330
    },
    {
      "epoch": 6.712,
      "grad_norm": 0.15041273832321167,
      "learning_rate": 8.881333333333334e-05,
      "loss": 0.0173,
      "step": 50340
    },
    {
      "epoch": 6.713333333333333,
      "grad_norm": 0.3698217570781708,
      "learning_rate": 8.881111111111112e-05,
      "loss": 0.0259,
      "step": 50350
    },
    {
      "epoch": 6.714666666666667,
      "grad_norm": 0.542755663394928,
      "learning_rate": 8.88088888888889e-05,
      "loss": 0.0208,
      "step": 50360
    },
    {
      "epoch": 6.716,
      "grad_norm": 0.8486050367355347,
      "learning_rate": 8.880666666666667e-05,
      "loss": 0.0196,
      "step": 50370
    },
    {
      "epoch": 6.717333333333333,
      "grad_norm": 0.47200441360473633,
      "learning_rate": 8.880444444444445e-05,
      "loss": 0.0199,
      "step": 50380
    },
    {
      "epoch": 6.718666666666667,
      "grad_norm": 0.30171260237693787,
      "learning_rate": 8.880222222222223e-05,
      "loss": 0.0214,
      "step": 50390
    },
    {
      "epoch": 6.72,
      "grad_norm": 0.15142829716205597,
      "learning_rate": 8.88e-05,
      "loss": 0.0182,
      "step": 50400
    },
    {
      "epoch": 6.721333333333334,
      "grad_norm": 0.35408350825309753,
      "learning_rate": 8.879777777777778e-05,
      "loss": 0.0281,
      "step": 50410
    },
    {
      "epoch": 6.722666666666667,
      "grad_norm": 1.5791878700256348,
      "learning_rate": 8.879555555555556e-05,
      "loss": 0.0295,
      "step": 50420
    },
    {
      "epoch": 6.724,
      "grad_norm": 0.4814397692680359,
      "learning_rate": 8.879333333333334e-05,
      "loss": 0.0217,
      "step": 50430
    },
    {
      "epoch": 6.725333333333333,
      "grad_norm": 0.2997604310512543,
      "learning_rate": 8.879111111111111e-05,
      "loss": 0.013,
      "step": 50440
    },
    {
      "epoch": 6.726666666666667,
      "grad_norm": 0.2299218773841858,
      "learning_rate": 8.878888888888889e-05,
      "loss": 0.0305,
      "step": 50450
    },
    {
      "epoch": 6.728,
      "grad_norm": 0.21073825657367706,
      "learning_rate": 8.878666666666667e-05,
      "loss": 0.0246,
      "step": 50460
    },
    {
      "epoch": 6.729333333333333,
      "grad_norm": 0.4674769341945648,
      "learning_rate": 8.878444444444445e-05,
      "loss": 0.0208,
      "step": 50470
    },
    {
      "epoch": 6.730666666666667,
      "grad_norm": 0.3563779890537262,
      "learning_rate": 8.878222222222222e-05,
      "loss": 0.0212,
      "step": 50480
    },
    {
      "epoch": 6.732,
      "grad_norm": 0.4562385082244873,
      "learning_rate": 8.878000000000001e-05,
      "loss": 0.0154,
      "step": 50490
    },
    {
      "epoch": 6.733333333333333,
      "grad_norm": 0.4690193235874176,
      "learning_rate": 8.877777777777778e-05,
      "loss": 0.0195,
      "step": 50500
    },
    {
      "epoch": 6.734666666666667,
      "grad_norm": 0.6474894881248474,
      "learning_rate": 8.877555555555556e-05,
      "loss": 0.0252,
      "step": 50510
    },
    {
      "epoch": 6.736,
      "grad_norm": 0.3879370093345642,
      "learning_rate": 8.877333333333335e-05,
      "loss": 0.0157,
      "step": 50520
    },
    {
      "epoch": 6.737333333333333,
      "grad_norm": 0.23812761902809143,
      "learning_rate": 8.877111111111111e-05,
      "loss": 0.0156,
      "step": 50530
    },
    {
      "epoch": 6.738666666666667,
      "grad_norm": 0.13716629147529602,
      "learning_rate": 8.876888888888889e-05,
      "loss": 0.026,
      "step": 50540
    },
    {
      "epoch": 6.74,
      "grad_norm": 0.5657799243927002,
      "learning_rate": 8.876666666666668e-05,
      "loss": 0.0232,
      "step": 50550
    },
    {
      "epoch": 6.741333333333333,
      "grad_norm": 0.08831322193145752,
      "learning_rate": 8.876444444444446e-05,
      "loss": 0.0244,
      "step": 50560
    },
    {
      "epoch": 6.742666666666667,
      "grad_norm": 0.473971426486969,
      "learning_rate": 8.876222222222222e-05,
      "loss": 0.0225,
      "step": 50570
    },
    {
      "epoch": 6.744,
      "grad_norm": 0.2684895992279053,
      "learning_rate": 8.876e-05,
      "loss": 0.0216,
      "step": 50580
    },
    {
      "epoch": 6.745333333333333,
      "grad_norm": 0.9558573365211487,
      "learning_rate": 8.875777777777779e-05,
      "loss": 0.0227,
      "step": 50590
    },
    {
      "epoch": 6.746666666666667,
      "grad_norm": 0.9016669988632202,
      "learning_rate": 8.875555555555555e-05,
      "loss": 0.0124,
      "step": 50600
    },
    {
      "epoch": 6.748,
      "grad_norm": 0.35007771849632263,
      "learning_rate": 8.875333333333333e-05,
      "loss": 0.0193,
      "step": 50610
    },
    {
      "epoch": 6.749333333333333,
      "grad_norm": 0.37531405687332153,
      "learning_rate": 8.875111111111112e-05,
      "loss": 0.0246,
      "step": 50620
    },
    {
      "epoch": 6.750666666666667,
      "grad_norm": 0.5653035044670105,
      "learning_rate": 8.87488888888889e-05,
      "loss": 0.0196,
      "step": 50630
    },
    {
      "epoch": 6.752,
      "grad_norm": 0.4951533079147339,
      "learning_rate": 8.874666666666666e-05,
      "loss": 0.0265,
      "step": 50640
    },
    {
      "epoch": 6.753333333333333,
      "grad_norm": 0.5857425928115845,
      "learning_rate": 8.874444444444445e-05,
      "loss": 0.0197,
      "step": 50650
    },
    {
      "epoch": 6.754666666666667,
      "grad_norm": 0.16190020740032196,
      "learning_rate": 8.874222222222223e-05,
      "loss": 0.0203,
      "step": 50660
    },
    {
      "epoch": 6.756,
      "grad_norm": 0.17442834377288818,
      "learning_rate": 8.874000000000001e-05,
      "loss": 0.0222,
      "step": 50670
    },
    {
      "epoch": 6.757333333333333,
      "grad_norm": 0.4669622778892517,
      "learning_rate": 8.873777777777778e-05,
      "loss": 0.0194,
      "step": 50680
    },
    {
      "epoch": 6.758666666666667,
      "grad_norm": 1.3723326921463013,
      "learning_rate": 8.873555555555556e-05,
      "loss": 0.0225,
      "step": 50690
    },
    {
      "epoch": 6.76,
      "grad_norm": 0.5137977600097656,
      "learning_rate": 8.873333333333334e-05,
      "loss": 0.0116,
      "step": 50700
    },
    {
      "epoch": 6.761333333333333,
      "grad_norm": 0.4117322564125061,
      "learning_rate": 8.873111111111112e-05,
      "loss": 0.0241,
      "step": 50710
    },
    {
      "epoch": 6.762666666666667,
      "grad_norm": 0.2664198875427246,
      "learning_rate": 8.87288888888889e-05,
      "loss": 0.0183,
      "step": 50720
    },
    {
      "epoch": 6.764,
      "grad_norm": 0.016226593405008316,
      "learning_rate": 8.872666666666667e-05,
      "loss": 0.0137,
      "step": 50730
    },
    {
      "epoch": 6.765333333333333,
      "grad_norm": 0.3734419345855713,
      "learning_rate": 8.872444444444445e-05,
      "loss": 0.0144,
      "step": 50740
    },
    {
      "epoch": 6.766666666666667,
      "grad_norm": 0.21531182527542114,
      "learning_rate": 8.872222222222223e-05,
      "loss": 0.0199,
      "step": 50750
    },
    {
      "epoch": 6.768,
      "grad_norm": 0.3717270791530609,
      "learning_rate": 8.872e-05,
      "loss": 0.0149,
      "step": 50760
    },
    {
      "epoch": 6.769333333333333,
      "grad_norm": 0.5763630270957947,
      "learning_rate": 8.871777777777778e-05,
      "loss": 0.0236,
      "step": 50770
    },
    {
      "epoch": 6.770666666666667,
      "grad_norm": 0.24314986169338226,
      "learning_rate": 8.871555555555556e-05,
      "loss": 0.0118,
      "step": 50780
    },
    {
      "epoch": 6.772,
      "grad_norm": 0.5408459901809692,
      "learning_rate": 8.871333333333334e-05,
      "loss": 0.016,
      "step": 50790
    },
    {
      "epoch": 6.773333333333333,
      "grad_norm": 0.3528134524822235,
      "learning_rate": 8.871111111111111e-05,
      "loss": 0.0209,
      "step": 50800
    },
    {
      "epoch": 6.774666666666667,
      "grad_norm": 0.21288533508777618,
      "learning_rate": 8.870888888888889e-05,
      "loss": 0.0226,
      "step": 50810
    },
    {
      "epoch": 6.776,
      "grad_norm": 0.3820675015449524,
      "learning_rate": 8.870666666666667e-05,
      "loss": 0.0363,
      "step": 50820
    },
    {
      "epoch": 6.777333333333333,
      "grad_norm": 0.3234437108039856,
      "learning_rate": 8.870444444444445e-05,
      "loss": 0.0197,
      "step": 50830
    },
    {
      "epoch": 6.778666666666666,
      "grad_norm": 0.5712841749191284,
      "learning_rate": 8.870222222222224e-05,
      "loss": 0.0203,
      "step": 50840
    },
    {
      "epoch": 6.78,
      "grad_norm": 0.37200745940208435,
      "learning_rate": 8.87e-05,
      "loss": 0.017,
      "step": 50850
    },
    {
      "epoch": 6.781333333333333,
      "grad_norm": 0.6847531795501709,
      "learning_rate": 8.869777777777778e-05,
      "loss": 0.0219,
      "step": 50860
    },
    {
      "epoch": 6.782666666666667,
      "grad_norm": 0.20953403413295746,
      "learning_rate": 8.869555555555557e-05,
      "loss": 0.0216,
      "step": 50870
    },
    {
      "epoch": 6.784,
      "grad_norm": 0.6867153644561768,
      "learning_rate": 8.869333333333333e-05,
      "loss": 0.0183,
      "step": 50880
    },
    {
      "epoch": 6.785333333333333,
      "grad_norm": 0.41181138157844543,
      "learning_rate": 8.869111111111111e-05,
      "loss": 0.0165,
      "step": 50890
    },
    {
      "epoch": 6.786666666666667,
      "grad_norm": 0.2116669863462448,
      "learning_rate": 8.868888888888889e-05,
      "loss": 0.0171,
      "step": 50900
    },
    {
      "epoch": 6.788,
      "grad_norm": 0.13553519546985626,
      "learning_rate": 8.868666666666668e-05,
      "loss": 0.0134,
      "step": 50910
    },
    {
      "epoch": 6.789333333333333,
      "grad_norm": 0.5779440999031067,
      "learning_rate": 8.868444444444444e-05,
      "loss": 0.0198,
      "step": 50920
    },
    {
      "epoch": 6.790666666666667,
      "grad_norm": 0.6281922459602356,
      "learning_rate": 8.868222222222222e-05,
      "loss": 0.02,
      "step": 50930
    },
    {
      "epoch": 6.792,
      "grad_norm": 0.25243645906448364,
      "learning_rate": 8.868000000000001e-05,
      "loss": 0.0149,
      "step": 50940
    },
    {
      "epoch": 6.793333333333333,
      "grad_norm": 0.5046788454055786,
      "learning_rate": 8.867777777777778e-05,
      "loss": 0.0247,
      "step": 50950
    },
    {
      "epoch": 6.794666666666666,
      "grad_norm": 0.9421613812446594,
      "learning_rate": 8.867555555555555e-05,
      "loss": 0.0241,
      "step": 50960
    },
    {
      "epoch": 6.796,
      "grad_norm": 0.3121856451034546,
      "learning_rate": 8.867333333333334e-05,
      "loss": 0.0165,
      "step": 50970
    },
    {
      "epoch": 6.7973333333333334,
      "grad_norm": 0.31207388639450073,
      "learning_rate": 8.867111111111112e-05,
      "loss": 0.0211,
      "step": 50980
    },
    {
      "epoch": 6.798666666666667,
      "grad_norm": 0.5523410439491272,
      "learning_rate": 8.866888888888889e-05,
      "loss": 0.0207,
      "step": 50990
    },
    {
      "epoch": 6.8,
      "grad_norm": 0.23512032628059387,
      "learning_rate": 8.866666666666668e-05,
      "loss": 0.0145,
      "step": 51000
    },
    {
      "epoch": 6.801333333333333,
      "grad_norm": 0.7712417244911194,
      "learning_rate": 8.866444444444445e-05,
      "loss": 0.0152,
      "step": 51010
    },
    {
      "epoch": 6.802666666666667,
      "grad_norm": 0.515034019947052,
      "learning_rate": 8.866222222222223e-05,
      "loss": 0.0182,
      "step": 51020
    },
    {
      "epoch": 6.804,
      "grad_norm": 0.3185909688472748,
      "learning_rate": 8.866000000000001e-05,
      "loss": 0.0133,
      "step": 51030
    },
    {
      "epoch": 6.8053333333333335,
      "grad_norm": 0.3915504515171051,
      "learning_rate": 8.865777777777779e-05,
      "loss": 0.0201,
      "step": 51040
    },
    {
      "epoch": 6.806666666666667,
      "grad_norm": 0.9180543422698975,
      "learning_rate": 8.865555555555556e-05,
      "loss": 0.0195,
      "step": 51050
    },
    {
      "epoch": 6.808,
      "grad_norm": 0.08892552554607391,
      "learning_rate": 8.865333333333333e-05,
      "loss": 0.0178,
      "step": 51060
    },
    {
      "epoch": 6.809333333333333,
      "grad_norm": 1.3885101079940796,
      "learning_rate": 8.865111111111112e-05,
      "loss": 0.0175,
      "step": 51070
    },
    {
      "epoch": 6.810666666666666,
      "grad_norm": 0.3090038001537323,
      "learning_rate": 8.86488888888889e-05,
      "loss": 0.0291,
      "step": 51080
    },
    {
      "epoch": 6.812,
      "grad_norm": 0.5425660014152527,
      "learning_rate": 8.864666666666667e-05,
      "loss": 0.0162,
      "step": 51090
    },
    {
      "epoch": 6.8133333333333335,
      "grad_norm": 0.46617117524147034,
      "learning_rate": 8.864444444444445e-05,
      "loss": 0.0244,
      "step": 51100
    },
    {
      "epoch": 6.814666666666667,
      "grad_norm": 0.3064827024936676,
      "learning_rate": 8.864222222222223e-05,
      "loss": 0.0127,
      "step": 51110
    },
    {
      "epoch": 6.816,
      "grad_norm": 0.3127894103527069,
      "learning_rate": 8.864e-05,
      "loss": 0.0154,
      "step": 51120
    },
    {
      "epoch": 6.817333333333333,
      "grad_norm": 0.24623924493789673,
      "learning_rate": 8.863777777777778e-05,
      "loss": 0.0214,
      "step": 51130
    },
    {
      "epoch": 6.818666666666667,
      "grad_norm": 1.6366653442382812,
      "learning_rate": 8.863555555555556e-05,
      "loss": 0.021,
      "step": 51140
    },
    {
      "epoch": 6.82,
      "grad_norm": 0.9803659319877625,
      "learning_rate": 8.863333333333334e-05,
      "loss": 0.0257,
      "step": 51150
    },
    {
      "epoch": 6.8213333333333335,
      "grad_norm": 0.9419450163841248,
      "learning_rate": 8.863111111111111e-05,
      "loss": 0.0181,
      "step": 51160
    },
    {
      "epoch": 6.822666666666667,
      "grad_norm": 0.7588679790496826,
      "learning_rate": 8.862888888888889e-05,
      "loss": 0.0201,
      "step": 51170
    },
    {
      "epoch": 6.824,
      "grad_norm": 0.7355824708938599,
      "learning_rate": 8.862666666666667e-05,
      "loss": 0.0168,
      "step": 51180
    },
    {
      "epoch": 6.825333333333333,
      "grad_norm": 0.3891471326351166,
      "learning_rate": 8.862444444444445e-05,
      "loss": 0.0166,
      "step": 51190
    },
    {
      "epoch": 6.826666666666666,
      "grad_norm": 0.30807194113731384,
      "learning_rate": 8.862222222222222e-05,
      "loss": 0.0135,
      "step": 51200
    },
    {
      "epoch": 6.828,
      "grad_norm": 0.2488352656364441,
      "learning_rate": 8.862e-05,
      "loss": 0.0147,
      "step": 51210
    },
    {
      "epoch": 6.8293333333333335,
      "grad_norm": 0.14894646406173706,
      "learning_rate": 8.861777777777778e-05,
      "loss": 0.015,
      "step": 51220
    },
    {
      "epoch": 6.830666666666667,
      "grad_norm": 0.305027574300766,
      "learning_rate": 8.861555555555556e-05,
      "loss": 0.0128,
      "step": 51230
    },
    {
      "epoch": 6.832,
      "grad_norm": 0.6357881426811218,
      "learning_rate": 8.861333333333333e-05,
      "loss": 0.0235,
      "step": 51240
    },
    {
      "epoch": 6.833333333333333,
      "grad_norm": 0.870080292224884,
      "learning_rate": 8.861111111111111e-05,
      "loss": 0.0166,
      "step": 51250
    },
    {
      "epoch": 6.834666666666667,
      "grad_norm": 0.4569128751754761,
      "learning_rate": 8.86088888888889e-05,
      "loss": 0.0147,
      "step": 51260
    },
    {
      "epoch": 6.836,
      "grad_norm": 0.3419491648674011,
      "learning_rate": 8.860666666666667e-05,
      "loss": 0.0223,
      "step": 51270
    },
    {
      "epoch": 6.8373333333333335,
      "grad_norm": 0.2695685625076294,
      "learning_rate": 8.860444444444444e-05,
      "loss": 0.0173,
      "step": 51280
    },
    {
      "epoch": 6.838666666666667,
      "grad_norm": 0.24435220658779144,
      "learning_rate": 8.860222222222223e-05,
      "loss": 0.0293,
      "step": 51290
    },
    {
      "epoch": 6.84,
      "grad_norm": 0.22382447123527527,
      "learning_rate": 8.86e-05,
      "loss": 0.0169,
      "step": 51300
    },
    {
      "epoch": 6.841333333333333,
      "grad_norm": 0.19972987473011017,
      "learning_rate": 8.859777777777778e-05,
      "loss": 0.0203,
      "step": 51310
    },
    {
      "epoch": 6.842666666666666,
      "grad_norm": 0.20508132874965668,
      "learning_rate": 8.859555555555557e-05,
      "loss": 0.0158,
      "step": 51320
    },
    {
      "epoch": 6.844,
      "grad_norm": 0.49293437600135803,
      "learning_rate": 8.859333333333334e-05,
      "loss": 0.023,
      "step": 51330
    },
    {
      "epoch": 6.8453333333333335,
      "grad_norm": 0.1853085458278656,
      "learning_rate": 8.859111111111111e-05,
      "loss": 0.0228,
      "step": 51340
    },
    {
      "epoch": 6.846666666666667,
      "grad_norm": 1.0605182647705078,
      "learning_rate": 8.858888888888889e-05,
      "loss": 0.018,
      "step": 51350
    },
    {
      "epoch": 6.848,
      "grad_norm": 0.47718721628189087,
      "learning_rate": 8.858666666666668e-05,
      "loss": 0.0247,
      "step": 51360
    },
    {
      "epoch": 6.849333333333333,
      "grad_norm": 0.5273206830024719,
      "learning_rate": 8.858444444444445e-05,
      "loss": 0.0259,
      "step": 51370
    },
    {
      "epoch": 6.850666666666667,
      "grad_norm": 0.23098327219486237,
      "learning_rate": 8.858222222222222e-05,
      "loss": 0.0153,
      "step": 51380
    },
    {
      "epoch": 6.852,
      "grad_norm": 0.2526227533817291,
      "learning_rate": 8.858000000000001e-05,
      "loss": 0.0102,
      "step": 51390
    },
    {
      "epoch": 6.8533333333333335,
      "grad_norm": 0.33072951436042786,
      "learning_rate": 8.857777777777779e-05,
      "loss": 0.0138,
      "step": 51400
    },
    {
      "epoch": 6.854666666666667,
      "grad_norm": 0.36299455165863037,
      "learning_rate": 8.857555555555555e-05,
      "loss": 0.0134,
      "step": 51410
    },
    {
      "epoch": 6.856,
      "grad_norm": 0.1022719070315361,
      "learning_rate": 8.857333333333334e-05,
      "loss": 0.0094,
      "step": 51420
    },
    {
      "epoch": 6.857333333333333,
      "grad_norm": 0.22863557934761047,
      "learning_rate": 8.857111111111112e-05,
      "loss": 0.0282,
      "step": 51430
    },
    {
      "epoch": 6.858666666666666,
      "grad_norm": 0.6429838538169861,
      "learning_rate": 8.85688888888889e-05,
      "loss": 0.0099,
      "step": 51440
    },
    {
      "epoch": 6.86,
      "grad_norm": 0.4163074493408203,
      "learning_rate": 8.856666666666667e-05,
      "loss": 0.0325,
      "step": 51450
    },
    {
      "epoch": 6.8613333333333335,
      "grad_norm": 0.32999834418296814,
      "learning_rate": 8.856444444444445e-05,
      "loss": 0.0272,
      "step": 51460
    },
    {
      "epoch": 6.862666666666667,
      "grad_norm": 0.5497943162918091,
      "learning_rate": 8.856222222222223e-05,
      "loss": 0.0188,
      "step": 51470
    },
    {
      "epoch": 6.864,
      "grad_norm": 0.15128177404403687,
      "learning_rate": 8.856e-05,
      "loss": 0.0143,
      "step": 51480
    },
    {
      "epoch": 6.865333333333333,
      "grad_norm": 0.20323343575000763,
      "learning_rate": 8.855777777777778e-05,
      "loss": 0.0323,
      "step": 51490
    },
    {
      "epoch": 6.866666666666667,
      "grad_norm": 0.36103585362434387,
      "learning_rate": 8.855555555555556e-05,
      "loss": 0.0236,
      "step": 51500
    },
    {
      "epoch": 6.868,
      "grad_norm": 1.1875602006912231,
      "learning_rate": 8.855333333333334e-05,
      "loss": 0.0148,
      "step": 51510
    },
    {
      "epoch": 6.8693333333333335,
      "grad_norm": 0.2970198094844818,
      "learning_rate": 8.855111111111112e-05,
      "loss": 0.0204,
      "step": 51520
    },
    {
      "epoch": 6.870666666666667,
      "grad_norm": 0.3848879337310791,
      "learning_rate": 8.854888888888889e-05,
      "loss": 0.013,
      "step": 51530
    },
    {
      "epoch": 6.872,
      "grad_norm": 0.2812848389148712,
      "learning_rate": 8.854666666666667e-05,
      "loss": 0.015,
      "step": 51540
    },
    {
      "epoch": 6.873333333333333,
      "grad_norm": 0.06360796838998795,
      "learning_rate": 8.854444444444445e-05,
      "loss": 0.0196,
      "step": 51550
    },
    {
      "epoch": 6.874666666666666,
      "grad_norm": 0.392167866230011,
      "learning_rate": 8.854222222222223e-05,
      "loss": 0.0121,
      "step": 51560
    },
    {
      "epoch": 6.876,
      "grad_norm": 0.20636554062366486,
      "learning_rate": 8.854e-05,
      "loss": 0.0136,
      "step": 51570
    },
    {
      "epoch": 6.8773333333333335,
      "grad_norm": 0.1947791576385498,
      "learning_rate": 8.853777777777778e-05,
      "loss": 0.0187,
      "step": 51580
    },
    {
      "epoch": 6.878666666666667,
      "grad_norm": 0.4089500904083252,
      "learning_rate": 8.853555555555556e-05,
      "loss": 0.0182,
      "step": 51590
    },
    {
      "epoch": 6.88,
      "grad_norm": 0.3026253581047058,
      "learning_rate": 8.853333333333333e-05,
      "loss": 0.0213,
      "step": 51600
    },
    {
      "epoch": 6.881333333333333,
      "grad_norm": 0.2843836843967438,
      "learning_rate": 8.853111111111113e-05,
      "loss": 0.021,
      "step": 51610
    },
    {
      "epoch": 6.882666666666667,
      "grad_norm": 0.28702136874198914,
      "learning_rate": 8.852888888888889e-05,
      "loss": 0.022,
      "step": 51620
    },
    {
      "epoch": 6.884,
      "grad_norm": 0.15189610421657562,
      "learning_rate": 8.852666666666667e-05,
      "loss": 0.0118,
      "step": 51630
    },
    {
      "epoch": 6.8853333333333335,
      "grad_norm": 0.3849587142467499,
      "learning_rate": 8.852444444444444e-05,
      "loss": 0.0245,
      "step": 51640
    },
    {
      "epoch": 6.886666666666667,
      "grad_norm": 0.6775540113449097,
      "learning_rate": 8.852222222222222e-05,
      "loss": 0.0171,
      "step": 51650
    },
    {
      "epoch": 6.888,
      "grad_norm": 0.4610969126224518,
      "learning_rate": 8.852e-05,
      "loss": 0.0145,
      "step": 51660
    },
    {
      "epoch": 6.889333333333333,
      "grad_norm": 0.12268383800983429,
      "learning_rate": 8.851777777777778e-05,
      "loss": 0.0241,
      "step": 51670
    },
    {
      "epoch": 6.890666666666666,
      "grad_norm": 0.4009395241737366,
      "learning_rate": 8.851555555555557e-05,
      "loss": 0.0234,
      "step": 51680
    },
    {
      "epoch": 6.892,
      "grad_norm": 0.9515886306762695,
      "learning_rate": 8.851333333333333e-05,
      "loss": 0.0221,
      "step": 51690
    },
    {
      "epoch": 6.8933333333333335,
      "grad_norm": 0.18698851764202118,
      "learning_rate": 8.851111111111111e-05,
      "loss": 0.0145,
      "step": 51700
    },
    {
      "epoch": 6.894666666666667,
      "grad_norm": 0.23418299853801727,
      "learning_rate": 8.85088888888889e-05,
      "loss": 0.0187,
      "step": 51710
    },
    {
      "epoch": 6.896,
      "grad_norm": 0.10609674453735352,
      "learning_rate": 8.850666666666668e-05,
      "loss": 0.0277,
      "step": 51720
    },
    {
      "epoch": 6.897333333333333,
      "grad_norm": 0.07318528741598129,
      "learning_rate": 8.850444444444444e-05,
      "loss": 0.016,
      "step": 51730
    },
    {
      "epoch": 6.898666666666666,
      "grad_norm": 0.23438633978366852,
      "learning_rate": 8.850222222222223e-05,
      "loss": 0.0238,
      "step": 51740
    },
    {
      "epoch": 6.9,
      "grad_norm": 1.4130041599273682,
      "learning_rate": 8.850000000000001e-05,
      "loss": 0.0181,
      "step": 51750
    },
    {
      "epoch": 6.9013333333333335,
      "grad_norm": 0.20360808074474335,
      "learning_rate": 8.849777777777777e-05,
      "loss": 0.0208,
      "step": 51760
    },
    {
      "epoch": 6.902666666666667,
      "grad_norm": 0.42962050437927246,
      "learning_rate": 8.849555555555556e-05,
      "loss": 0.0111,
      "step": 51770
    },
    {
      "epoch": 6.904,
      "grad_norm": 0.64012610912323,
      "learning_rate": 8.849333333333334e-05,
      "loss": 0.0132,
      "step": 51780
    },
    {
      "epoch": 6.905333333333333,
      "grad_norm": 0.2394467294216156,
      "learning_rate": 8.849111111111112e-05,
      "loss": 0.0193,
      "step": 51790
    },
    {
      "epoch": 6.906666666666666,
      "grad_norm": 0.28747618198394775,
      "learning_rate": 8.848888888888888e-05,
      "loss": 0.0216,
      "step": 51800
    },
    {
      "epoch": 6.908,
      "grad_norm": 0.4026947319507599,
      "learning_rate": 8.848666666666667e-05,
      "loss": 0.0152,
      "step": 51810
    },
    {
      "epoch": 6.9093333333333335,
      "grad_norm": 0.22441187500953674,
      "learning_rate": 8.848444444444445e-05,
      "loss": 0.0184,
      "step": 51820
    },
    {
      "epoch": 6.910666666666667,
      "grad_norm": 0.1964200884103775,
      "learning_rate": 8.848222222222222e-05,
      "loss": 0.0171,
      "step": 51830
    },
    {
      "epoch": 6.912,
      "grad_norm": 0.3030194938182831,
      "learning_rate": 8.848e-05,
      "loss": 0.0203,
      "step": 51840
    },
    {
      "epoch": 6.913333333333333,
      "grad_norm": 0.1965758204460144,
      "learning_rate": 8.847777777777778e-05,
      "loss": 0.0167,
      "step": 51850
    },
    {
      "epoch": 6.914666666666666,
      "grad_norm": 0.4354698657989502,
      "learning_rate": 8.847555555555556e-05,
      "loss": 0.0238,
      "step": 51860
    },
    {
      "epoch": 6.916,
      "grad_norm": 0.3907473385334015,
      "learning_rate": 8.847333333333334e-05,
      "loss": 0.0195,
      "step": 51870
    },
    {
      "epoch": 6.917333333333334,
      "grad_norm": 1.0308552980422974,
      "learning_rate": 8.847111111111112e-05,
      "loss": 0.0175,
      "step": 51880
    },
    {
      "epoch": 6.918666666666667,
      "grad_norm": 0.6789472103118896,
      "learning_rate": 8.84688888888889e-05,
      "loss": 0.0139,
      "step": 51890
    },
    {
      "epoch": 6.92,
      "grad_norm": 0.23573267459869385,
      "learning_rate": 8.846666666666667e-05,
      "loss": 0.0216,
      "step": 51900
    },
    {
      "epoch": 6.921333333333333,
      "grad_norm": 0.394755482673645,
      "learning_rate": 8.846444444444445e-05,
      "loss": 0.0161,
      "step": 51910
    },
    {
      "epoch": 6.922666666666666,
      "grad_norm": 0.4541749656200409,
      "learning_rate": 8.846222222222223e-05,
      "loss": 0.017,
      "step": 51920
    },
    {
      "epoch": 6.924,
      "grad_norm": 0.18266545236110687,
      "learning_rate": 8.846e-05,
      "loss": 0.0256,
      "step": 51930
    },
    {
      "epoch": 6.925333333333334,
      "grad_norm": 0.030892377719283104,
      "learning_rate": 8.845777777777778e-05,
      "loss": 0.018,
      "step": 51940
    },
    {
      "epoch": 6.926666666666667,
      "grad_norm": 0.03160939738154411,
      "learning_rate": 8.845555555555556e-05,
      "loss": 0.0169,
      "step": 51950
    },
    {
      "epoch": 6.928,
      "grad_norm": 0.08930563181638718,
      "learning_rate": 8.845333333333334e-05,
      "loss": 0.0113,
      "step": 51960
    },
    {
      "epoch": 6.929333333333333,
      "grad_norm": 0.1267140954732895,
      "learning_rate": 8.845111111111111e-05,
      "loss": 0.011,
      "step": 51970
    },
    {
      "epoch": 6.930666666666666,
      "grad_norm": 0.38401085138320923,
      "learning_rate": 8.844888888888889e-05,
      "loss": 0.0169,
      "step": 51980
    },
    {
      "epoch": 6.932,
      "grad_norm": 0.27727586030960083,
      "learning_rate": 8.844666666666667e-05,
      "loss": 0.0125,
      "step": 51990
    },
    {
      "epoch": 6.933333333333334,
      "grad_norm": 1.1337541341781616,
      "learning_rate": 8.844444444444445e-05,
      "loss": 0.0241,
      "step": 52000
    },
    {
      "epoch": 6.934666666666667,
      "grad_norm": 0.41844695806503296,
      "learning_rate": 8.844222222222222e-05,
      "loss": 0.0246,
      "step": 52010
    },
    {
      "epoch": 6.936,
      "grad_norm": 0.3186582922935486,
      "learning_rate": 8.844e-05,
      "loss": 0.0173,
      "step": 52020
    },
    {
      "epoch": 6.937333333333333,
      "grad_norm": 0.5859470367431641,
      "learning_rate": 8.843777777777779e-05,
      "loss": 0.023,
      "step": 52030
    },
    {
      "epoch": 6.938666666666666,
      "grad_norm": 0.5437333583831787,
      "learning_rate": 8.843555555555556e-05,
      "loss": 0.0156,
      "step": 52040
    },
    {
      "epoch": 6.9399999999999995,
      "grad_norm": 0.592854917049408,
      "learning_rate": 8.843333333333333e-05,
      "loss": 0.0144,
      "step": 52050
    },
    {
      "epoch": 6.941333333333334,
      "grad_norm": 0.5305176973342896,
      "learning_rate": 8.843111111111112e-05,
      "loss": 0.0167,
      "step": 52060
    },
    {
      "epoch": 6.942666666666667,
      "grad_norm": 0.3415960967540741,
      "learning_rate": 8.84288888888889e-05,
      "loss": 0.0269,
      "step": 52070
    },
    {
      "epoch": 6.944,
      "grad_norm": 0.534076988697052,
      "learning_rate": 8.842666666666666e-05,
      "loss": 0.0165,
      "step": 52080
    },
    {
      "epoch": 6.945333333333333,
      "grad_norm": 0.7942264676094055,
      "learning_rate": 8.842444444444446e-05,
      "loss": 0.02,
      "step": 52090
    },
    {
      "epoch": 6.946666666666666,
      "grad_norm": 0.3877823054790497,
      "learning_rate": 8.842222222222223e-05,
      "loss": 0.0153,
      "step": 52100
    },
    {
      "epoch": 6.948,
      "grad_norm": 0.09660235792398453,
      "learning_rate": 8.842e-05,
      "loss": 0.0179,
      "step": 52110
    },
    {
      "epoch": 6.949333333333334,
      "grad_norm": 1.204835295677185,
      "learning_rate": 8.841777777777777e-05,
      "loss": 0.0146,
      "step": 52120
    },
    {
      "epoch": 6.950666666666667,
      "grad_norm": 0.6442644000053406,
      "learning_rate": 8.841555555555557e-05,
      "loss": 0.0268,
      "step": 52130
    },
    {
      "epoch": 6.952,
      "grad_norm": 0.11816514283418655,
      "learning_rate": 8.841333333333334e-05,
      "loss": 0.0139,
      "step": 52140
    },
    {
      "epoch": 6.953333333333333,
      "grad_norm": 0.6931037306785583,
      "learning_rate": 8.84111111111111e-05,
      "loss": 0.0226,
      "step": 52150
    },
    {
      "epoch": 6.954666666666666,
      "grad_norm": 0.16749858856201172,
      "learning_rate": 8.84088888888889e-05,
      "loss": 0.0126,
      "step": 52160
    },
    {
      "epoch": 6.9559999999999995,
      "grad_norm": 0.4079936742782593,
      "learning_rate": 8.840666666666668e-05,
      "loss": 0.0201,
      "step": 52170
    },
    {
      "epoch": 6.957333333333334,
      "grad_norm": 0.6127026677131653,
      "learning_rate": 8.840444444444444e-05,
      "loss": 0.0169,
      "step": 52180
    },
    {
      "epoch": 6.958666666666667,
      "grad_norm": 0.41572290658950806,
      "learning_rate": 8.840222222222223e-05,
      "loss": 0.024,
      "step": 52190
    },
    {
      "epoch": 6.96,
      "grad_norm": 0.365071564912796,
      "learning_rate": 8.840000000000001e-05,
      "loss": 0.0124,
      "step": 52200
    },
    {
      "epoch": 6.961333333333333,
      "grad_norm": 0.21161535382270813,
      "learning_rate": 8.839777777777778e-05,
      "loss": 0.0148,
      "step": 52210
    },
    {
      "epoch": 6.962666666666666,
      "grad_norm": 0.6095819473266602,
      "learning_rate": 8.839555555555556e-05,
      "loss": 0.0241,
      "step": 52220
    },
    {
      "epoch": 6.964,
      "grad_norm": 0.4988626539707184,
      "learning_rate": 8.839333333333334e-05,
      "loss": 0.0131,
      "step": 52230
    },
    {
      "epoch": 6.965333333333334,
      "grad_norm": 0.3300502598285675,
      "learning_rate": 8.839111111111112e-05,
      "loss": 0.0169,
      "step": 52240
    },
    {
      "epoch": 6.966666666666667,
      "grad_norm": 0.09648390859365463,
      "learning_rate": 8.838888888888888e-05,
      "loss": 0.0231,
      "step": 52250
    },
    {
      "epoch": 6.968,
      "grad_norm": 0.5319374203681946,
      "learning_rate": 8.838666666666667e-05,
      "loss": 0.0149,
      "step": 52260
    },
    {
      "epoch": 6.969333333333333,
      "grad_norm": 0.7641037702560425,
      "learning_rate": 8.838444444444445e-05,
      "loss": 0.0254,
      "step": 52270
    },
    {
      "epoch": 6.970666666666666,
      "grad_norm": 0.4925689995288849,
      "learning_rate": 8.838222222222223e-05,
      "loss": 0.025,
      "step": 52280
    },
    {
      "epoch": 6.9719999999999995,
      "grad_norm": 0.2940663695335388,
      "learning_rate": 8.838e-05,
      "loss": 0.0206,
      "step": 52290
    },
    {
      "epoch": 6.973333333333334,
      "grad_norm": 0.25923842191696167,
      "learning_rate": 8.837777777777778e-05,
      "loss": 0.0177,
      "step": 52300
    },
    {
      "epoch": 6.974666666666667,
      "grad_norm": 0.6019049882888794,
      "learning_rate": 8.837555555555556e-05,
      "loss": 0.0219,
      "step": 52310
    },
    {
      "epoch": 6.976,
      "grad_norm": 0.03697836399078369,
      "learning_rate": 8.837333333333334e-05,
      "loss": 0.0189,
      "step": 52320
    },
    {
      "epoch": 6.977333333333333,
      "grad_norm": 0.7893273234367371,
      "learning_rate": 8.837111111111111e-05,
      "loss": 0.0288,
      "step": 52330
    },
    {
      "epoch": 6.978666666666666,
      "grad_norm": 0.44367051124572754,
      "learning_rate": 8.836888888888889e-05,
      "loss": 0.0187,
      "step": 52340
    },
    {
      "epoch": 6.98,
      "grad_norm": 1.3708873987197876,
      "learning_rate": 8.836666666666667e-05,
      "loss": 0.018,
      "step": 52350
    },
    {
      "epoch": 6.981333333333334,
      "grad_norm": 0.6866438388824463,
      "learning_rate": 8.836444444444445e-05,
      "loss": 0.0153,
      "step": 52360
    },
    {
      "epoch": 6.982666666666667,
      "grad_norm": 0.41703829169273376,
      "learning_rate": 8.836222222222222e-05,
      "loss": 0.0221,
      "step": 52370
    },
    {
      "epoch": 6.984,
      "grad_norm": 0.6643165946006775,
      "learning_rate": 8.836000000000001e-05,
      "loss": 0.0257,
      "step": 52380
    },
    {
      "epoch": 6.985333333333333,
      "grad_norm": 0.6416967511177063,
      "learning_rate": 8.835777777777778e-05,
      "loss": 0.0296,
      "step": 52390
    },
    {
      "epoch": 6.986666666666666,
      "grad_norm": 0.507144033908844,
      "learning_rate": 8.835555555555556e-05,
      "loss": 0.0154,
      "step": 52400
    },
    {
      "epoch": 6.9879999999999995,
      "grad_norm": 0.5514286756515503,
      "learning_rate": 8.835333333333333e-05,
      "loss": 0.0167,
      "step": 52410
    },
    {
      "epoch": 6.989333333333334,
      "grad_norm": 0.5274802446365356,
      "learning_rate": 8.835111111111112e-05,
      "loss": 0.0162,
      "step": 52420
    },
    {
      "epoch": 6.990666666666667,
      "grad_norm": 0.5398106575012207,
      "learning_rate": 8.834888888888889e-05,
      "loss": 0.0131,
      "step": 52430
    },
    {
      "epoch": 6.992,
      "grad_norm": 0.10999324172735214,
      "learning_rate": 8.834666666666667e-05,
      "loss": 0.0161,
      "step": 52440
    },
    {
      "epoch": 6.993333333333333,
      "grad_norm": 0.6911226511001587,
      "learning_rate": 8.834444444444446e-05,
      "loss": 0.0192,
      "step": 52450
    },
    {
      "epoch": 6.994666666666666,
      "grad_norm": 0.4293656051158905,
      "learning_rate": 8.834222222222222e-05,
      "loss": 0.0198,
      "step": 52460
    },
    {
      "epoch": 6.996,
      "grad_norm": 0.47822174429893494,
      "learning_rate": 8.834e-05,
      "loss": 0.0212,
      "step": 52470
    },
    {
      "epoch": 6.997333333333334,
      "grad_norm": 0.5041197538375854,
      "learning_rate": 8.833777777777779e-05,
      "loss": 0.0195,
      "step": 52480
    },
    {
      "epoch": 6.998666666666667,
      "grad_norm": 0.3168971538543701,
      "learning_rate": 8.833555555555557e-05,
      "loss": 0.021,
      "step": 52490
    },
    {
      "epoch": 7.0,
      "grad_norm": 1.0400707721710205,
      "learning_rate": 8.833333333333333e-05,
      "loss": 0.0192,
      "step": 52500
    },
    {
      "epoch": 7.0,
      "eval_loss": 0.022806307300925255,
      "eval_runtime": 37.0094,
      "eval_samples_per_second": 81.06,
      "eval_steps_per_second": 5.08,
      "step": 52500
    }
  ],
  "logging_steps": 10,
  "max_steps": 450000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 60,
  "save_steps": 500,
  "stateful_callbacks": {
    "EarlyStoppingCallback": {
      "args": {
        "early_stopping_patience": 3,
        "early_stopping_threshold": 0.0
      },
      "attributes": {
        "early_stopping_patience_counter": 0
      }
    },
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 3.903700598784e+16,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}