| { | |
| "metadata": { | |
| "ParamSize": 325, | |
| "ParamBytes": 11118735360.0, | |
| "BitsPerParam": 31.960439972846633 | |
| }, | |
| "records": [ | |
| { | |
| "dataPath": "params_shard_0.bin", | |
| "format": "raw-shard", | |
| "nbytes": 262144000, | |
| "records": [ | |
| { | |
| "name": "lm_head.linear.weight", | |
| "shape": [ | |
| 51200, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 262144000, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "d7e9cde7d12c3ee5299a5027e9623efb" | |
| }, | |
| { | |
| "dataPath": "params_shard_1.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.30.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "ea5c08981c259918cbfc51837699610b" | |
| }, | |
| { | |
| "dataPath": "params_shard_2.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.30.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "8424fc14f1c7394028d533c1fa069608" | |
| }, | |
| { | |
| "dataPath": "params_shard_3.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.30.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "3d0aceaf3819f7e785b6e47cf9e0b7b4" | |
| }, | |
| { | |
| "dataPath": "params_shard_4.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.31.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "830f50e76934a543d95d90c2ffdf5c6d" | |
| }, | |
| { | |
| "dataPath": "params_shard_5.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.31.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "dcc282ebf411fcc8e3df720c7e1e0fbf" | |
| }, | |
| { | |
| "dataPath": "params_shard_6.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.31.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "e6963a6f9a153d8a15e8746540671b34" | |
| }, | |
| { | |
| "dataPath": "params_shard_7.bin", | |
| "format": "raw-shard", | |
| "nbytes": 262144000, | |
| "records": [ | |
| { | |
| "name": "transformer.embd.weight", | |
| "shape": [ | |
| 51200, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 262144000, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "fe07943feda29e33311211330c358d79" | |
| }, | |
| { | |
| "dataPath": "params_shard_8.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.0.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "fc398efd6b9069648c38d9bbebdd9fe6" | |
| }, | |
| { | |
| "dataPath": "params_shard_9.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26460160, | |
| "records": [ | |
| { | |
| "name": "lm_head.linear.bias", | |
| "shape": [ | |
| 51200 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 102400, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "lm_head.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 102400 | |
| }, | |
| { | |
| "name": "lm_head.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 107520 | |
| }, | |
| { | |
| "name": "transformer.h.30.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 112640 | |
| }, | |
| { | |
| "name": "transformer.h.30.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 128000 | |
| }, | |
| { | |
| "name": "transformer.h.30.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 133120 | |
| }, | |
| { | |
| "name": "transformer.h.30.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13240320 | |
| }, | |
| { | |
| "name": "transformer.h.30.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13260800 | |
| }, | |
| { | |
| "name": "transformer.h.31.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13265920 | |
| }, | |
| { | |
| "name": "transformer.h.31.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13271040 | |
| }, | |
| { | |
| "name": "transformer.h.31.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13276160 | |
| }, | |
| { | |
| "name": "transformer.h.31.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13291520 | |
| }, | |
| { | |
| "name": "transformer.h.31.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13296640 | |
| }, | |
| { | |
| "name": "transformer.h.31.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26403840 | |
| }, | |
| { | |
| "name": "transformer.h.31.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26424320 | |
| }, | |
| { | |
| "name": "transformer.h.0.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26429440 | |
| }, | |
| { | |
| "name": "transformer.h.0.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26434560 | |
| }, | |
| { | |
| "name": "transformer.h.0.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26439680 | |
| }, | |
| { | |
| "name": "transformer.h.0.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26455040 | |
| } | |
| ], | |
| "md5sum": "0fe5fef200434a4dbe701c316d99e026" | |
| }, | |
| { | |
| "dataPath": "params_shard_10.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.0.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "751734852b207989f33ba736008d5a27" | |
| }, | |
| { | |
| "dataPath": "params_shard_11.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.0.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "2627fee2296e7d58ccf49b9415936118" | |
| }, | |
| { | |
| "dataPath": "params_shard_12.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.1.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "ecb6f6a72059d605e0267d10ff492d6b" | |
| }, | |
| { | |
| "dataPath": "params_shard_13.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.1.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "a6c75dabacc775d387652b86e3e07d77" | |
| }, | |
| { | |
| "dataPath": "params_shard_14.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.1.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "83abe2705307485b0ca8f290376272f0" | |
| }, | |
| { | |
| "dataPath": "params_shard_15.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.10.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "eb2bbeb790c759670afdf0465283bb07" | |
| }, | |
| { | |
| "dataPath": "params_shard_16.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.0.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.0.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.0.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.1.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.1.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.1.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.1.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.1.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.1.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.1.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.10.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.10.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.10.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.10.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "1aca048d146742d98a07ee637707fecf" | |
| }, | |
| { | |
| "dataPath": "params_shard_17.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.10.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "e839919eb1c1e1e475db4441966d96c8" | |
| }, | |
| { | |
| "dataPath": "params_shard_18.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.10.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "f58ccc8b96416c962b83c581914a99aa" | |
| }, | |
| { | |
| "dataPath": "params_shard_19.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.11.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "5adaad00e40fea1728c58896e7dc1053" | |
| }, | |
| { | |
| "dataPath": "params_shard_20.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.11.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "40b3bf39c11526fb7d423e9d01909eed" | |
| }, | |
| { | |
| "dataPath": "params_shard_21.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.11.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "1ab9696d43e31e63b7f704ed1efbe24c" | |
| }, | |
| { | |
| "dataPath": "params_shard_22.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.12.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "869362531b2d0e22b3ad79c0c6e48164" | |
| }, | |
| { | |
| "dataPath": "params_shard_23.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.10.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.10.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.10.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.11.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.11.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.11.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.11.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.11.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.11.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.11.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.12.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.12.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.12.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.12.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "2f98c1b28d6f520ed727c6b77f7e0c25" | |
| }, | |
| { | |
| "dataPath": "params_shard_24.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.12.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "404f151c73c85425a79565b7368eeab4" | |
| }, | |
| { | |
| "dataPath": "params_shard_25.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.12.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "7a40057274a5a0ea66a075a2a40a259f" | |
| }, | |
| { | |
| "dataPath": "params_shard_26.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.13.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "a3d40b80d3082e6cc5939999ee69ba77" | |
| }, | |
| { | |
| "dataPath": "params_shard_27.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.13.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "183901550663b7f28631de466cb4dd39" | |
| }, | |
| { | |
| "dataPath": "params_shard_28.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.13.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "94e589923aeda81a940a859d4563c406" | |
| }, | |
| { | |
| "dataPath": "params_shard_29.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.14.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "7393d48ab715524fc82666fae91e387d" | |
| }, | |
| { | |
| "dataPath": "params_shard_30.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.12.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.12.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.12.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.13.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.13.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.13.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.13.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.13.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.13.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.13.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.14.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.14.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.14.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.14.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "c069a5441f92ebb7ce2a3768113c72f5" | |
| }, | |
| { | |
| "dataPath": "params_shard_31.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.14.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "5045f6b1aa710013dba283d00434cde5" | |
| }, | |
| { | |
| "dataPath": "params_shard_32.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.14.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "5ada56e0beb360f1d51ebdada340e940" | |
| }, | |
| { | |
| "dataPath": "params_shard_33.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.15.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "15950977ec8863754b199a1da56d187a" | |
| }, | |
| { | |
| "dataPath": "params_shard_34.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.15.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "79b8d478e995ee417a5c5582dcc48449" | |
| }, | |
| { | |
| "dataPath": "params_shard_35.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.15.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "605d483d4ef5245982ce9d9ddc721971" | |
| }, | |
| { | |
| "dataPath": "params_shard_36.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.16.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "26dec40f9b1d0acf4c3c850ab210307c" | |
| }, | |
| { | |
| "dataPath": "params_shard_37.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.14.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.14.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.14.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.15.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.15.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.15.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.15.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.15.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.15.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.15.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.16.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.16.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.16.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.16.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "f775727ca085cd869e672ae9bc33094e" | |
| }, | |
| { | |
| "dataPath": "params_shard_38.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.16.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "28bf56ef3771866114e42a93d25a8c66" | |
| }, | |
| { | |
| "dataPath": "params_shard_39.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.16.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "403e517b8fed97e0a28cdb93b85d30ca" | |
| }, | |
| { | |
| "dataPath": "params_shard_40.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.17.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "8f253e07481a88b2c4fcf350cf14e29a" | |
| }, | |
| { | |
| "dataPath": "params_shard_41.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.17.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "814208743613bfc2ab413b6d30fceeba" | |
| }, | |
| { | |
| "dataPath": "params_shard_42.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.17.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "2de5ba9eb81f30757f40f275bc712fba" | |
| }, | |
| { | |
| "dataPath": "params_shard_43.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.18.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "4060b82d665b96613067d1cd23dbdcec" | |
| }, | |
| { | |
| "dataPath": "params_shard_44.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.16.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.16.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.16.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.17.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.17.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.17.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.17.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.17.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.17.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.17.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.18.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.18.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.18.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.18.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "9d0a87613b5640b5864bf187dc0e52a8" | |
| }, | |
| { | |
| "dataPath": "params_shard_45.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.18.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "b50e4b9a5c20423a9bd21101cff9ddc3" | |
| }, | |
| { | |
| "dataPath": "params_shard_46.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.18.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "c8bbe727fd7e28a336a163dd1d8f92da" | |
| }, | |
| { | |
| "dataPath": "params_shard_47.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.19.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "71bbd8325ada894d61d4330a2f6f9470" | |
| }, | |
| { | |
| "dataPath": "params_shard_48.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.19.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "1dbd09268a9480cf609330801c37811c" | |
| }, | |
| { | |
| "dataPath": "params_shard_49.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.19.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "7ccd7d65e732452e0c4c8372ad53d30f" | |
| }, | |
| { | |
| "dataPath": "params_shard_50.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.2.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "f097ec8d9142610a4ff76da84adbafc7" | |
| }, | |
| { | |
| "dataPath": "params_shard_51.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.18.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.18.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.18.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.19.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.19.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.19.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.19.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.19.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.19.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.19.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.2.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.2.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.2.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.2.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "e28441af54ac75f19544f3d4c647e420" | |
| }, | |
| { | |
| "dataPath": "params_shard_52.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.2.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "71d408781bb37d906047b046985ca05a" | |
| }, | |
| { | |
| "dataPath": "params_shard_53.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.2.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "e5ec7ce4aeb6c56a1b561b43e3e8f8f6" | |
| }, | |
| { | |
| "dataPath": "params_shard_54.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.20.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "a47d3d174628ba333989d9f171fe5b04" | |
| }, | |
| { | |
| "dataPath": "params_shard_55.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.20.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "02002dd85b655511253eff0a3c471886" | |
| }, | |
| { | |
| "dataPath": "params_shard_56.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.20.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "7e9705be9a5076a6bfb370050f284916" | |
| }, | |
| { | |
| "dataPath": "params_shard_57.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.21.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "821ec94f3d5cd6eff9d896a85775c91f" | |
| }, | |
| { | |
| "dataPath": "params_shard_58.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.2.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.2.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.2.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.20.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.20.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.20.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.20.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.20.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.20.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.20.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.21.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.21.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.21.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.21.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "2a340a3044b0e1c95cd1c0ead5730af6" | |
| }, | |
| { | |
| "dataPath": "params_shard_59.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.21.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "00f9879eb2da5c825e4e557bd5cf7c5a" | |
| }, | |
| { | |
| "dataPath": "params_shard_60.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.21.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "48061c02f771c2f45fd307fc1d798f11" | |
| }, | |
| { | |
| "dataPath": "params_shard_61.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.22.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "7cec8335abf2c09b055284d08fc8e1aa" | |
| }, | |
| { | |
| "dataPath": "params_shard_62.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.22.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "7e8f0a6bf5842f944ae27cb88448fcec" | |
| }, | |
| { | |
| "dataPath": "params_shard_63.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.22.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "d5e2dab5eed2ac03c24d56e39d8860b5" | |
| }, | |
| { | |
| "dataPath": "params_shard_64.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.23.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "0e0e736b1542d0feeefbe8eb1313851e" | |
| }, | |
| { | |
| "dataPath": "params_shard_65.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.21.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.21.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.21.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.22.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.22.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.22.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.22.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.22.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.22.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.22.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.23.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.23.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.23.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.23.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "c8a42c6e998c5ef5dc509db82c574ad0" | |
| }, | |
| { | |
| "dataPath": "params_shard_66.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.23.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "cc5c042764df99ec28aa99a195760492" | |
| }, | |
| { | |
| "dataPath": "params_shard_67.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.23.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "56559d0474c4fe2edddab83f92d70be1" | |
| }, | |
| { | |
| "dataPath": "params_shard_68.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.24.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "06955b650d093be4725d8c34de38dee4" | |
| }, | |
| { | |
| "dataPath": "params_shard_69.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.24.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "821f47cb5d51bf48998d81d9b27fc94e" | |
| }, | |
| { | |
| "dataPath": "params_shard_70.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.24.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "78b9df19613e7f3af6546d367605090c" | |
| }, | |
| { | |
| "dataPath": "params_shard_71.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.25.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "6307b4b6420efd72d1215c99b3f83b23" | |
| }, | |
| { | |
| "dataPath": "params_shard_72.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.23.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.23.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.23.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.24.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.24.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.24.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.24.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.24.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.24.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.24.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.25.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.25.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.25.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.25.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "d21de844b6165de45f340cc2a314b258" | |
| }, | |
| { | |
| "dataPath": "params_shard_73.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.25.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "ea354c2bd7804300d019dce80029ea6e" | |
| }, | |
| { | |
| "dataPath": "params_shard_74.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.25.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "80d56255a28d662eabd344b496644a9e" | |
| }, | |
| { | |
| "dataPath": "params_shard_75.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.26.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "4171509f96489c9a64e42aa703d352be" | |
| }, | |
| { | |
| "dataPath": "params_shard_76.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.26.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "9e6cad71d99ded72a2b87ae791808e03" | |
| }, | |
| { | |
| "dataPath": "params_shard_77.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.26.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "b7fa5d1f8fd195c0b4b6bdde61249f2f" | |
| }, | |
| { | |
| "dataPath": "params_shard_78.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.27.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "31274e5676dcf2df7daf9914f0d57ba8" | |
| }, | |
| { | |
| "dataPath": "params_shard_79.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.25.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.25.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.25.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.26.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.26.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.26.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.26.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.26.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.26.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.26.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.27.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.27.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.27.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.27.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "50d4a7fa8aae3eedf6f23981043b220b" | |
| }, | |
| { | |
| "dataPath": "params_shard_80.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.27.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "cddaba83ad59d521eab593a0775dc48d" | |
| }, | |
| { | |
| "dataPath": "params_shard_81.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.27.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "75f331b6f4b034fda311e5e2a438ac54" | |
| }, | |
| { | |
| "dataPath": "params_shard_82.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.28.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "a3bb2d61827ee3c28b39a072a00fbf84" | |
| }, | |
| { | |
| "dataPath": "params_shard_83.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.28.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "80df685d13c4d96f17533c12c61b03c3" | |
| }, | |
| { | |
| "dataPath": "params_shard_84.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.28.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "6a668321ff23069b5a03f9ae6c05a6b1" | |
| }, | |
| { | |
| "dataPath": "params_shard_85.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.29.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "c9aebc0298e17652a540139b91d2d308" | |
| }, | |
| { | |
| "dataPath": "params_shard_86.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.27.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.27.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.27.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.28.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.28.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.28.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.28.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.28.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.28.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.28.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.29.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.29.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.29.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.29.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "0ace3e90b48975ec32a3d111cc8ad6ed" | |
| }, | |
| { | |
| "dataPath": "params_shard_87.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.29.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "8839d038b05bbe0c0445dcd1319204f2" | |
| }, | |
| { | |
| "dataPath": "params_shard_88.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.29.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "e560d6a67997c1579eb4229c40b012fa" | |
| }, | |
| { | |
| "dataPath": "params_shard_89.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.3.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "63a1904d80c3a640c80e8ac62bbfc49a" | |
| }, | |
| { | |
| "dataPath": "params_shard_90.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.3.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "1327dfe4f81a05e476973b4109573d37" | |
| }, | |
| { | |
| "dataPath": "params_shard_91.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.3.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "3ab79ac7e81c5b670244865e9d2a7e49" | |
| }, | |
| { | |
| "dataPath": "params_shard_92.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.4.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "7ae99493fa898fe35cd337000138aff1" | |
| }, | |
| { | |
| "dataPath": "params_shard_93.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26337280, | |
| "records": [ | |
| { | |
| "name": "transformer.h.29.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.29.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.29.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.3.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.3.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.3.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.3.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.3.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.3.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.3.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.30.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.30.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.4.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.4.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26311680 | |
| }, | |
| { | |
| "name": "transformer.h.4.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26316800 | |
| }, | |
| { | |
| "name": "transformer.h.4.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26332160 | |
| } | |
| ], | |
| "md5sum": "db8131fba847481327bb2b4847460086" | |
| }, | |
| { | |
| "dataPath": "params_shard_94.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.4.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "89906fbd083dd6a92d8674137fe494a3" | |
| }, | |
| { | |
| "dataPath": "params_shard_95.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.4.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "a7e0bbb6c5a3105778b3ef755f925468" | |
| }, | |
| { | |
| "dataPath": "params_shard_96.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.5.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "d29212b5c175692b057528d24d66c67c" | |
| }, | |
| { | |
| "dataPath": "params_shard_97.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.5.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "62ab3f12c33b995133655caa26cd8c60" | |
| }, | |
| { | |
| "dataPath": "params_shard_98.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.5.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "5fea031149283882521dada1691f5317" | |
| }, | |
| { | |
| "dataPath": "params_shard_99.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.6.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "4ab2225fbc89ea2db05554c5613e6382" | |
| }, | |
| { | |
| "dataPath": "params_shard_100.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.4.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.4.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.4.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.5.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.5.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.5.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.5.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.5.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.5.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.5.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.6.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.6.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.6.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.6.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "2c96163d632c05049524e96c062dea27" | |
| }, | |
| { | |
| "dataPath": "params_shard_101.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.6.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "f95aceb35176b9d6625050f527ac328d" | |
| }, | |
| { | |
| "dataPath": "params_shard_102.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.6.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "830f03c5e3592d9b11f53dd40c000f33" | |
| }, | |
| { | |
| "dataPath": "params_shard_103.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.7.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "c6ff095b53ace728f5116bbbac1ec86c" | |
| }, | |
| { | |
| "dataPath": "params_shard_104.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.7.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "ffe92420dce2049dd976637678c57d14" | |
| }, | |
| { | |
| "dataPath": "params_shard_105.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.7.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "d2160fd954cc248932c0f8057e35f0c2" | |
| }, | |
| { | |
| "dataPath": "params_shard_106.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.8.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "688d08f17c78b9f803b0886e55c68b14" | |
| }, | |
| { | |
| "dataPath": "params_shard_107.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26327040, | |
| "records": [ | |
| { | |
| "name": "transformer.h.6.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.6.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.6.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.7.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.7.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.7.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.7.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.7.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.7.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.7.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| }, | |
| { | |
| "name": "transformer.h.8.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26296320 | |
| }, | |
| { | |
| "name": "transformer.h.8.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26301440 | |
| }, | |
| { | |
| "name": "transformer.h.8.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 26306560 | |
| }, | |
| { | |
| "name": "transformer.h.8.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26321920 | |
| } | |
| ], | |
| "md5sum": "323a16eb94858071faead46aaf8406a7" | |
| }, | |
| { | |
| "dataPath": "params_shard_108.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.8.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "83d1fe2db076758cebe5ce4ee4258d83" | |
| }, | |
| { | |
| "dataPath": "params_shard_109.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.8.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "0374560163e1e87cbe7009acde08f622" | |
| }, | |
| { | |
| "dataPath": "params_shard_110.bin", | |
| "format": "raw-shard", | |
| "nbytes": 39321600, | |
| "records": [ | |
| { | |
| "name": "transformer.h.9.mixer.Wqkv.weight", | |
| "shape": [ | |
| 7680, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 39321600, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "d2e2326a20a2783ae3f5571d34764c80" | |
| }, | |
| { | |
| "dataPath": "params_shard_111.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.9.mlp.fc1.weight", | |
| "shape": [ | |
| 10240, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "364b56f60711d8b3fc76cb12b997893b" | |
| }, | |
| { | |
| "dataPath": "params_shard_112.bin", | |
| "format": "raw-shard", | |
| "nbytes": 52428800, | |
| "records": [ | |
| { | |
| "name": "transformer.h.9.mlp.fc2.weight", | |
| "shape": [ | |
| 2560, | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 52428800, | |
| "byteOffset": 0 | |
| } | |
| ], | |
| "md5sum": "12bce6b32493b4420441ebce3e865bb1" | |
| }, | |
| { | |
| "dataPath": "params_shard_113.bin", | |
| "format": "raw-shard", | |
| "nbytes": 26296320, | |
| "records": [ | |
| { | |
| "name": "transformer.h.8.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 0 | |
| }, | |
| { | |
| "name": "transformer.h.8.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 13107200 | |
| }, | |
| { | |
| "name": "transformer.h.8.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13127680 | |
| }, | |
| { | |
| "name": "transformer.h.9.ln.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13132800 | |
| }, | |
| { | |
| "name": "transformer.h.9.ln.weight", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13137920 | |
| }, | |
| { | |
| "name": "transformer.h.9.mixer.Wqkv.bias", | |
| "shape": [ | |
| 7680 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 15360, | |
| "byteOffset": 13143040 | |
| }, | |
| { | |
| "name": "transformer.h.9.mixer.out_proj.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 13158400 | |
| }, | |
| { | |
| "name": "transformer.h.9.mixer.out_proj.weight", | |
| "shape": [ | |
| 2560, | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 13107200, | |
| "byteOffset": 13163520 | |
| }, | |
| { | |
| "name": "transformer.h.9.mlp.fc1.bias", | |
| "shape": [ | |
| 10240 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 20480, | |
| "byteOffset": 26270720 | |
| }, | |
| { | |
| "name": "transformer.h.9.mlp.fc2.bias", | |
| "shape": [ | |
| 2560 | |
| ], | |
| "dtype": "bfloat16", | |
| "format": "raw", | |
| "nbytes": 5120, | |
| "byteOffset": 26291200 | |
| } | |
| ], | |
| "md5sum": "8f77666f818da1ae3a13cc6742c77c73" | |
| } | |
| ] | |
| } |