/home/junrushao/micromamba/envs/python311/bin/python -m mlc_chat gen_config /home/junrushao/tmp/tmpc5liwyrs/repo --quantization q4f32_1 --conv-template dolly --output /home/junrushao/tmp/tmpq5kh4k7j --context-window-size 2048
[2023-12-29 19:25:55] INFO auto_config.py:115: Found model configuration: /home/junrushao/tmp/tmpc5liwyrs/repo/config.json
[2023-12-29 19:25:55] INFO auto_config.py:151: Found model type: gpt_neox. Use `--model-type` to override.
[2023-12-29 19:25:55] INFO gpt_neox_model.py:46: context_window_size not found in config.json. Falling back to max_position_embeddings (2048)
[2023-12-29 19:25:55] INFO flags_model_config_override.py:63: Default prefill_chunk_size to context_window_size (2048) because it is not provided
[2023-12-29 19:25:55] INFO flags_model_config_override.py:112: Overriding context_window_size from 2048 to 2048
[2023-12-29 19:25:55] INFO flags_model_config_override.py:112: Overriding prefill_chunk_size from 2048 to 2048
[2023-12-29 19:25:55] INFO gen_config.py:117: Not found generation_config.json: /home/junrushao/tmp/tmpc5liwyrs/repo/generation_config.json
[2023-12-29 19:25:55] INFO gen_config.py:115: [config.json] Setting bos_token_id: 0
[2023-12-29 19:25:55] INFO gen_config.py:115: [config.json] Setting eos_token_id: 0
[2023-12-29 19:25:55] INFO gen_config.py:129: Not found tokenizer config: /home/junrushao/tmp/tmpc5liwyrs/repo/tokenizer.model
[2023-12-29 19:25:55] INFO gen_config.py:127: Found tokenizer config: /home/junrushao/tmp/tmpc5liwyrs/repo/tokenizer.json. Copying to /home/junrushao/tmp/tmpq5kh4k7j/tokenizer.json
[2023-12-29 19:25:55] INFO gen_config.py:129: Not found tokenizer config: /home/junrushao/tmp/tmpc5liwyrs/repo/vocab.json
[2023-12-29 19:25:55] INFO gen_config.py:129: Not found tokenizer config: /home/junrushao/tmp/tmpc5liwyrs/repo/merges.txt
[2023-12-29 19:25:55] INFO gen_config.py:129: Not found tokenizer config: /home/junrushao/tmp/tmpc5liwyrs/repo/added_tokens.json
[2023-12-29 19:25:55] INFO gen_config.py:127: Found tokenizer config: /home/junrushao/tmp/tmpc5liwyrs/repo/tokenizer_config.json. Copying to /home/junrushao/tmp/tmpq5kh4k7j/tokenizer_config.json
[2023-12-29 19:25:55] INFO gen_config.py:69: [System default] Setting pad_token_id: 0
[2023-12-29 19:25:55] INFO gen_config.py:69: [System default] Setting temperature: 0.7
[2023-12-29 19:25:55] INFO gen_config.py:69: [System default] Setting repetition_penalty: 1.0
[2023-12-29 19:25:55] INFO gen_config.py:69: [System default] Setting top_p: 0.95
[2023-12-29 19:25:55] INFO gen_config.py:69: [System default] Setting mean_gen_len: 128
[2023-12-29 19:25:55] INFO gen_config.py:69: [System default] Setting max_gen_len: 512
[2023-12-29 19:25:55] INFO gen_config.py:69: [System default] Setting shift_fill_factor: 0.3
[2023-12-29 19:25:55] INFO gen_config.py:157: Dumping configuration file to: /home/junrushao/tmp/tmpq5kh4k7j/mlc-chat-config.json
/home/junrushao/micromamba/envs/python311/bin/python -m mlc_chat convert_weight /home/junrushao/tmp/tmpc5liwyrs/repo --quantization q4f32_1 --source-format auto --output /home/junrushao/tmp/tmpq5kh4k7j
[2023-12-29 19:25:56] INFO auto_config.py:115: Found model configuration: /home/junrushao/tmp/tmpc5liwyrs/repo/config.json
[2023-12-29 19:25:56] INFO auto_device.py:76: Found device: cuda:0
[2023-12-29 19:25:56] INFO auto_device.py:76: Found device: cuda:1
[2023-12-29 19:25:56] INFO auto_device.py:76: Found device: cuda:2
[2023-12-29 19:25:56] INFO auto_device.py:76: Found device: cuda:3
[2023-12-29 19:25:57] INFO auto_device.py:85: Not found device: rocm:0
[2023-12-29 19:25:57] INFO auto_device.py:85: Not found device: metal:0
[2023-12-29 19:25:57] INFO auto_device.py:85: Not found device: vulkan:0
[2023-12-29 19:25:58] INFO auto_device.py:85: Not found device: opencl:0
[2023-12-29 19:25:58] INFO auto_device.py:33: Using device: cuda:0
[2023-12-29 19:25:58] INFO auto_weight.py:70: Finding weights in: /home/junrushao/tmp/tmpc5liwyrs/repo
[2023-12-29 19:25:58] INFO auto_weight.py:129: Found source weight format: huggingface-torch. Source configuration: /home/junrushao/tmp/tmpc5liwyrs/repo/pytorch_model.bin
[2023-12-29 19:25:58] INFO auto_weight.py:149: Not found Huggingface Safetensor
[2023-12-29 19:25:58] INFO auto_weight.py:106: Using source weight configuration: /home/junrushao/tmp/tmpc5liwyrs/repo/pytorch_model.bin. Use `--source` to override.
[2023-12-29 19:25:58] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
[2023-12-29 19:25:58] INFO auto_config.py:151: Found model type: gpt_neox. Use `--model-type` to override.
[2023-12-29 19:25:58] INFO gpt_neox_model.py:46: context_window_size not found in config.json. Falling back to max_position_embeddings (2048)
[2023-12-29 19:26:03] INFO huggingface_loader.py:169: Loading HF parameters from: /home/junrushao/tmp/tmpc5liwyrs/repo/pytorch_model.bin
Weight conversion with arguments:
  --config          /home/junrushao/tmp/tmpc5liwyrs/repo/config.json
  --quantization    GroupQuantize(name='q4f32_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float32', num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
  --model-type      gpt_neox
  --device          cuda:0
  --source          /home/junrushao/tmp/tmpc5liwyrs/repo/pytorch_model.bin
  --source-format   huggingface-torch
  --output          /home/junrushao/tmp/tmpq5kh4k7j

  0%|                                                                                                                                                                                                                                                                                                                                                                | 0/436 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:23] INFO group_quantization.py:200: Compiling quantize function for key: (50280, 5120, 'float32', 'cuda')

  0%|                                                                                                                                                                                                                                                                                                                                                                | 0/436 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.embed_in.q_weight", shape: (50280, 640), dtype: uint32

  0%|                                                                                                                                                                                                                                                                                                                                                                | 0/436 [00:01<?, ?it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.embed_in.q_scale", shape: (50280, 160), dtype: float32

  0%|                                                                                                                                                                                                                                                                                                                                                                | 0/436 [00:01<?, ?it/s]
  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:01<13:18,  1.84s/it]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.input_layernorm.weight", shape: (5120,), dtype: float32

  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:01<13:18,  1.84s/it]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.input_layernorm.bias", shape: (5120,), dtype: float32

  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:01<13:18,  1.84s/it]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.post_attention_layernorm.weight", shape: (5120,), dtype: float32

  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:01<13:18,  1.84s/it]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.post_attention_layernorm.bias", shape: (5120,), dtype: float32

  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:01<13:18,  1.84s/it]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:24] INFO group_quantization.py:200: Compiling quantize function for key: (15360, 5120, 'float32', 'cuda')

  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:02<13:18,  1.84s/it]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:02<13:18,  1.84s/it]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

  0%|▊                                                                                                                                                                                                                                                                                                                                                       | 1/436 [00:02<13:18,  1.84s/it]
  1%|████▋                                                                                                                                                                                                                                                                                                                                                   | 6/436 [00:02<02:28,  2.89it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.attention.query_key_value.bias", shape: (15360,), dtype: float32

  1%|████▋                                                                                                                                                                                                                                                                                                                                                   | 6/436 [00:02<02:28,  2.89it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:25] INFO group_quantization.py:200: Compiling quantize function for key: (5120, 5120, 'float32', 'cuda')

  1%|████▋                                                                                                                                                                                                                                                                                                                                                   | 6/436 [00:02<02:28,  2.89it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

  1%|████▋                                                                                                                                                                                                                                                                                                                                                   | 6/436 [00:03<02:28,  2.89it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.attention.dense.q_scale", shape: (5120, 160), dtype: float32

  1%|████▋                                                                                                                                                                                                                                                                                                                                                   | 6/436 [00:03<02:28,  2.89it/s]
  2%|██████▎                                                                                                                                                                                                                                                                                                                                                 | 8/436 [00:03<02:13,  3.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.attention.dense.bias", shape: (5120,), dtype: float32

  2%|██████▎                                                                                                                                                                                                                                                                                                                                                 | 8/436 [00:03<02:13,  3.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:26] INFO group_quantization.py:200: Compiling quantize function for key: (20480, 5120, 'float32', 'cuda')

  2%|██████▎                                                                                                                                                                                                                                                                                                                                                 | 8/436 [00:03<02:13,  3.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

  2%|██████▎                                                                                                                                                                                                                                                                                                                                                 | 8/436 [00:03<02:13,  3.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

  2%|██████▎                                                                                                                                                                                                                                                                                                                                                 | 8/436 [00:03<02:13,  3.20it/s]
  2%|███████▊                                                                                                                                                                                                                                                                                                                                               | 10/436 [00:03<02:14,  3.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

  2%|███████▊                                                                                                                                                                                                                                                                                                                                               | 10/436 [00:03<02:14,  3.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:26] INFO group_quantization.py:200: Compiling quantize function for key: (5120, 20480, 'float32', 'cuda')

  2%|███████▊                                                                                                                                                                                                                                                                                                                                               | 10/436 [00:03<02:14,  3.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

  2%|███████▊                                                                                                                                                                                                                                                                                                                                               | 10/436 [00:04<02:14,  3.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.0.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

  2%|███████▊                                                                                                                                                                                                                                                                                                                                               | 10/436 [00:04<02:14,  3.17it/s]
  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.0.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.input_layernorm.weight", shape: (5120,), dtype: float32

  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.input_layernorm.bias", shape: (5120,), dtype: float32

  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.post_attention_layernorm.weight", shape: (5120,), dtype: float32

  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.post_attention_layernorm.bias", shape: (5120,), dtype: float32

  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

  3%|█████████▍                                                                                                                                                                                                                                                                                                                                             | 12/436 [00:04<02:15,  3.14it/s]
  4%|██████████████▏                                                                                                                                                                                                                                                                                                                                        | 18/436 [00:04<01:06,  6.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.attention.query_key_value.bias", shape: (15360,), dtype: float32

  4%|██████████████▏                                                                                                                                                                                                                                                                                                                                        | 18/436 [00:04<01:06,  6.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

  4%|██████████████▏                                                                                                                                                                                                                                                                                                                                        | 18/436 [00:04<01:06,  6.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.attention.dense.q_scale", shape: (5120, 160), dtype: float32

  4%|██████████████▏                                                                                                                                                                                                                                                                                                                                        | 18/436 [00:04<01:06,  6.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.attention.dense.bias", shape: (5120,), dtype: float32

  4%|██████████████▏                                                                                                                                                                                                                                                                                                                                        | 18/436 [00:04<01:06,  6.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

  4%|██████████████▏                                                                                                                                                                                                                                                                                                                                        | 18/436 [00:04<01:06,  6.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

  4%|██████████████▏                                                                                                                                                                                                                                                                                                                                        | 18/436 [00:04<01:06,  6.31it/s]
  5%|█████████████████▎                                                                                                                                                                                                                                                                                                                                     | 22/436 [00:04<00:51,  7.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

  5%|█████████████████▎                                                                                                                                                                                                                                                                                                                                     | 22/436 [00:04<00:51,  7.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

  5%|█████████████████▎                                                                                                                                                                                                                                                                                                                                     | 22/436 [00:04<00:51,  7.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.1.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

  5%|█████████████████▎                                                                                                                                                                                                                                                                                                                                     | 22/436 [00:05<00:51,  7.99it/s]
  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.1.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.input_layernorm.weight", shape: (5120,), dtype: float32

  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.input_layernorm.bias", shape: (5120,), dtype: float32

  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.post_attention_layernorm.weight", shape: (5120,), dtype: float32

  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.post_attention_layernorm.bias", shape: (5120,), dtype: float32

  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

  6%|██████████████████▉                                                                                                                                                                                                                                                                                                                                    | 24/436 [00:05<00:49,  8.30it/s]
  7%|███████████████████████▌                                                                                                                                                                                                                                                                                                                               | 30/436 [00:05<00:34, 11.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.attention.query_key_value.bias", shape: (15360,), dtype: float32

  7%|███████████████████████▌                                                                                                                                                                                                                                                                                                                               | 30/436 [00:05<00:34, 11.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

  7%|███████████████████████▌                                                                                                                                                                                                                                                                                                                               | 30/436 [00:05<00:34, 11.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.attention.dense.q_scale", shape: (5120, 160), dtype: float32

  7%|███████████████████████▌                                                                                                                                                                                                                                                                                                                               | 30/436 [00:05<00:34, 11.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.attention.dense.bias", shape: (5120,), dtype: float32

  7%|███████████████████████▌                                                                                                                                                                                                                                                                                                                               | 30/436 [00:05<00:34, 11.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

  7%|███████████████████████▌                                                                                                                                                                                                                                                                                                                               | 30/436 [00:05<00:34, 11.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

  7%|███████████████████████▌                                                                                                                                                                                                                                                                                                                               | 30/436 [00:05<00:34, 11.94it/s]
  8%|██████████████████████████▋                                                                                                                                                                                                                                                                                                                            | 34/436 [00:05<00:31, 12.80it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

  8%|██████████████████████████▋                                                                                                                                                                                                                                                                                                                            | 34/436 [00:05<00:31, 12.80it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

  8%|██████████████████████████▋                                                                                                                                                                                                                                                                                                                            | 34/436 [00:05<00:31, 12.80it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.2.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

  8%|██████████████████████████▋                                                                                                                                                                                                                                                                                                                            | 34/436 [00:05<00:31, 12.80it/s]
  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.2.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.input_layernorm.weight", shape: (5120,), dtype: float32

  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.input_layernorm.bias", shape: (5120,), dtype: float32

  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.post_attention_layernorm.weight", shape: (5120,), dtype: float32

  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.post_attention_layernorm.bias", shape: (5120,), dtype: float32

  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

  8%|████████████████████████████▎                                                                                                                                                                                                                                                                                                                          | 36/436 [00:05<00:32, 12.16it/s]
 10%|█████████████████████████████████                                                                                                                                                                                                                                                                                                                      | 42/436 [00:05<00:25, 15.58it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.attention.query_key_value.bias", shape: (15360,), dtype: float32

 10%|█████████████████████████████████                                                                                                                                                                                                                                                                                                                      | 42/436 [00:05<00:25, 15.58it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 10%|█████████████████████████████████                                                                                                                                                                                                                                                                                                                      | 42/436 [00:06<00:25, 15.58it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 10%|█████████████████████████████████                                                                                                                                                                                                                                                                                                                      | 42/436 [00:06<00:25, 15.58it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.attention.dense.bias", shape: (5120,), dtype: float32

 10%|█████████████████████████████████                                                                                                                                                                                                                                                                                                                      | 42/436 [00:06<00:25, 15.58it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 10%|█████████████████████████████████                                                                                                                                                                                                                                                                                                                      | 42/436 [00:06<00:25, 15.58it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 10%|█████████████████████████████████                                                                                                                                                                                                                                                                                                                      | 42/436 [00:06<00:25, 15.58it/s]
 11%|████████████████████████████████████▏                                                                                                                                                                                                                                                                                                                  | 46/436 [00:06<00:24, 15.61it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 11%|████████████████████████████████████▏                                                                                                                                                                                                                                                                                                                  | 46/436 [00:06<00:24, 15.61it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 11%|████████████████████████████████████▏                                                                                                                                                                                                                                                                                                                  | 46/436 [00:06<00:24, 15.61it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.3.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 11%|████████████████████████████████████▏                                                                                                                                                                                                                                                                                                                  | 46/436 [00:06<00:24, 15.61it/s]
 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.3.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.input_layernorm.weight", shape: (5120,), dtype: float32

 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.input_layernorm.bias", shape: (5120,), dtype: float32

 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 11%|█████████████████████████████████████▊                                                                                                                                                                                                                                                                                                                 | 48/436 [00:06<00:27, 14.23it/s]
 12%|██████████████████████████████████████████▍                                                                                                                                                                                                                                                                                                            | 54/436 [00:06<00:22, 17.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.attention.query_key_value.bias", shape: (15360,), dtype: float32

 12%|██████████████████████████████████████████▍                                                                                                                                                                                                                                                                                                            | 54/436 [00:06<00:22, 17.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 12%|██████████████████████████████████████████▍                                                                                                                                                                                                                                                                                                            | 54/436 [00:06<00:22, 17.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 12%|██████████████████████████████████████████▍                                                                                                                                                                                                                                                                                                            | 54/436 [00:06<00:22, 17.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.attention.dense.bias", shape: (5120,), dtype: float32

 12%|██████████████████████████████████████████▍                                                                                                                                                                                                                                                                                                            | 54/436 [00:06<00:22, 17.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 12%|██████████████████████████████████████████▍                                                                                                                                                                                                                                                                                                            | 54/436 [00:06<00:22, 17.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 12%|██████████████████████████████████████████▍                                                                                                                                                                                                                                                                                                            | 54/436 [00:06<00:22, 17.20it/s]
 13%|█████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                                         | 58/436 [00:06<00:23, 16.42it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 13%|█████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                                         | 58/436 [00:06<00:23, 16.42it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 13%|█████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                                         | 58/436 [00:07<00:23, 16.42it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.4.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 13%|█████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                                         | 58/436 [00:07<00:23, 16.42it/s]
 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.4.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.input_layernorm.weight", shape: (5120,), dtype: float32

 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.input_layernorm.bias", shape: (5120,), dtype: float32

 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 14%|███████████████████████████████████████████████▏                                                                                                                                                                                                                                                                                                       | 60/436 [00:07<00:25, 14.60it/s]
 15%|███████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                                                   | 66/436 [00:07<00:20, 17.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.attention.query_key_value.bias", shape: (15360,), dtype: float32

 15%|███████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                                                   | 66/436 [00:07<00:20, 17.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 15%|███████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                                                   | 66/436 [00:07<00:20, 17.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 15%|███████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                                                   | 66/436 [00:07<00:20, 17.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.attention.dense.bias", shape: (5120,), dtype: float32

 15%|███████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                                                   | 66/436 [00:07<00:20, 17.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 15%|███████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                                                   | 66/436 [00:07<00:20, 17.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 15%|███████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                                                   | 66/436 [00:07<00:20, 17.66it/s]
 16%|███████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                                | 70/436 [00:07<00:21, 16.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 16%|███████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                                | 70/436 [00:07<00:21, 16.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 16%|███████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                                | 70/436 [00:07<00:21, 16.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.5.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 16%|███████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                                | 70/436 [00:07<00:21, 16.95it/s]
 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:07<00:24, 15.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.5.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:07<00:24, 15.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.input_layernorm.weight", shape: (5120,), dtype: float32

 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:07<00:24, 15.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.input_layernorm.bias", shape: (5120,), dtype: float32

 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:07<00:24, 15.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:07<00:24, 15.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:07<00:24, 15.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:08<00:24, 15.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 17%|████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                                              | 72/436 [00:08<00:24, 15.13it/s]
 18%|█████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                                                                                         | 78/436 [00:08<00:19, 18.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.attention.query_key_value.bias", shape: (15360,), dtype: float32

 18%|█████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                                                                                         | 78/436 [00:08<00:19, 18.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 18%|█████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                                                                                         | 78/436 [00:08<00:19, 18.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 18%|█████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                                                                                         | 78/436 [00:08<00:19, 18.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.attention.dense.bias", shape: (5120,), dtype: float32

 18%|█████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                                                                                         | 78/436 [00:08<00:19, 18.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 18%|█████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                                                                                         | 78/436 [00:08<00:19, 18.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 18%|█████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                                                                                         | 78/436 [00:08<00:19, 18.00it/s]
 19%|████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                                      | 82/436 [00:08<00:20, 17.04it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 19%|████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                                      | 82/436 [00:08<00:20, 17.04it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 19%|████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                                      | 82/436 [00:08<00:20, 17.04it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.6.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 19%|████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                                      | 82/436 [00:08<00:20, 17.04it/s]
 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.6.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.input_layernorm.weight", shape: (5120,), dtype: float32

 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.input_layernorm.bias", shape: (5120,), dtype: float32

 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 19%|██████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                     | 84/436 [00:08<00:23, 15.14it/s]
 21%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                                                | 90/436 [00:08<00:19, 18.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.attention.query_key_value.bias", shape: (15360,), dtype: float32

 21%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                                                | 90/436 [00:08<00:19, 18.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 21%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                                                | 90/436 [00:08<00:19, 18.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 21%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                                                | 90/436 [00:08<00:19, 18.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.attention.dense.bias", shape: (5120,), dtype: float32

 21%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                                                | 90/436 [00:08<00:19, 18.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 21%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                                                | 90/436 [00:09<00:19, 18.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 21%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                                                | 90/436 [00:09<00:19, 18.11it/s]
 22%|█████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                             | 94/436 [00:09<00:19, 17.24it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 22%|█████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                             | 94/436 [00:09<00:19, 17.24it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 22%|█████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                             | 94/436 [00:09<00:19, 17.24it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.7.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 22%|█████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                                             | 94/436 [00:09<00:19, 17.24it/s]
 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.7.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.input_layernorm.weight", shape: (5120,), dtype: float32

 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.input_layernorm.bias", shape: (5120,), dtype: float32

 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 22%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                                           | 96/436 [00:09<00:22, 15.20it/s]
 23%|████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      | 102/436 [00:09<00:18, 18.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.attention.query_key_value.bias", shape: (15360,), dtype: float32

 23%|████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      | 102/436 [00:09<00:18, 18.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 23%|████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      | 102/436 [00:09<00:18, 18.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 23%|████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      | 102/436 [00:09<00:18, 18.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.attention.dense.bias", shape: (5120,), dtype: float32

 23%|████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      | 102/436 [00:09<00:18, 18.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 23%|████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      | 102/436 [00:09<00:18, 18.17it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 23%|████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      | 102/436 [00:09<00:18, 18.17it/s]
 24%|███████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                                  | 106/436 [00:09<00:19, 17.24it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 24%|███████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                                  | 106/436 [00:09<00:19, 17.24it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 24%|███████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                                  | 106/436 [00:09<00:19, 17.24it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.8.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 24%|███████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                                  | 106/436 [00:09<00:19, 17.24it/s]
 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:09<00:21, 15.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.8.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:09<00:21, 15.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.input_layernorm.weight", shape: (5120,), dtype: float32

 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:09<00:21, 15.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.input_layernorm.bias", shape: (5120,), dtype: float32

 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:09<00:21, 15.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:09<00:21, 15.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:09<00:21, 15.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:10<00:21, 15.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 25%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                                                 | 108/436 [00:10<00:21, 15.22it/s]
 26%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                                            | 114/436 [00:10<00:17, 18.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.attention.query_key_value.bias", shape: (15360,), dtype: float32

 26%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                                            | 114/436 [00:10<00:17, 18.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 26%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                                            | 114/436 [00:10<00:17, 18.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 26%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                                            | 114/436 [00:10<00:17, 18.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.attention.dense.bias", shape: (5120,), dtype: float32

 26%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                                            | 114/436 [00:10<00:17, 18.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 26%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                                            | 114/436 [00:10<00:17, 18.14it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 26%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                                            | 114/436 [00:10<00:17, 18.14it/s]
 27%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                         | 118/436 [00:10<00:18, 17.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 27%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                         | 118/436 [00:10<00:18, 17.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 27%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                         | 118/436 [00:10<00:18, 17.23it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.9.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 27%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                         | 118/436 [00:10<00:18, 17.23it/s]
 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.9.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.input_layernorm.weight", shape: (5120,), dtype: float32

 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.input_layernorm.bias", shape: (5120,), dtype: float32

 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 28%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                                       | 120/436 [00:10<00:20, 15.30it/s]
 29%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                   | 126/436 [00:10<00:17, 18.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.attention.query_key_value.bias", shape: (15360,), dtype: float32

 29%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                   | 126/436 [00:10<00:17, 18.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 29%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                   | 126/436 [00:10<00:17, 18.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 29%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                   | 126/436 [00:10<00:17, 18.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.attention.dense.bias", shape: (5120,), dtype: float32

 29%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                   | 126/436 [00:10<00:17, 18.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 29%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                   | 126/436 [00:11<00:17, 18.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 29%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                                                   | 126/436 [00:11<00:17, 18.20it/s]
 30%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                | 130/436 [00:11<00:17, 17.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 30%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                | 130/436 [00:11<00:17, 17.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 30%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                | 130/436 [00:11<00:17, 17.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.10.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 30%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                                | 130/436 [00:11<00:17, 17.36it/s]
 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.10.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.input_layernorm.weight", shape: (5120,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.input_layernorm.bias", shape: (5120,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                              | 132/436 [00:11<00:20, 14.93it/s]
 32%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                         | 138/436 [00:11<00:16, 17.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.attention.query_key_value.bias", shape: (15360,), dtype: float32

 32%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                         | 138/436 [00:11<00:16, 17.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 32%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                         | 138/436 [00:11<00:16, 17.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 32%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                         | 138/436 [00:11<00:16, 17.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.attention.dense.bias", shape: (5120,), dtype: float32

 32%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                         | 138/436 [00:11<00:16, 17.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 32%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                         | 138/436 [00:11<00:16, 17.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 32%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                         | 138/436 [00:11<00:16, 17.90it/s]
 33%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                      | 142/436 [00:11<00:17, 17.03it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 33%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                      | 142/436 [00:11<00:17, 17.03it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 33%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                      | 142/436 [00:12<00:17, 17.03it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.11.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 33%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                                      | 142/436 [00:12<00:17, 17.03it/s]
 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.11.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.input_layernorm.weight", shape: (5120,), dtype: float32

 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.input_layernorm.bias", shape: (5120,), dtype: float32

 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 33%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                                     | 144/436 [00:12<00:19, 15.09it/s]
 34%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                | 150/436 [00:12<00:15, 18.08it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.attention.query_key_value.bias", shape: (15360,), dtype: float32

 34%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                | 150/436 [00:12<00:15, 18.08it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 34%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                | 150/436 [00:12<00:15, 18.08it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 34%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                | 150/436 [00:12<00:15, 18.08it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.attention.dense.bias", shape: (5120,), dtype: float32

 34%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                | 150/436 [00:12<00:15, 18.08it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 34%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                | 150/436 [00:12<00:15, 18.08it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 34%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                                                | 150/436 [00:12<00:15, 18.08it/s]
 35%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                             | 154/436 [00:12<00:16, 17.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 35%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                             | 154/436 [00:12<00:16, 17.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 35%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                             | 154/436 [00:12<00:16, 17.22it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.12.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 35%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                             | 154/436 [00:12<00:16, 17.22it/s]
 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:12<00:18, 14.97it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.12.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:12<00:18, 14.97it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.input_layernorm.weight", shape: (5120,), dtype: float32

 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:12<00:18, 14.97it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.input_layernorm.bias", shape: (5120,), dtype: float32

 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:12<00:18, 14.97it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:12<00:18, 14.97it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:12<00:18, 14.97it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:13<00:18, 14.97it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 36%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                                           | 156/436 [00:13<00:18, 14.97it/s]
 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                       | 162/436 [00:13<00:15, 17.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.attention.query_key_value.bias", shape: (15360,), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                       | 162/436 [00:13<00:15, 17.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                       | 162/436 [00:13<00:15, 17.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                       | 162/436 [00:13<00:15, 17.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.attention.dense.bias", shape: (5120,), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                       | 162/436 [00:13<00:15, 17.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                       | 162/436 [00:13<00:15, 17.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                       | 162/436 [00:13<00:15, 17.87it/s]
 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                   | 166/436 [00:13<00:15, 17.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                   | 166/436 [00:13<00:15, 17.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                   | 166/436 [00:13<00:15, 17.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.13.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                   | 166/436 [00:13<00:15, 17.09it/s]
 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.13.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.input_layernorm.weight", shape: (5120,), dtype: float32

 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.input_layernorm.bias", shape: (5120,), dtype: float32

 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                  | 168/436 [00:13<00:17, 15.01it/s]
 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                             | 174/436 [00:13<00:14, 17.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.attention.query_key_value.bias", shape: (15360,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                             | 174/436 [00:13<00:14, 17.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                             | 174/436 [00:13<00:14, 17.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                             | 174/436 [00:13<00:14, 17.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.attention.dense.bias", shape: (5120,), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                             | 174/436 [00:13<00:14, 17.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                             | 174/436 [00:14<00:14, 17.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                             | 174/436 [00:14<00:14, 17.88it/s]
 41%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                          | 178/436 [00:14<00:15, 17.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 41%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                          | 178/436 [00:14<00:15, 17.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 41%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                          | 178/436 [00:14<00:15, 17.09it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.14.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 41%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                          | 178/436 [00:14<00:15, 17.09it/s]
 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.14.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.input_layernorm.weight", shape: (5120,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.input_layernorm.bias", shape: (5120,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 41%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                        | 180/436 [00:14<00:19, 13.19it/s]
 43%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                    | 186/436 [00:14<00:17, 14.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.attention.query_key_value.bias", shape: (15360,), dtype: float32

 43%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                    | 186/436 [00:14<00:17, 14.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 43%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                    | 186/436 [00:14<00:17, 14.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 43%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                    | 186/436 [00:14<00:17, 14.36it/s]
 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                  | 188/436 [00:14<00:16, 14.91it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.attention.dense.bias", shape: (5120,), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                  | 188/436 [00:14<00:16, 14.91it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                  | 188/436 [00:15<00:16, 14.91it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                  | 188/436 [00:15<00:16, 14.91it/s]
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 190/436 [00:15<00:22, 11.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 190/436 [00:15<00:22, 11.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 190/436 [00:15<00:22, 11.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.15.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 190/436 [00:15<00:22, 11.11it/s]
 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:15<00:27,  8.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.15.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:15<00:27,  8.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.input_layernorm.weight", shape: (5120,), dtype: float32

 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:15<00:27,  8.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.input_layernorm.bias", shape: (5120,), dtype: float32

 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:15<00:27,  8.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:15<00:27,  8.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:15<00:27,  8.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:15<00:27,  8.94it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                               | 192/436 [00:16<00:27,  8.94it/s]
 45%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                          | 198/436 [00:16<00:20, 11.33it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.attention.query_key_value.bias", shape: (15360,), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                          | 198/436 [00:16<00:20, 11.33it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                          | 198/436 [00:16<00:20, 11.33it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                          | 198/436 [00:16<00:20, 11.33it/s]
 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 200/436 [00:16<00:19, 12.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.attention.dense.bias", shape: (5120,), dtype: float32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 200/436 [00:16<00:19, 12.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 200/436 [00:16<00:19, 12.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 200/436 [00:16<00:19, 12.32it/s]
 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                       | 202/436 [00:16<00:23,  9.80it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                       | 202/436 [00:16<00:23,  9.80it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                       | 202/436 [00:16<00:23,  9.80it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.16.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                       | 202/436 [00:16<00:23,  9.80it/s]
 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:16<00:28,  8.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.16.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:16<00:28,  8.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.input_layernorm.weight", shape: (5120,), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:16<00:28,  8.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.input_layernorm.bias", shape: (5120,), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:16<00:28,  8.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:16<00:28,  8.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:16<00:28,  8.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:17<00:28,  8.11it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                      | 204/436 [00:17<00:28,  8.11it/s]
 48%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                 | 210/436 [00:17<00:21, 10.69it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.attention.query_key_value.bias", shape: (15360,), dtype: float32

 48%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                 | 210/436 [00:17<00:21, 10.69it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 48%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                 | 210/436 [00:17<00:21, 10.69it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 48%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                 | 210/436 [00:17<00:21, 10.69it/s]
 49%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                               | 212/436 [00:17<00:19, 11.65it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.attention.dense.bias", shape: (5120,), dtype: float32

 49%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                               | 212/436 [00:17<00:19, 11.65it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 49%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                               | 212/436 [00:17<00:19, 11.65it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 49%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                               | 212/436 [00:17<00:19, 11.65it/s]
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                              | 214/436 [00:17<00:23,  9.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                              | 214/436 [00:17<00:23,  9.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                              | 214/436 [00:18<00:23,  9.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.17.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                              | 214/436 [00:18<00:23,  9.48it/s]
 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.17.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.input_layernorm.weight", shape: (5120,), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.input_layernorm.bias", shape: (5120,), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                            | 216/436 [00:18<00:27,  7.88it/s]
 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                       | 222/436 [00:18<00:20, 10.40it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.attention.query_key_value.bias", shape: (15360,), dtype: float32

 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                       | 222/436 [00:18<00:20, 10.40it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                       | 222/436 [00:18<00:20, 10.40it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                       | 222/436 [00:18<00:20, 10.40it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.attention.dense.bias", shape: (5120,), dtype: float32

 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                       | 222/436 [00:18<00:20, 10.40it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                       | 222/436 [00:18<00:20, 10.40it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                       | 222/436 [00:18<00:20, 10.40it/s]
 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                    | 226/436 [00:18<00:21,  9.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                    | 226/436 [00:18<00:21,  9.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                    | 226/436 [00:19<00:21,  9.93it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.18.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                    | 226/436 [00:19<00:21,  9.93it/s]
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.18.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.input_layernorm.weight", shape: (5120,), dtype: float32

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.input_layernorm.bias", shape: (5120,), dtype: float32

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 228/436 [00:19<00:23,  8.77it/s]
 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                              | 234/436 [00:19<00:18, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.attention.query_key_value.bias", shape: (15360,), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                              | 234/436 [00:19<00:18, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                              | 234/436 [00:19<00:18, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                              | 234/436 [00:19<00:18, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.attention.dense.bias", shape: (5120,), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                              | 234/436 [00:19<00:18, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                              | 234/436 [00:20<00:18, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                              | 234/436 [00:20<00:18, 10.99it/s]
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                           | 238/436 [00:20<00:19,  9.98it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                           | 238/436 [00:20<00:19,  9.98it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                           | 238/436 [00:20<00:19,  9.98it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.19.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                           | 238/436 [00:20<00:19,  9.98it/s]
 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.19.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.input_layernorm.weight", shape: (5120,), dtype: float32

 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.input_layernorm.bias", shape: (5120,), dtype: float32

 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                         | 240/436 [00:20<00:23,  8.43it/s]
 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                     | 246/436 [00:20<00:18, 10.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.attention.query_key_value.bias", shape: (15360,), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                     | 246/436 [00:20<00:18, 10.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                     | 246/436 [00:21<00:18, 10.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                     | 246/436 [00:21<00:18, 10.46it/s]
 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                   | 248/436 [00:21<00:16, 11.33it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.attention.dense.bias", shape: (5120,), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                   | 248/436 [00:21<00:16, 11.33it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                   | 248/436 [00:21<00:16, 11.33it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 57%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                   | 248/436 [00:21<00:16, 11.33it/s]
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                  | 250/436 [00:21<00:20,  9.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                  | 250/436 [00:21<00:20,  9.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                  | 250/436 [00:21<00:20,  9.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.20.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                  | 250/436 [00:21<00:20,  9.13it/s]
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:21<00:24,  7.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.20.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:21<00:24,  7.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.input_layernorm.weight", shape: (5120,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:21<00:24,  7.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.input_layernorm.bias", shape: (5120,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:21<00:24,  7.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:21<00:24,  7.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:21<00:24,  7.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:22<00:24,  7.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 252/436 [00:22<00:24,  7.60it/s]
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 258/436 [00:22<00:17, 10.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.attention.query_key_value.bias", shape: (15360,), dtype: float32

 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 258/436 [00:22<00:17, 10.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 258/436 [00:22<00:17, 10.00it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 258/436 [00:22<00:17, 10.00it/s]
 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                          | 260/436 [00:22<00:16, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.attention.dense.bias", shape: (5120,), dtype: float32

 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                          | 260/436 [00:22<00:16, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                          | 260/436 [00:22<00:16, 10.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                          | 260/436 [00:22<00:16, 10.99it/s]
 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                        | 262/436 [00:22<00:19,  8.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                        | 262/436 [00:22<00:19,  8.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                        | 262/436 [00:23<00:19,  8.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.21.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                        | 262/436 [00:23<00:19,  8.95it/s]
 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.21.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.input_layernorm.weight", shape: (5120,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.input_layernorm.bias", shape: (5120,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 264/436 [00:23<00:21,  7.90it/s]
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 270/436 [00:23<00:16, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.attention.query_key_value.bias", shape: (15360,), dtype: float32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 270/436 [00:23<00:16, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 270/436 [00:23<00:16, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 270/436 [00:23<00:16, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.attention.dense.bias", shape: (5120,), dtype: float32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 270/436 [00:23<00:16, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 270/436 [00:23<00:16, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 270/436 [00:23<00:16, 10.36it/s]
 63%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 274/436 [00:23<00:16,  9.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 63%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 274/436 [00:23<00:16,  9.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 63%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 274/436 [00:24<00:16,  9.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.22.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 63%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 274/436 [00:24<00:16,  9.90it/s]
 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.22.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.input_layernorm.weight", shape: (5120,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.input_layernorm.bias", shape: (5120,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 276/436 [00:24<00:18,  8.46it/s]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                        | 282/436 [00:24<00:14, 10.59it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.attention.query_key_value.bias", shape: (15360,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                        | 282/436 [00:24<00:14, 10.59it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                        | 282/436 [00:24<00:14, 10.59it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                        | 282/436 [00:24<00:14, 10.59it/s]
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                       | 284/436 [00:24<00:13, 11.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.attention.dense.bias", shape: (5120,), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                       | 284/436 [00:24<00:13, 11.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                       | 284/436 [00:25<00:13, 11.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                       | 284/436 [00:25<00:13, 11.48it/s]
 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                     | 286/436 [00:25<00:16,  9.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                     | 286/436 [00:25<00:16,  9.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                     | 286/436 [00:25<00:16,  9.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.23.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                     | 286/436 [00:25<00:16,  9.16it/s]
 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.23.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.input_layernorm.weight", shape: (5120,), dtype: float32

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.input_layernorm.bias", shape: (5120,), dtype: float32

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 288/436 [00:25<00:19,  7.73it/s]
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 294/436 [00:26<00:14, 10.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.attention.query_key_value.bias", shape: (15360,), dtype: float32

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 294/436 [00:26<00:14, 10.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 294/436 [00:26<00:14, 10.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 294/436 [00:26<00:14, 10.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.attention.dense.bias", shape: (5120,), dtype: float32

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 294/436 [00:26<00:14, 10.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 294/436 [00:26<00:14, 10.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 294/436 [00:26<00:14, 10.13it/s]
 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 298/436 [00:26<00:14,  9.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 298/436 [00:26<00:14,  9.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 298/436 [00:26<00:14,  9.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.24.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                            | 298/436 [00:26<00:14,  9.32it/s]
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:26<00:16,  8.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.24.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:26<00:16,  8.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.input_layernorm.weight", shape: (5120,), dtype: float32

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:26<00:16,  8.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.input_layernorm.bias", shape: (5120,), dtype: float32

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:26<00:16,  8.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:26<00:16,  8.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:26<00:16,  8.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:27<00:16,  8.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                          | 300/436 [00:27<00:16,  8.18it/s]
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                      | 306/436 [00:27<00:12, 10.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.attention.query_key_value.bias", shape: (15360,), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                      | 306/436 [00:27<00:12, 10.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                      | 306/436 [00:27<00:12, 10.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                      | 306/436 [00:27<00:12, 10.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.attention.dense.bias", shape: (5120,), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                      | 306/436 [00:27<00:12, 10.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                      | 306/436 [00:27<00:12, 10.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                      | 306/436 [00:27<00:12, 10.35it/s]
 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 310/436 [00:27<00:13,  9.59it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 310/436 [00:27<00:13,  9.59it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 310/436 [00:28<00:13,  9.59it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.25.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 310/436 [00:28<00:13,  9.59it/s]
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.25.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.input_layernorm.weight", shape: (5120,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.input_layernorm.bias", shape: (5120,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                 | 312/436 [00:28<00:14,  8.34it/s]
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 318/436 [00:28<00:11, 10.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.attention.query_key_value.bias", shape: (15360,), dtype: float32

 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 318/436 [00:28<00:11, 10.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 318/436 [00:28<00:11, 10.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                            | 318/436 [00:28<00:11, 10.31it/s]
 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                           | 320/436 [00:28<00:10, 11.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.attention.dense.bias", shape: (5120,), dtype: float32

 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                           | 320/436 [00:28<00:10, 11.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                           | 320/436 [00:29<00:10, 11.19it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                           | 320/436 [00:29<00:10, 11.19it/s]
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                         | 322/436 [00:29<00:12,  8.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                         | 322/436 [00:29<00:12,  8.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                         | 322/436 [00:29<00:12,  8.95it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.26.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                         | 322/436 [00:29<00:12,  8.95it/s]
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.26.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.input_layernorm.weight", shape: (5120,), dtype: float32

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.input_layernorm.bias", shape: (5120,), dtype: float32

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 324/436 [00:29<00:14,  7.57it/s]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                   | 330/436 [00:29<00:10, 10.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.attention.query_key_value.bias", shape: (15360,), dtype: float32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                   | 330/436 [00:29<00:10, 10.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                   | 330/436 [00:29<00:10, 10.01it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                   | 330/436 [00:29<00:10, 10.01it/s]
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                 | 332/436 [00:29<00:09, 10.96it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.attention.dense.bias", shape: (5120,), dtype: float32

 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                 | 332/436 [00:29<00:09, 10.96it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                 | 332/436 [00:30<00:09, 10.96it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                 | 332/436 [00:30<00:09, 10.96it/s]
 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                | 334/436 [00:30<00:11,  8.70it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                | 334/436 [00:30<00:11,  8.70it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                | 334/436 [00:30<00:11,  8.70it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.27.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                | 334/436 [00:30<00:11,  8.70it/s]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:30<00:13,  7.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.27.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:30<00:13,  7.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.input_layernorm.weight", shape: (5120,), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:30<00:13,  7.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.input_layernorm.bias", shape: (5120,), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:30<00:13,  7.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:30<00:13,  7.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:30<00:13,  7.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:31<00:13,  7.35it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 336/436 [00:31<00:13,  7.35it/s]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                         | 342/436 [00:31<00:09,  9.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.attention.query_key_value.bias", shape: (15360,), dtype: float32

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                         | 342/436 [00:31<00:09,  9.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                         | 342/436 [00:31<00:09,  9.88it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                         | 342/436 [00:31<00:09,  9.88it/s]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                        | 344/436 [00:31<00:08, 10.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.attention.dense.bias", shape: (5120,), dtype: float32

 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                        | 344/436 [00:31<00:08, 10.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                        | 344/436 [00:31<00:08, 10.87it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                        | 344/436 [00:31<00:08, 10.87it/s]
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                      | 346/436 [00:31<00:10,  8.65it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                      | 346/436 [00:31<00:10,  8.65it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                      | 346/436 [00:32<00:10,  8.65it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.28.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                      | 346/436 [00:32<00:10,  8.65it/s]
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.28.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.input_layernorm.weight", shape: (5120,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.input_layernorm.bias", shape: (5120,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 348/436 [00:32<00:12,  7.32it/s]
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                | 354/436 [00:32<00:08,  9.71it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.attention.query_key_value.bias", shape: (15360,), dtype: float32

 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                | 354/436 [00:32<00:08,  9.71it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                | 354/436 [00:32<00:08,  9.71it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                | 354/436 [00:32<00:08,  9.71it/s]
 82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                              | 356/436 [00:32<00:07, 10.72it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.attention.dense.bias", shape: (5120,), dtype: float32

 82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                              | 356/436 [00:32<00:07, 10.72it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                              | 356/436 [00:33<00:07, 10.72it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                              | 356/436 [00:33<00:07, 10.72it/s]
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                             | 358/436 [00:33<00:09,  8.45it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                             | 358/436 [00:33<00:09,  8.45it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                             | 358/436 [00:33<00:09,  8.45it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.29.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                             | 358/436 [00:33<00:09,  8.45it/s]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.29.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.input_layernorm.weight", shape: (5120,), dtype: float32

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.input_layernorm.bias", shape: (5120,), dtype: float32

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                           | 360/436 [00:33<00:10,  7.20it/s]
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                       | 366/436 [00:33<00:07,  9.69it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.attention.query_key_value.bias", shape: (15360,), dtype: float32

 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                       | 366/436 [00:33<00:07,  9.69it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                       | 366/436 [00:33<00:07,  9.69it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                       | 366/436 [00:33<00:07,  9.69it/s]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                     | 368/436 [00:33<00:06, 10.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.attention.dense.bias", shape: (5120,), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                     | 368/436 [00:33<00:06, 10.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                     | 368/436 [00:34<00:06, 10.66it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                     | 368/436 [00:34<00:06, 10.66it/s]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                   | 370/436 [00:34<00:07,  8.47it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                   | 370/436 [00:34<00:07,  8.47it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                   | 370/436 [00:34<00:07,  8.47it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.30.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                   | 370/436 [00:34<00:07,  8.47it/s]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:34<00:08,  7.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.30.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:34<00:08,  7.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.input_layernorm.weight", shape: (5120,), dtype: float32

 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:34<00:08,  7.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.input_layernorm.bias", shape: (5120,), dtype: float32

 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:34<00:08,  7.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:34<00:08,  7.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:34<00:08,  7.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:35<00:08,  7.16it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 372/436 [00:35<00:08,  7.16it/s]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 378/436 [00:35<00:06,  9.62it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.attention.query_key_value.bias", shape: (15360,), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 378/436 [00:35<00:06,  9.62it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 378/436 [00:35<00:06,  9.62it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 378/436 [00:35<00:06,  9.62it/s]
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                            | 380/436 [00:35<00:05, 10.63it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.attention.dense.bias", shape: (5120,), dtype: float32

 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                            | 380/436 [00:35<00:05, 10.63it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                            | 380/436 [00:35<00:05, 10.63it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                            | 380/436 [00:35<00:05, 10.63it/s]
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 382/436 [00:35<00:06,  8.27it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 382/436 [00:35<00:06,  8.27it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 382/436 [00:36<00:06,  8.27it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.31.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 382/436 [00:36<00:06,  8.27it/s]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.31.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.input_layernorm.weight", shape: (5120,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.input_layernorm.bias", shape: (5120,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 384/436 [00:36<00:07,  7.05it/s]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                    | 390/436 [00:36<00:04,  9.55it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.attention.query_key_value.bias", shape: (15360,), dtype: float32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                    | 390/436 [00:36<00:04,  9.55it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                    | 390/436 [00:36<00:04,  9.55it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                    | 390/436 [00:36<00:04,  9.55it/s]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 392/436 [00:36<00:04, 10.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.attention.dense.bias", shape: (5120,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 392/436 [00:36<00:04, 10.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:26:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 392/436 [00:37<00:04, 10.48it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 392/436 [00:37<00:04, 10.48it/s]
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                 | 394/436 [00:37<00:05,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                 | 394/436 [00:37<00:05,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                 | 394/436 [00:37<00:05,  8.30it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.32.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                 | 394/436 [00:37<00:05,  8.30it/s]
 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.32.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.input_layernorm.weight", shape: (5120,), dtype: float32

 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.input_layernorm.bias", shape: (5120,), dtype: float32

 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 396/436 [00:37<00:05,  7.13it/s]
 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 402/436 [00:37<00:03,  9.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.attention.query_key_value.bias", shape: (15360,), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 402/436 [00:37<00:03,  9.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 402/436 [00:38<00:03,  9.60it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 402/436 [00:38<00:03,  9.60it/s]
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 404/436 [00:38<00:03, 10.55it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.attention.dense.bias", shape: (5120,), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 404/436 [00:38<00:03, 10.55it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 404/436 [00:38<00:03, 10.55it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 404/436 [00:38<00:03, 10.55it/s]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 406/436 [00:38<00:03,  8.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 406/436 [00:38<00:03,  8.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 406/436 [00:38<00:03,  8.31it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.33.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 406/436 [00:38<00:03,  8.31it/s]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:38<00:04,  6.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.33.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:38<00:04,  6.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.input_layernorm.weight", shape: (5120,), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:38<00:04,  6.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.input_layernorm.bias", shape: (5120,), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:38<00:04,  6.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:38<00:04,  6.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:38<00:04,  6.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:39<00:04,  6.99it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                      | 408/436 [00:39<00:04,  6.99it/s]
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 414/436 [00:39<00:02,  9.44it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.attention.query_key_value.bias", shape: (15360,), dtype: float32

 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 414/436 [00:39<00:02,  9.44it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 414/436 [00:39<00:02,  9.44it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 414/436 [00:39<00:02,  9.44it/s]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 416/436 [00:39<00:01, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.attention.dense.bias", shape: (5120,), dtype: float32

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 416/436 [00:39<00:01, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 416/436 [00:39<00:01, 10.36it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 416/436 [00:39<00:01, 10.36it/s]
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 418/436 [00:39<00:02,  8.10it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 418/436 [00:39<00:02,  8.10it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 418/436 [00:40<00:02,  8.10it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.34.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 418/436 [00:40<00:02,  8.10it/s]
 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.34.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.input_layernorm.weight", shape: (5120,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.input_layernorm.bias", shape: (5120,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.post_attention_layernorm.weight", shape: (5120,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.post_attention_layernorm.bias", shape: (5120,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.attention.query_key_value.q_weight", shape: (15360, 640), dtype: uint32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.attention.query_key_value.q_scale", shape: (15360, 160), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 420/436 [00:40<00:02,  6.85it/s]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 426/436 [00:40<00:01,  9.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.attention.query_key_value.bias", shape: (15360,), dtype: float32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 426/436 [00:40<00:01,  9.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.attention.dense.q_weight", shape: (5120, 640), dtype: uint32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 426/436 [00:40<00:01,  9.18it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.attention.dense.q_scale", shape: (5120, 160), dtype: float32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 426/436 [00:40<00:01,  9.18it/s]
 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 428/436 [00:40<00:00, 10.10it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.attention.dense.bias", shape: (5120,), dtype: float32

 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 428/436 [00:40<00:00, 10.10it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.mlp.dense_h_to_4h.q_weight", shape: (20480, 640), dtype: uint32

 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 428/436 [00:41<00:00, 10.10it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.mlp.dense_h_to_4h.q_scale", shape: (20480, 160), dtype: float32

 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 428/436 [00:41<00:00, 10.10it/s]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 430/436 [00:41<00:00,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.mlp.dense_h_to_4h.bias", shape: (20480,), dtype: float32

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 430/436 [00:41<00:00,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.mlp.dense_4h_to_h.q_weight", shape: (5120, 2560), dtype: uint32

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 430/436 [00:41<00:00,  7.90it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "gpt_neox.layers.35.mlp.dense_4h_to_h.q_scale", shape: (5120, 640), dtype: float32

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 430/436 [00:41<00:00,  7.90it/s]
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 432/436 [00:41<00:00,  6.76it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.layers.35.mlp.dense_4h_to_h.bias", shape: (5120,), dtype: float32

 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 432/436 [00:41<00:00,  6.76it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.final_layer_norm.weight", shape: (5120,), dtype: float32

 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 432/436 [00:41<00:00,  6.76it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "gpt_neox.final_layer_norm.bias", shape: (5120,), dtype: float32

 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 432/436 [00:41<00:00,  6.76it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "embed_out.q_weight", shape: (50280, 640), dtype: uint32

 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 432/436 [00:42<00:00,  6.76it/s]
                                                                                                                                                                                                                                                                                                                                                                                             
[2023-12-29 19:27:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "embed_out.q_scale", shape: (50280, 160), dtype: float32

 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 432/436 [00:42<00:00,  6.76it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 436/436 [00:42<00:00,  5.12it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 436/436 [00:42<00:00, 10.18it/s]
[2023-12-29 19:27:05] INFO huggingface_loader.py:179: Unloading HF weight file: /home/junrushao/tmp/tmpc5liwyrs/repo/pytorch_model.bin
[2023-12-29 19:27:07] INFO stats.py:71: Time usage: HF loading: 21.887 sec; Pre-quantization mapping: 30.023 sec; Quantization: 3.083 sec
[2023-12-29 19:27:07] INFO stats.py:85: RAM usage: Peak RAM: 44.255 GB. Total bytes loaded from disk: 44.255 GB
[2023-12-29 19:27:07] INFO convert_weight.py:110: Parameter size after quantization: 6.900 GB
[2023-12-29 19:27:07] INFO convert_weight.py:115: Total parameters: 11,841,894,400
[2023-12-29 19:27:07] INFO convert_weight.py:116: Bits per parameter: 5.005
Start storing to cache /home/junrushao/tmp/tmpq5kh4k7j


[0001/0582] saving gpt_neox.embed_in.q_weight
                                             
[0002/0582] saving gpt_neox.embed_in.q_scale
                                             
[0003/0582] saving gpt_neox.layers.0.input_layernorm.weight
                                                           
[0004/0582] saving gpt_neox.layers.0.input_layernorm.bias
                                                           
[0005/0582] saving gpt_neox.layers.0.post_attention_layernorm.weight
                                                                    
[0006/0582] saving gpt_neox.layers.0.post_attention_layernorm.bias
                                                                    
[0007/0582] saving gpt_neox.layers.0.attention.query_key_value.q_weight
                                                                       
[0008/0582] saving gpt_neox.layers.0.attention.query_key_value.q_scale
                                                                       
[0009/0582] saving gpt_neox.layers.0.attention.query_key_value.bias
                                                                       
[0010/0582] saving gpt_neox.layers.0.attention.dense.q_weight
                                                                       
[0011/0582] saving gpt_neox.layers.0.attention.dense.q_scale
                                                                       
[0012/0582] saving gpt_neox.layers.0.attention.dense.bias
                                                                       
[0013/0582] saving gpt_neox.layers.0.mlp.dense_h_to_4h.q_weight
                                                                       
[0014/0582] saving gpt_neox.layers.0.mlp.dense_h_to_4h.q_scale
                                                                       
[0015/0582] saving gpt_neox.layers.0.mlp.dense_h_to_4h.bias
                                                                       
[0016/0582] saving gpt_neox.layers.0.mlp.dense_4h_to_h.q_weight
                                                                       
[0017/0582] saving gpt_neox.layers.0.mlp.dense_4h_to_h.q_scale
                                                                       
[0018/0582] saving gpt_neox.layers.0.mlp.dense_4h_to_h.bias
                                                                       
[0019/0582] saving gpt_neox.layers.1.input_layernorm.weight
                                                                       
[0020/0582] saving gpt_neox.layers.1.input_layernorm.bias
                                                                       
[0021/0582] saving gpt_neox.layers.1.post_attention_layernorm.weight
                                                                       
[0022/0582] saving gpt_neox.layers.1.post_attention_layernorm.bias
                                                                       
[0023/0582] saving gpt_neox.layers.1.attention.query_key_value.q_weight
                                                                       
[0024/0582] saving gpt_neox.layers.1.attention.query_key_value.q_scale
                                                                       
[0025/0582] saving gpt_neox.layers.1.attention.query_key_value.bias
                                                                       
[0026/0582] saving gpt_neox.layers.1.attention.dense.q_weight
                                                                       
[0027/0582] saving gpt_neox.layers.1.attention.dense.q_scale
                                                                       
[0028/0582] saving gpt_neox.layers.1.attention.dense.bias
                                                                       
[0029/0582] saving gpt_neox.layers.1.mlp.dense_h_to_4h.q_weight
                                                                       
[0030/0582] saving gpt_neox.layers.1.mlp.dense_h_to_4h.q_scale
                                                                       
[0031/0582] saving gpt_neox.layers.1.mlp.dense_h_to_4h.bias
                                                                       
[0032/0582] saving gpt_neox.layers.1.mlp.dense_4h_to_h.q_weight
                                                                       
[0033/0582] saving gpt_neox.layers.1.mlp.dense_4h_to_h.q_scale
                                                                       
[0034/0582] saving gpt_neox.layers.1.mlp.dense_4h_to_h.bias
                                                                       
[0035/0582] saving gpt_neox.layers.2.input_layernorm.weight
                                                                       
[0036/0582] saving gpt_neox.layers.2.input_layernorm.bias
                                                                       
[0037/0582] saving gpt_neox.layers.2.post_attention_layernorm.weight
                                                                       
[0038/0582] saving gpt_neox.layers.2.post_attention_layernorm.bias
                                                                       
[0039/0582] saving gpt_neox.layers.2.attention.query_key_value.q_weight
                                                                       
[0040/0582] saving gpt_neox.layers.2.attention.query_key_value.q_scale
                                                                       
[0041/0582] saving gpt_neox.layers.2.attention.query_key_value.bias
                                                                       
[0042/0582] saving gpt_neox.layers.2.attention.dense.q_weight
                                                                       
[0043/0582] saving gpt_neox.layers.2.attention.dense.q_scale
                                                                       
[0044/0582] saving gpt_neox.layers.2.attention.dense.bias
                                                                       
[0045/0582] saving gpt_neox.layers.2.mlp.dense_h_to_4h.q_weight
                                                                       
[0046/0582] saving gpt_neox.layers.2.mlp.dense_h_to_4h.q_scale
                                                                       
[0047/0582] saving gpt_neox.layers.2.mlp.dense_h_to_4h.bias
                                                                       
[0048/0582] saving gpt_neox.layers.2.mlp.dense_4h_to_h.q_weight
                                                                       
[0049/0582] saving gpt_neox.layers.2.mlp.dense_4h_to_h.q_scale
                                                                       
[0050/0582] saving gpt_neox.layers.2.mlp.dense_4h_to_h.bias
                                                                       
[0051/0582] saving gpt_neox.layers.3.input_layernorm.weight
                                                                       
[0052/0582] saving gpt_neox.layers.3.input_layernorm.bias
                                                                       
[0053/0582] saving gpt_neox.layers.3.post_attention_layernorm.weight
                                                                       
[0054/0582] saving gpt_neox.layers.3.post_attention_layernorm.bias
                                                                       
[0055/0582] saving gpt_neox.layers.3.attention.query_key_value.q_weight
                                                                       
[0056/0582] saving gpt_neox.layers.3.attention.query_key_value.q_scale
                                                                       
[0057/0582] saving gpt_neox.layers.3.attention.query_key_value.bias
                                                                       
[0058/0582] saving gpt_neox.layers.3.attention.dense.q_weight
                                                                       
[0059/0582] saving gpt_neox.layers.3.attention.dense.q_scale
                                                                       
[0060/0582] saving gpt_neox.layers.3.attention.dense.bias
                                                                       
[0061/0582] saving gpt_neox.layers.3.mlp.dense_h_to_4h.q_weight
                                                                       
[0062/0582] saving gpt_neox.layers.3.mlp.dense_h_to_4h.q_scale
                                                                       
[0063/0582] saving gpt_neox.layers.3.mlp.dense_h_to_4h.bias
                                                                       
[0064/0582] saving gpt_neox.layers.3.mlp.dense_4h_to_h.q_weight
                                                                       
[0065/0582] saving gpt_neox.layers.3.mlp.dense_4h_to_h.q_scale
                                                                       
[0066/0582] saving gpt_neox.layers.3.mlp.dense_4h_to_h.bias
                                                                       
[0067/0582] saving gpt_neox.layers.4.input_layernorm.weight
                                                                       
[0068/0582] saving gpt_neox.layers.4.input_layernorm.bias
                                                                       
[0069/0582] saving gpt_neox.layers.4.post_attention_layernorm.weight
                                                                       
[0070/0582] saving gpt_neox.layers.4.post_attention_layernorm.bias
                                                                       
[0071/0582] saving gpt_neox.layers.4.attention.query_key_value.q_weight
                                                                       
[0072/0582] saving gpt_neox.layers.4.attention.query_key_value.q_scale
                                                                       
[0073/0582] saving gpt_neox.layers.4.attention.query_key_value.bias
                                                                       
[0074/0582] saving gpt_neox.layers.4.attention.dense.q_weight
                                                                       
[0075/0582] saving gpt_neox.layers.4.attention.dense.q_scale
                                                                       
[0076/0582] saving gpt_neox.layers.4.attention.dense.bias
                                                                       
[0077/0582] saving gpt_neox.layers.4.mlp.dense_h_to_4h.q_weight
                                                                       
[0078/0582] saving gpt_neox.layers.4.mlp.dense_h_to_4h.q_scale
                                                                       
[0079/0582] saving gpt_neox.layers.4.mlp.dense_h_to_4h.bias
                                                                       
[0080/0582] saving gpt_neox.layers.4.mlp.dense_4h_to_h.q_weight
                                                                       
[0081/0582] saving gpt_neox.layers.4.mlp.dense_4h_to_h.q_scale
                                                                       
[0082/0582] saving gpt_neox.layers.4.mlp.dense_4h_to_h.bias
                                                                       
[0083/0582] saving gpt_neox.layers.5.input_layernorm.weight
                                                                       
[0084/0582] saving gpt_neox.layers.5.input_layernorm.bias
                                                                       
[0085/0582] saving gpt_neox.layers.5.post_attention_layernorm.weight
                                                                       
[0086/0582] saving gpt_neox.layers.5.post_attention_layernorm.bias
                                                                       
[0087/0582] saving gpt_neox.layers.5.attention.query_key_value.q_weight
                                                                       
[0088/0582] saving gpt_neox.layers.5.attention.query_key_value.q_scale
                                                                       
[0089/0582] saving gpt_neox.layers.5.attention.query_key_value.bias
                                                                       
[0090/0582] saving gpt_neox.layers.5.attention.dense.q_weight
                                                                       
[0091/0582] saving gpt_neox.layers.5.attention.dense.q_scale
                                                                       
[0092/0582] saving gpt_neox.layers.5.attention.dense.bias
                                                                       
[0093/0582] saving gpt_neox.layers.5.mlp.dense_h_to_4h.q_weight
                                                                       
[0094/0582] saving gpt_neox.layers.5.mlp.dense_h_to_4h.q_scale
                                                                       
[0095/0582] saving gpt_neox.layers.5.mlp.dense_h_to_4h.bias
                                                                       
[0096/0582] saving gpt_neox.layers.5.mlp.dense_4h_to_h.q_weight
                                                                       
[0097/0582] saving gpt_neox.layers.5.mlp.dense_4h_to_h.q_scale
                                                                       
[0098/0582] saving gpt_neox.layers.5.mlp.dense_4h_to_h.bias
                                                                       
[0099/0582] saving gpt_neox.layers.6.input_layernorm.weight
                                                                       
[0100/0582] saving gpt_neox.layers.6.input_layernorm.bias
                                                                       
[0101/0582] saving gpt_neox.layers.6.post_attention_layernorm.weight
                                                                       
[0102/0582] saving gpt_neox.layers.6.post_attention_layernorm.bias
                                                                       
[0103/0582] saving gpt_neox.layers.6.attention.query_key_value.q_weight
                                                                       
[0104/0582] saving gpt_neox.layers.6.attention.query_key_value.q_scale
                                                                       
[0105/0582] saving gpt_neox.layers.6.attention.query_key_value.bias
                                                                       
[0106/0582] saving gpt_neox.layers.6.attention.dense.q_weight
                                                                       
[0107/0582] saving gpt_neox.layers.6.attention.dense.q_scale
                                                                       
[0108/0582] saving gpt_neox.layers.6.attention.dense.bias
                                                                       
[0109/0582] saving gpt_neox.layers.6.mlp.dense_h_to_4h.q_weight
                                                                       
[0110/0582] saving gpt_neox.layers.6.mlp.dense_h_to_4h.q_scale
                                                                       
[0111/0582] saving gpt_neox.layers.6.mlp.dense_h_to_4h.bias
                                                                       
[0112/0582] saving gpt_neox.layers.6.mlp.dense_4h_to_h.q_weight
                                                                       
[0113/0582] saving gpt_neox.layers.6.mlp.dense_4h_to_h.q_scale
                                                                       
[0114/0582] saving gpt_neox.layers.6.mlp.dense_4h_to_h.bias
                                                                       
[0115/0582] saving gpt_neox.layers.7.input_layernorm.weight
                                                                       
[0116/0582] saving gpt_neox.layers.7.input_layernorm.bias
                                                                       
[0117/0582] saving gpt_neox.layers.7.post_attention_layernorm.weight
                                                                       
[0118/0582] saving gpt_neox.layers.7.post_attention_layernorm.bias
                                                                       
[0119/0582] saving gpt_neox.layers.7.attention.query_key_value.q_weight
                                                                       
[0120/0582] saving gpt_neox.layers.7.attention.query_key_value.q_scale
                                                                       
[0121/0582] saving gpt_neox.layers.7.attention.query_key_value.bias
                                                                       
[0122/0582] saving gpt_neox.layers.7.attention.dense.q_weight
                                                                       
[0123/0582] saving gpt_neox.layers.7.attention.dense.q_scale
                                                                       
[0124/0582] saving gpt_neox.layers.7.attention.dense.bias
                                                                       
[0125/0582] saving gpt_neox.layers.7.mlp.dense_h_to_4h.q_weight
                                                                       
[0126/0582] saving gpt_neox.layers.7.mlp.dense_h_to_4h.q_scale
                                                                       
[0127/0582] saving gpt_neox.layers.7.mlp.dense_h_to_4h.bias
                                                                       
[0128/0582] saving gpt_neox.layers.7.mlp.dense_4h_to_h.q_weight
                                                                       
[0129/0582] saving gpt_neox.layers.7.mlp.dense_4h_to_h.q_scale
                                                                       
[0130/0582] saving gpt_neox.layers.7.mlp.dense_4h_to_h.bias
                                                                       
[0131/0582] saving gpt_neox.layers.8.input_layernorm.weight
                                                                       
[0132/0582] saving gpt_neox.layers.8.input_layernorm.bias
                                                                       
[0133/0582] saving gpt_neox.layers.8.post_attention_layernorm.weight
                                                                       
[0134/0582] saving gpt_neox.layers.8.post_attention_layernorm.bias
                                                                       
[0135/0582] saving gpt_neox.layers.8.attention.query_key_value.q_weight
                                                                       
[0136/0582] saving gpt_neox.layers.8.attention.query_key_value.q_scale
                                                                       
[0137/0582] saving gpt_neox.layers.8.attention.query_key_value.bias
                                                                       
[0138/0582] saving gpt_neox.layers.8.attention.dense.q_weight
                                                                       
[0139/0582] saving gpt_neox.layers.8.attention.dense.q_scale
                                                                       
[0140/0582] saving gpt_neox.layers.8.attention.dense.bias
                                                                       
[0141/0582] saving gpt_neox.layers.8.mlp.dense_h_to_4h.q_weight
                                                                       
[0142/0582] saving gpt_neox.layers.8.mlp.dense_h_to_4h.q_scale
                                                                       
[0143/0582] saving gpt_neox.layers.8.mlp.dense_h_to_4h.bias
                                                                       
[0144/0582] saving gpt_neox.layers.8.mlp.dense_4h_to_h.q_weight
                                                                       
[0145/0582] saving gpt_neox.layers.8.mlp.dense_4h_to_h.q_scale
                                                                       
[0146/0582] saving gpt_neox.layers.8.mlp.dense_4h_to_h.bias
                                                                       
[0147/0582] saving gpt_neox.layers.9.input_layernorm.weight
                                                                       
[0148/0582] saving gpt_neox.layers.9.input_layernorm.bias
                                                                       
[0149/0582] saving gpt_neox.layers.9.post_attention_layernorm.weight
                                                                       
[0150/0582] saving gpt_neox.layers.9.post_attention_layernorm.bias
                                                                       
[0151/0582] saving gpt_neox.layers.9.attention.query_key_value.q_weight
                                                                       
[0152/0582] saving gpt_neox.layers.9.attention.query_key_value.q_scale
                                                                       
[0153/0582] saving gpt_neox.layers.9.attention.query_key_value.bias
                                                                       
[0154/0582] saving gpt_neox.layers.9.attention.dense.q_weight
                                                                       
[0155/0582] saving gpt_neox.layers.9.attention.dense.q_scale
                                                                       
[0156/0582] saving gpt_neox.layers.9.attention.dense.bias
                                                                       
[0157/0582] saving gpt_neox.layers.9.mlp.dense_h_to_4h.q_weight
                                                                       
[0158/0582] saving gpt_neox.layers.9.mlp.dense_h_to_4h.q_scale
                                                                       
[0159/0582] saving gpt_neox.layers.9.mlp.dense_h_to_4h.bias
                                                                       
[0160/0582] saving gpt_neox.layers.9.mlp.dense_4h_to_h.q_weight
                                                                       
[0161/0582] saving gpt_neox.layers.9.mlp.dense_4h_to_h.q_scale
                                                                       
[0162/0582] saving gpt_neox.layers.9.mlp.dense_4h_to_h.bias
                                                                       
[0163/0582] saving gpt_neox.layers.10.input_layernorm.weight
                                                                       
[0164/0582] saving gpt_neox.layers.10.input_layernorm.bias
                                                                       
[0165/0582] saving gpt_neox.layers.10.post_attention_layernorm.weight
                                                                       
[0166/0582] saving gpt_neox.layers.10.post_attention_layernorm.bias
                                                                       
[0167/0582] saving gpt_neox.layers.10.attention.query_key_value.q_weight
                                                                        
[0168/0582] saving gpt_neox.layers.10.attention.query_key_value.q_scale
                                                                        
[0169/0582] saving gpt_neox.layers.10.attention.query_key_value.bias
                                                                        
[0170/0582] saving gpt_neox.layers.10.attention.dense.q_weight
                                                                        
[0171/0582] saving gpt_neox.layers.10.attention.dense.q_scale
                                                                        
[0172/0582] saving gpt_neox.layers.10.attention.dense.bias
                                                                        
[0173/0582] saving gpt_neox.layers.10.mlp.dense_h_to_4h.q_weight
                                                                        
[0174/0582] saving gpt_neox.layers.10.mlp.dense_h_to_4h.q_scale
                                                                        
[0175/0582] saving gpt_neox.layers.10.mlp.dense_h_to_4h.bias
                                                                        
[0176/0582] saving gpt_neox.layers.10.mlp.dense_4h_to_h.q_weight
                                                                        
[0177/0582] saving gpt_neox.layers.10.mlp.dense_4h_to_h.q_scale
                                                                        
[0178/0582] saving gpt_neox.layers.10.mlp.dense_4h_to_h.bias
                                                                        
[0179/0582] saving gpt_neox.layers.11.input_layernorm.weight
                                                                        
[0180/0582] saving gpt_neox.layers.11.input_layernorm.bias
                                                                        
[0181/0582] saving gpt_neox.layers.11.post_attention_layernorm.weight
                                                                        
[0182/0582] saving gpt_neox.layers.11.post_attention_layernorm.bias
                                                                        
[0183/0582] saving gpt_neox.layers.11.attention.query_key_value.q_weight
                                                                        
[0184/0582] saving gpt_neox.layers.11.attention.query_key_value.q_scale
                                                                        
[0185/0582] saving gpt_neox.layers.11.attention.query_key_value.bias
                                                                        
[0186/0582] saving gpt_neox.layers.11.attention.dense.q_weight
                                                                        
[0187/0582] saving gpt_neox.layers.11.attention.dense.q_scale
                                                                        
[0188/0582] saving gpt_neox.layers.11.attention.dense.bias
                                                                        
[0189/0582] saving gpt_neox.layers.11.mlp.dense_h_to_4h.q_weight
                                                                        
[0190/0582] saving gpt_neox.layers.11.mlp.dense_h_to_4h.q_scale
                                                                        
[0191/0582] saving gpt_neox.layers.11.mlp.dense_h_to_4h.bias
                                                                        
[0192/0582] saving gpt_neox.layers.11.mlp.dense_4h_to_h.q_weight
                                                                        
[0193/0582] saving gpt_neox.layers.11.mlp.dense_4h_to_h.q_scale
                                                                        
[0194/0582] saving gpt_neox.layers.11.mlp.dense_4h_to_h.bias
                                                                        
[0195/0582] saving gpt_neox.layers.12.input_layernorm.weight
                                                                        
[0196/0582] saving gpt_neox.layers.12.input_layernorm.bias
                                                                        
[0197/0582] saving gpt_neox.layers.12.post_attention_layernorm.weight
                                                                        
[0198/0582] saving gpt_neox.layers.12.post_attention_layernorm.bias
                                                                        
[0199/0582] saving gpt_neox.layers.12.attention.query_key_value.q_weight
                                                                        
[0200/0582] saving gpt_neox.layers.12.attention.query_key_value.q_scale
                                                                        
[0201/0582] saving gpt_neox.layers.12.attention.query_key_value.bias
                                                                        
[0202/0582] saving gpt_neox.layers.12.attention.dense.q_weight
                                                                        
[0203/0582] saving gpt_neox.layers.12.attention.dense.q_scale
                                                                        
[0204/0582] saving gpt_neox.layers.12.attention.dense.bias
                                                                        
[0205/0582] saving gpt_neox.layers.12.mlp.dense_h_to_4h.q_weight
                                                                        
[0206/0582] saving gpt_neox.layers.12.mlp.dense_h_to_4h.q_scale
                                                                        
[0207/0582] saving gpt_neox.layers.12.mlp.dense_h_to_4h.bias
                                                                        
[0208/0582] saving gpt_neox.layers.12.mlp.dense_4h_to_h.q_weight
                                                                        
[0209/0582] saving gpt_neox.layers.12.mlp.dense_4h_to_h.q_scale
                                                                        
[0210/0582] saving gpt_neox.layers.12.mlp.dense_4h_to_h.bias
                                                                        
[0211/0582] saving gpt_neox.layers.13.input_layernorm.weight
                                                                        
[0212/0582] saving gpt_neox.layers.13.input_layernorm.bias
                                                                        
[0213/0582] saving gpt_neox.layers.13.post_attention_layernorm.weight
                                                                        
[0214/0582] saving gpt_neox.layers.13.post_attention_layernorm.bias
                                                                        
[0215/0582] saving gpt_neox.layers.13.attention.query_key_value.q_weight
                                                                        
[0216/0582] saving gpt_neox.layers.13.attention.query_key_value.q_scale
                                                                        
[0217/0582] saving gpt_neox.layers.13.attention.query_key_value.bias
                                                                        
[0218/0582] saving gpt_neox.layers.13.attention.dense.q_weight
                                                                        
[0219/0582] saving gpt_neox.layers.13.attention.dense.q_scale
                                                                        
[0220/0582] saving gpt_neox.layers.13.attention.dense.bias
                                                                        
[0221/0582] saving gpt_neox.layers.13.mlp.dense_h_to_4h.q_weight
                                                                        
[0222/0582] saving gpt_neox.layers.13.mlp.dense_h_to_4h.q_scale
                                                                        
[0223/0582] saving gpt_neox.layers.13.mlp.dense_h_to_4h.bias
                                                                        
[0224/0582] saving gpt_neox.layers.13.mlp.dense_4h_to_h.q_weight
                                                                        
[0225/0582] saving gpt_neox.layers.13.mlp.dense_4h_to_h.q_scale
                                                                        
[0226/0582] saving gpt_neox.layers.13.mlp.dense_4h_to_h.bias
                                                                        
[0227/0582] saving gpt_neox.layers.14.input_layernorm.weight
                                                                        
[0228/0582] saving gpt_neox.layers.14.input_layernorm.bias
                                                                        
[0229/0582] saving gpt_neox.layers.14.post_attention_layernorm.weight
                                                                        
[0230/0582] saving gpt_neox.layers.14.post_attention_layernorm.bias
                                                                        
[0231/0582] saving gpt_neox.layers.14.attention.query_key_value.q_weight
                                                                        
[0232/0582] saving gpt_neox.layers.14.attention.query_key_value.q_scale
                                                                        
[0233/0582] saving gpt_neox.layers.14.attention.query_key_value.bias
                                                                        
[0234/0582] saving gpt_neox.layers.14.attention.dense.q_weight
                                                                        
[0235/0582] saving gpt_neox.layers.14.attention.dense.q_scale
                                                                        
[0236/0582] saving gpt_neox.layers.14.attention.dense.bias
                                                                        
[0237/0582] saving gpt_neox.layers.14.mlp.dense_h_to_4h.q_weight
                                                                        
[0238/0582] saving gpt_neox.layers.14.mlp.dense_h_to_4h.q_scale
                                                                        
[0239/0582] saving gpt_neox.layers.14.mlp.dense_h_to_4h.bias
                                                                        
[0240/0582] saving gpt_neox.layers.14.mlp.dense_4h_to_h.q_weight
                                                                        
[0241/0582] saving gpt_neox.layers.14.mlp.dense_4h_to_h.q_scale
                                                                        
[0242/0582] saving gpt_neox.layers.14.mlp.dense_4h_to_h.bias
                                                                        
[0243/0582] saving gpt_neox.layers.15.input_layernorm.weight
                                                                        
[0244/0582] saving gpt_neox.layers.15.input_layernorm.bias
                                                                        
[0245/0582] saving gpt_neox.layers.15.post_attention_layernorm.weight
                                                                        
[0246/0582] saving gpt_neox.layers.15.post_attention_layernorm.bias
                                                                        
[0247/0582] saving gpt_neox.layers.15.attention.query_key_value.q_weight
                                                                        
[0248/0582] saving gpt_neox.layers.15.attention.query_key_value.q_scale
                                                                        
[0249/0582] saving gpt_neox.layers.15.attention.query_key_value.bias
                                                                        
[0250/0582] saving gpt_neox.layers.15.attention.dense.q_weight
                                                                        
[0251/0582] saving gpt_neox.layers.15.attention.dense.q_scale
                                                                        
[0252/0582] saving gpt_neox.layers.15.attention.dense.bias
                                                                        
[0253/0582] saving gpt_neox.layers.15.mlp.dense_h_to_4h.q_weight
                                                                        
[0254/0582] saving gpt_neox.layers.15.mlp.dense_h_to_4h.q_scale
                                                                        
[0255/0582] saving gpt_neox.layers.15.mlp.dense_h_to_4h.bias
                                                                        
[0256/0582] saving gpt_neox.layers.15.mlp.dense_4h_to_h.q_weight
                                                                        
[0257/0582] saving gpt_neox.layers.15.mlp.dense_4h_to_h.q_scale
                                                                        
[0258/0582] saving gpt_neox.layers.15.mlp.dense_4h_to_h.bias
                                                                        
[0259/0582] saving gpt_neox.layers.16.input_layernorm.weight
                                                                        
[0260/0582] saving gpt_neox.layers.16.input_layernorm.bias
                                                                        
[0261/0582] saving gpt_neox.layers.16.post_attention_layernorm.weight
                                                                        
[0262/0582] saving gpt_neox.layers.16.post_attention_layernorm.bias
                                                                        
[0263/0582] saving gpt_neox.layers.16.attention.query_key_value.q_weight
                                                                        
[0264/0582] saving gpt_neox.layers.16.attention.query_key_value.q_scale
                                                                        
[0265/0582] saving gpt_neox.layers.16.attention.query_key_value.bias
                                                                        
[0266/0582] saving gpt_neox.layers.16.attention.dense.q_weight
                                                                        
[0267/0582] saving gpt_neox.layers.16.attention.dense.q_scale
                                                                        
[0268/0582] saving gpt_neox.layers.16.attention.dense.bias
                                                                        
[0269/0582] saving gpt_neox.layers.16.mlp.dense_h_to_4h.q_weight
                                                                        
[0270/0582] saving gpt_neox.layers.16.mlp.dense_h_to_4h.q_scale
                                                                        
[0271/0582] saving gpt_neox.layers.16.mlp.dense_h_to_4h.bias
                                                                        
[0272/0582] saving gpt_neox.layers.16.mlp.dense_4h_to_h.q_weight
                                                                        
[0273/0582] saving gpt_neox.layers.16.mlp.dense_4h_to_h.q_scale
                                                                        
[0274/0582] saving gpt_neox.layers.16.mlp.dense_4h_to_h.bias
                                                                        
[0275/0582] saving gpt_neox.layers.17.input_layernorm.weight
                                                                        
[0276/0582] saving gpt_neox.layers.17.input_layernorm.bias
                                                                        
[0277/0582] saving gpt_neox.layers.17.post_attention_layernorm.weight
                                                                        
[0278/0582] saving gpt_neox.layers.17.post_attention_layernorm.bias
                                                                        
[0279/0582] saving gpt_neox.layers.17.attention.query_key_value.q_weight
                                                                        
[0280/0582] saving gpt_neox.layers.17.attention.query_key_value.q_scale
                                                                        
[0281/0582] saving gpt_neox.layers.17.attention.query_key_value.bias
                                                                        
[0282/0582] saving gpt_neox.layers.17.attention.dense.q_weight
                                                                        
[0283/0582] saving gpt_neox.layers.17.attention.dense.q_scale
                                                                        
[0284/0582] saving gpt_neox.layers.17.attention.dense.bias
                                                                        
[0285/0582] saving gpt_neox.layers.17.mlp.dense_h_to_4h.q_weight
                                                                        
[0286/0582] saving gpt_neox.layers.17.mlp.dense_h_to_4h.q_scale
                                                                        
[0287/0582] saving gpt_neox.layers.17.mlp.dense_h_to_4h.bias
                                                                        
[0288/0582] saving gpt_neox.layers.17.mlp.dense_4h_to_h.q_weight
                                                                        
[0289/0582] saving gpt_neox.layers.17.mlp.dense_4h_to_h.q_scale
                                                                        
[0290/0582] saving gpt_neox.layers.17.mlp.dense_4h_to_h.bias
                                                                        
[0291/0582] saving gpt_neox.layers.18.input_layernorm.weight
                                                                        
[0292/0582] saving gpt_neox.layers.18.input_layernorm.bias
                                                                        
[0293/0582] saving gpt_neox.layers.18.post_attention_layernorm.weight
                                                                        
[0294/0582] saving gpt_neox.layers.18.post_attention_layernorm.bias
                                                                        
[0295/0582] saving gpt_neox.layers.18.attention.query_key_value.q_weight
                                                                        
[0296/0582] saving gpt_neox.layers.18.attention.query_key_value.q_scale
                                                                        
[0297/0582] saving gpt_neox.layers.18.attention.query_key_value.bias
                                                                        
[0298/0582] saving gpt_neox.layers.18.attention.dense.q_weight
                                                                        
[0299/0582] saving gpt_neox.layers.18.attention.dense.q_scale
                                                                        
[0300/0582] saving gpt_neox.layers.18.attention.dense.bias
                                                                        
[0301/0582] saving gpt_neox.layers.18.mlp.dense_h_to_4h.q_weight
                                                                        
[0302/0582] saving gpt_neox.layers.18.mlp.dense_h_to_4h.q_scale
                                                                        
[0303/0582] saving gpt_neox.layers.18.mlp.dense_h_to_4h.bias
                                                                        
[0304/0582] saving gpt_neox.layers.18.mlp.dense_4h_to_h.q_weight
                                                                        
[0305/0582] saving gpt_neox.layers.18.mlp.dense_4h_to_h.q_scale
                                                                        
[0306/0582] saving gpt_neox.layers.18.mlp.dense_4h_to_h.bias
                                                                        
[0307/0582] saving gpt_neox.layers.19.input_layernorm.weight
                                                                        
[0308/0582] saving gpt_neox.layers.19.input_layernorm.bias
                                                                        
[0309/0582] saving gpt_neox.layers.19.post_attention_layernorm.weight
                                                                        
[0310/0582] saving gpt_neox.layers.19.post_attention_layernorm.bias
                                                                        
[0311/0582] saving gpt_neox.layers.19.attention.query_key_value.q_weight
                                                                        
[0312/0582] saving gpt_neox.layers.19.attention.query_key_value.q_scale
                                                                        
[0313/0582] saving gpt_neox.layers.19.attention.query_key_value.bias
                                                                        
[0314/0582] saving gpt_neox.layers.19.attention.dense.q_weight
                                                                        
[0315/0582] saving gpt_neox.layers.19.attention.dense.q_scale
                                                                        
[0316/0582] saving gpt_neox.layers.19.attention.dense.bias
                                                                        
[0317/0582] saving gpt_neox.layers.19.mlp.dense_h_to_4h.q_weight
                                                                        
[0318/0582] saving gpt_neox.layers.19.mlp.dense_h_to_4h.q_scale
                                                                        
[0319/0582] saving gpt_neox.layers.19.mlp.dense_h_to_4h.bias
                                                                        
[0320/0582] saving gpt_neox.layers.19.mlp.dense_4h_to_h.q_weight
                                                                        
[0321/0582] saving gpt_neox.layers.19.mlp.dense_4h_to_h.q_scale
                                                                        
[0322/0582] saving gpt_neox.layers.19.mlp.dense_4h_to_h.bias
                                                                        
[0323/0582] saving gpt_neox.layers.20.input_layernorm.weight
                                                                        
[0324/0582] saving gpt_neox.layers.20.input_layernorm.bias
                                                                        
[0325/0582] saving gpt_neox.layers.20.post_attention_layernorm.weight
                                                                        
[0326/0582] saving gpt_neox.layers.20.post_attention_layernorm.bias
                                                                        
[0327/0582] saving gpt_neox.layers.20.attention.query_key_value.q_weight
                                                                        
[0328/0582] saving gpt_neox.layers.20.attention.query_key_value.q_scale
                                                                        
[0329/0582] saving gpt_neox.layers.20.attention.query_key_value.bias
                                                                        
[0330/0582] saving gpt_neox.layers.20.attention.dense.q_weight
                                                                        
[0331/0582] saving gpt_neox.layers.20.attention.dense.q_scale
                                                                        
[0332/0582] saving gpt_neox.layers.20.attention.dense.bias
                                                                        
[0333/0582] saving gpt_neox.layers.20.mlp.dense_h_to_4h.q_weight
                                                                        
[0334/0582] saving gpt_neox.layers.20.mlp.dense_h_to_4h.q_scale
                                                                        
[0335/0582] saving gpt_neox.layers.20.mlp.dense_h_to_4h.bias
                                                                        
[0336/0582] saving gpt_neox.layers.20.mlp.dense_4h_to_h.q_weight
                                                                        
[0337/0582] saving gpt_neox.layers.20.mlp.dense_4h_to_h.q_scale
                                                                        
[0338/0582] saving gpt_neox.layers.20.mlp.dense_4h_to_h.bias
                                                                        
[0339/0582] saving gpt_neox.layers.21.input_layernorm.weight
                                                                        
[0340/0582] saving gpt_neox.layers.21.input_layernorm.bias
                                                                        
[0341/0582] saving gpt_neox.layers.21.post_attention_layernorm.weight
                                                                        
[0342/0582] saving gpt_neox.layers.21.post_attention_layernorm.bias
                                                                        
[0343/0582] saving gpt_neox.layers.21.attention.query_key_value.q_weight
                                                                        
[0344/0582] saving gpt_neox.layers.21.attention.query_key_value.q_scale
                                                                        
[0345/0582] saving gpt_neox.layers.21.attention.query_key_value.bias
                                                                        
[0346/0582] saving gpt_neox.layers.21.attention.dense.q_weight
                                                                        
[0347/0582] saving gpt_neox.layers.21.attention.dense.q_scale
                                                                        
[0348/0582] saving gpt_neox.layers.21.attention.dense.bias
                                                                        
[0349/0582] saving gpt_neox.layers.21.mlp.dense_h_to_4h.q_weight
                                                                        
[0350/0582] saving gpt_neox.layers.21.mlp.dense_h_to_4h.q_scale
                                                                        
[0351/0582] saving gpt_neox.layers.21.mlp.dense_h_to_4h.bias
                                                                        
[0352/0582] saving gpt_neox.layers.21.mlp.dense_4h_to_h.q_weight
                                                                        
[0353/0582] saving gpt_neox.layers.21.mlp.dense_4h_to_h.q_scale
                                                                        
[0354/0582] saving gpt_neox.layers.21.mlp.dense_4h_to_h.bias
                                                                        
[0355/0582] saving gpt_neox.layers.22.input_layernorm.weight
                                                                        
[0356/0582] saving gpt_neox.layers.22.input_layernorm.bias
                                                                        
[0357/0582] saving gpt_neox.layers.22.post_attention_layernorm.weight
                                                                        
[0358/0582] saving gpt_neox.layers.22.post_attention_layernorm.bias
                                                                        
[0359/0582] saving gpt_neox.layers.22.attention.query_key_value.q_weight
                                                                        
[0360/0582] saving gpt_neox.layers.22.attention.query_key_value.q_scale
                                                                        
[0361/0582] saving gpt_neox.layers.22.attention.query_key_value.bias
                                                                        
[0362/0582] saving gpt_neox.layers.22.attention.dense.q_weight
                                                                        
[0363/0582] saving gpt_neox.layers.22.attention.dense.q_scale
                                                                        
[0364/0582] saving gpt_neox.layers.22.attention.dense.bias
                                                                        
[0365/0582] saving gpt_neox.layers.22.mlp.dense_h_to_4h.q_weight
                                                                        
[0366/0582] saving gpt_neox.layers.22.mlp.dense_h_to_4h.q_scale
                                                                        
[0367/0582] saving gpt_neox.layers.22.mlp.dense_h_to_4h.bias
                                                                        
[0368/0582] saving gpt_neox.layers.22.mlp.dense_4h_to_h.q_weight
                                                                        
[0369/0582] saving gpt_neox.layers.22.mlp.dense_4h_to_h.q_scale
                                                                        
[0370/0582] saving gpt_neox.layers.22.mlp.dense_4h_to_h.bias
                                                                        
[0371/0582] saving gpt_neox.layers.23.input_layernorm.weight
                                                                        
[0372/0582] saving gpt_neox.layers.23.input_layernorm.bias
                                                                        
[0373/0582] saving gpt_neox.layers.23.post_attention_layernorm.weight
                                                                        
[0374/0582] saving gpt_neox.layers.23.post_attention_layernorm.bias
                                                                        
[0375/0582] saving gpt_neox.layers.23.attention.query_key_value.q_weight
                                                                        
[0376/0582] saving gpt_neox.layers.23.attention.query_key_value.q_scale
                                                                        
[0377/0582] saving gpt_neox.layers.23.attention.query_key_value.bias
                                                                        
[0378/0582] saving gpt_neox.layers.23.attention.dense.q_weight
                                                                        
[0379/0582] saving gpt_neox.layers.23.attention.dense.q_scale
                                                                        
[0380/0582] saving gpt_neox.layers.23.attention.dense.bias
                                                                        
[0381/0582] saving gpt_neox.layers.23.mlp.dense_h_to_4h.q_weight
                                                                        
[0382/0582] saving gpt_neox.layers.23.mlp.dense_h_to_4h.q_scale
                                                                        
[0383/0582] saving gpt_neox.layers.23.mlp.dense_h_to_4h.bias
                                                                        
[0384/0582] saving gpt_neox.layers.23.mlp.dense_4h_to_h.q_weight
                                                                        
[0385/0582] saving gpt_neox.layers.23.mlp.dense_4h_to_h.q_scale
                                                                        
[0386/0582] saving gpt_neox.layers.23.mlp.dense_4h_to_h.bias
                                                                        
[0387/0582] saving gpt_neox.layers.24.input_layernorm.weight
                                                                        
[0388/0582] saving gpt_neox.layers.24.input_layernorm.bias
                                                                        
[0389/0582] saving gpt_neox.layers.24.post_attention_layernorm.weight
                                                                        
[0390/0582] saving gpt_neox.layers.24.post_attention_layernorm.bias
                                                                        
[0391/0582] saving gpt_neox.layers.24.attention.query_key_value.q_weight
                                                                        
[0392/0582] saving gpt_neox.layers.24.attention.query_key_value.q_scale
                                                                        
[0393/0582] saving gpt_neox.layers.24.attention.query_key_value.bias
                                                                        
[0394/0582] saving gpt_neox.layers.24.attention.dense.q_weight
                                                                        
[0395/0582] saving gpt_neox.layers.24.attention.dense.q_scale
                                                                        
[0396/0582] saving gpt_neox.layers.24.attention.dense.bias
                                                                        
[0397/0582] saving gpt_neox.layers.24.mlp.dense_h_to_4h.q_weight
                                                                        
[0398/0582] saving gpt_neox.layers.24.mlp.dense_h_to_4h.q_scale
                                                                        
[0399/0582] saving gpt_neox.layers.24.mlp.dense_h_to_4h.bias
                                                                        
[0400/0582] saving gpt_neox.layers.24.mlp.dense_4h_to_h.q_weight
                                                                        
[0401/0582] saving gpt_neox.layers.24.mlp.dense_4h_to_h.q_scale
                                                                        
[0402/0582] saving gpt_neox.layers.24.mlp.dense_4h_to_h.bias
                                                                        
[0403/0582] saving gpt_neox.layers.25.input_layernorm.weight
                                                                        
[0404/0582] saving gpt_neox.layers.25.input_layernorm.bias
                                                                        
[0405/0582] saving gpt_neox.layers.25.post_attention_layernorm.weight
                                                                        
[0406/0582] saving gpt_neox.layers.25.post_attention_layernorm.bias
                                                                        
[0407/0582] saving gpt_neox.layers.25.attention.query_key_value.q_weight
                                                                        
[0408/0582] saving gpt_neox.layers.25.attention.query_key_value.q_scale
                                                                        
[0409/0582] saving gpt_neox.layers.25.attention.query_key_value.bias
                                                                        
[0410/0582] saving gpt_neox.layers.25.attention.dense.q_weight
                                                                        
[0411/0582] saving gpt_neox.layers.25.attention.dense.q_scale
                                                                        
[0412/0582] saving gpt_neox.layers.25.attention.dense.bias
                                                                        
[0413/0582] saving gpt_neox.layers.25.mlp.dense_h_to_4h.q_weight
                                                                        
[0414/0582] saving gpt_neox.layers.25.mlp.dense_h_to_4h.q_scale
                                                                        
[0415/0582] saving gpt_neox.layers.25.mlp.dense_h_to_4h.bias
                                                                        
[0416/0582] saving gpt_neox.layers.25.mlp.dense_4h_to_h.q_weight
                                                                        
[0417/0582] saving gpt_neox.layers.25.mlp.dense_4h_to_h.q_scale
                                                                        
[0418/0582] saving gpt_neox.layers.25.mlp.dense_4h_to_h.bias
                                                                        
[0419/0582] saving gpt_neox.layers.26.input_layernorm.weight
                                                                        
[0420/0582] saving gpt_neox.layers.26.input_layernorm.bias
                                                                        
[0421/0582] saving gpt_neox.layers.26.post_attention_layernorm.weight
                                                                        
[0422/0582] saving gpt_neox.layers.26.post_attention_layernorm.bias
                                                                        
[0423/0582] saving gpt_neox.layers.26.attention.query_key_value.q_weight
                                                                        
[0424/0582] saving gpt_neox.layers.26.attention.query_key_value.q_scale
                                                                        
[0425/0582] saving gpt_neox.layers.26.attention.query_key_value.bias
                                                                        
[0426/0582] saving gpt_neox.layers.26.attention.dense.q_weight
                                                                        
[0427/0582] saving gpt_neox.layers.26.attention.dense.q_scale
                                                                        
[0428/0582] saving gpt_neox.layers.26.attention.dense.bias
                                                                        
[0429/0582] saving gpt_neox.layers.26.mlp.dense_h_to_4h.q_weight
                                                                        
[0430/0582] saving gpt_neox.layers.26.mlp.dense_h_to_4h.q_scale
                                                                        
[0431/0582] saving gpt_neox.layers.26.mlp.dense_h_to_4h.bias
                                                                        
[0432/0582] saving gpt_neox.layers.26.mlp.dense_4h_to_h.q_weight
                                                                        
[0433/0582] saving gpt_neox.layers.26.mlp.dense_4h_to_h.q_scale
                                                                        
[0434/0582] saving gpt_neox.layers.26.mlp.dense_4h_to_h.bias
                                                                        
[0435/0582] saving gpt_neox.layers.27.input_layernorm.weight
                                                                        
[0436/0582] saving gpt_neox.layers.27.input_layernorm.bias
                                                                        
[0437/0582] saving gpt_neox.layers.27.post_attention_layernorm.weight
                                                                        
[0438/0582] saving gpt_neox.layers.27.post_attention_layernorm.bias
                                                                        
[0439/0582] saving gpt_neox.layers.27.attention.query_key_value.q_weight
                                                                        
[0440/0582] saving gpt_neox.layers.27.attention.query_key_value.q_scale
                                                                        
[0441/0582] saving gpt_neox.layers.27.attention.query_key_value.bias
                                                                        
[0442/0582] saving gpt_neox.layers.27.attention.dense.q_weight
                                                                        
[0443/0582] saving gpt_neox.layers.27.attention.dense.q_scale
                                                                        
[0444/0582] saving gpt_neox.layers.27.attention.dense.bias
                                                                        
[0445/0582] saving gpt_neox.layers.27.mlp.dense_h_to_4h.q_weight
                                                                        
[0446/0582] saving gpt_neox.layers.27.mlp.dense_h_to_4h.q_scale
                                                                        
[0447/0582] saving gpt_neox.layers.27.mlp.dense_h_to_4h.bias
                                                                        
[0448/0582] saving gpt_neox.layers.27.mlp.dense_4h_to_h.q_weight
                                                                        
[0449/0582] saving gpt_neox.layers.27.mlp.dense_4h_to_h.q_scale
                                                                        
[0450/0582] saving gpt_neox.layers.27.mlp.dense_4h_to_h.bias
                                                                        
[0451/0582] saving gpt_neox.layers.28.input_layernorm.weight
                                                                        
[0452/0582] saving gpt_neox.layers.28.input_layernorm.bias
                                                                        
[0453/0582] saving gpt_neox.layers.28.post_attention_layernorm.weight
                                                                        
[0454/0582] saving gpt_neox.layers.28.post_attention_layernorm.bias
                                                                        
[0455/0582] saving gpt_neox.layers.28.attention.query_key_value.q_weight
                                                                        
[0456/0582] saving gpt_neox.layers.28.attention.query_key_value.q_scale
                                                                        
[0457/0582] saving gpt_neox.layers.28.attention.query_key_value.bias
                                                                        
[0458/0582] saving gpt_neox.layers.28.attention.dense.q_weight
                                                                        
[0459/0582] saving gpt_neox.layers.28.attention.dense.q_scale
                                                                        
[0460/0582] saving gpt_neox.layers.28.attention.dense.bias
                                                                        
[0461/0582] saving gpt_neox.layers.28.mlp.dense_h_to_4h.q_weight
                                                                        
[0462/0582] saving gpt_neox.layers.28.mlp.dense_h_to_4h.q_scale
                                                                        
[0463/0582] saving gpt_neox.layers.28.mlp.dense_h_to_4h.bias
                                                                        
[0464/0582] saving gpt_neox.layers.28.mlp.dense_4h_to_h.q_weight
                                                                        
[0465/0582] saving gpt_neox.layers.28.mlp.dense_4h_to_h.q_scale
                                                                        
[0466/0582] saving gpt_neox.layers.28.mlp.dense_4h_to_h.bias
                                                                        
[0467/0582] saving gpt_neox.layers.29.input_layernorm.weight
                                                                        
[0468/0582] saving gpt_neox.layers.29.input_layernorm.bias
                                                                        
[0469/0582] saving gpt_neox.layers.29.post_attention_layernorm.weight
                                                                        
[0470/0582] saving gpt_neox.layers.29.post_attention_layernorm.bias
                                                                        
[0471/0582] saving gpt_neox.layers.29.attention.query_key_value.q_weight
                                                                        
[0472/0582] saving gpt_neox.layers.29.attention.query_key_value.q_scale
                                                                        
[0473/0582] saving gpt_neox.layers.29.attention.query_key_value.bias
                                                                        
[0474/0582] saving gpt_neox.layers.29.attention.dense.q_weight
                                                                        
[0475/0582] saving gpt_neox.layers.29.attention.dense.q_scale
                                                                        
[0476/0582] saving gpt_neox.layers.29.attention.dense.bias
                                                                        
[0477/0582] saving gpt_neox.layers.29.mlp.dense_h_to_4h.q_weight
                                                                        
[0478/0582] saving gpt_neox.layers.29.mlp.dense_h_to_4h.q_scale
                                                                        
[0479/0582] saving gpt_neox.layers.29.mlp.dense_h_to_4h.bias
                                                                        
[0480/0582] saving gpt_neox.layers.29.mlp.dense_4h_to_h.q_weight
                                                                        
[0481/0582] saving gpt_neox.layers.29.mlp.dense_4h_to_h.q_scale
                                                                        
[0482/0582] saving gpt_neox.layers.29.mlp.dense_4h_to_h.bias
                                                                        
[0483/0582] saving gpt_neox.layers.30.input_layernorm.weight
                                                                        
[0484/0582] saving gpt_neox.layers.30.input_layernorm.bias
                                                                        
[0485/0582] saving gpt_neox.layers.30.post_attention_layernorm.weight
                                                                        
[0486/0582] saving gpt_neox.layers.30.post_attention_layernorm.bias
                                                                        
[0487/0582] saving gpt_neox.layers.30.attention.query_key_value.q_weight
                                                                        
[0488/0582] saving gpt_neox.layers.30.attention.query_key_value.q_scale
                                                                        
[0489/0582] saving gpt_neox.layers.30.attention.query_key_value.bias
                                                                        
[0490/0582] saving gpt_neox.layers.30.attention.dense.q_weight
                                                                        
[0491/0582] saving gpt_neox.layers.30.attention.dense.q_scale
                                                                        
[0492/0582] saving gpt_neox.layers.30.attention.dense.bias
                                                                        
[0493/0582] saving gpt_neox.layers.30.mlp.dense_h_to_4h.q_weight
                                                                        
[0494/0582] saving gpt_neox.layers.30.mlp.dense_h_to_4h.q_scale
                                                                        
[0495/0582] saving gpt_neox.layers.30.mlp.dense_h_to_4h.bias
                                                                        
[0496/0582] saving gpt_neox.layers.30.mlp.dense_4h_to_h.q_weight
                                                                        
[0497/0582] saving gpt_neox.layers.30.mlp.dense_4h_to_h.q_scale
                                                                        
[0498/0582] saving gpt_neox.layers.30.mlp.dense_4h_to_h.bias
                                                                        
[0499/0582] saving gpt_neox.layers.31.input_layernorm.weight
                                                                        
[0500/0582] saving gpt_neox.layers.31.input_layernorm.bias
                                                                        
[0501/0582] saving gpt_neox.layers.31.post_attention_layernorm.weight
                                                                        
[0502/0582] saving gpt_neox.layers.31.post_attention_layernorm.bias
                                                                        
[0503/0582] saving gpt_neox.layers.31.attention.query_key_value.q_weight
                                                                        
[0504/0582] saving gpt_neox.layers.31.attention.query_key_value.q_scale
                                                                        
[0505/0582] saving gpt_neox.layers.31.attention.query_key_value.bias
                                                                        
[0506/0582] saving gpt_neox.layers.31.attention.dense.q_weight
                                                                        
[0507/0582] saving gpt_neox.layers.31.attention.dense.q_scale
                                                                        
[0508/0582] saving gpt_neox.layers.31.attention.dense.bias
                                                                        
[0509/0582] saving gpt_neox.layers.31.mlp.dense_h_to_4h.q_weight
                                                                        
[0510/0582] saving gpt_neox.layers.31.mlp.dense_h_to_4h.q_scale
                                                                        
[0511/0582] saving gpt_neox.layers.31.mlp.dense_h_to_4h.bias
                                                                        
[0512/0582] saving gpt_neox.layers.31.mlp.dense_4h_to_h.q_weight
                                                                        
[0513/0582] saving gpt_neox.layers.31.mlp.dense_4h_to_h.q_scale
                                                                        
[0514/0582] saving gpt_neox.layers.31.mlp.dense_4h_to_h.bias
                                                                        
[0515/0582] saving gpt_neox.layers.32.input_layernorm.weight
                                                                        
[0516/0582] saving gpt_neox.layers.32.input_layernorm.bias
                                                                        
[0517/0582] saving gpt_neox.layers.32.post_attention_layernorm.weight
                                                                        
[0518/0582] saving gpt_neox.layers.32.post_attention_layernorm.bias
                                                                        
[0519/0582] saving gpt_neox.layers.32.attention.query_key_value.q_weight
                                                                        
[0520/0582] saving gpt_neox.layers.32.attention.query_key_value.q_scale
                                                                        
[0521/0582] saving gpt_neox.layers.32.attention.query_key_value.bias
                                                                        
[0522/0582] saving gpt_neox.layers.32.attention.dense.q_weight
                                                                        
[0523/0582] saving gpt_neox.layers.32.attention.dense.q_scale
                                                                        
[0524/0582] saving gpt_neox.layers.32.attention.dense.bias
                                                                        
[0525/0582] saving gpt_neox.layers.32.mlp.dense_h_to_4h.q_weight
                                                                        
[0526/0582] saving gpt_neox.layers.32.mlp.dense_h_to_4h.q_scale
                                                                        
[0527/0582] saving gpt_neox.layers.32.mlp.dense_h_to_4h.bias
                                                                        
[0528/0582] saving gpt_neox.layers.32.mlp.dense_4h_to_h.q_weight
                                                                        
[0529/0582] saving gpt_neox.layers.32.mlp.dense_4h_to_h.q_scale
                                                                        
[0530/0582] saving gpt_neox.layers.32.mlp.dense_4h_to_h.bias
                                                                        
[0531/0582] saving gpt_neox.layers.33.input_layernorm.weight
                                                                        
[0532/0582] saving gpt_neox.layers.33.input_layernorm.bias
                                                                        
[0533/0582] saving gpt_neox.layers.33.post_attention_layernorm.weight
                                                                        
[0534/0582] saving gpt_neox.layers.33.post_attention_layernorm.bias
                                                                        
[0535/0582] saving gpt_neox.layers.33.attention.query_key_value.q_weight[2023-12-29 19:27:32] INFO convert_weight.py:132: Saved to directory: /home/junrushao/tmp/tmpq5kh4k7j

                                                                        
[0536/0582] saving gpt_neox.layers.33.attention.query_key_value.q_scale
                                                                        
[0537/0582] saving gpt_neox.layers.33.attention.query_key_value.bias
                                                                        
[0538/0582] saving gpt_neox.layers.33.attention.dense.q_weight
                                                                        
[0539/0582] saving gpt_neox.layers.33.attention.dense.q_scale
                                                                        
[0540/0582] saving gpt_neox.layers.33.attention.dense.bias
                                                                        
[0541/0582] saving gpt_neox.layers.33.mlp.dense_h_to_4h.q_weight
                                                                        
[0542/0582] saving gpt_neox.layers.33.mlp.dense_h_to_4h.q_scale
                                                                        
[0543/0582] saving gpt_neox.layers.33.mlp.dense_h_to_4h.bias
                                                                        
[0544/0582] saving gpt_neox.layers.33.mlp.dense_4h_to_h.q_weight
                                                                        
[0545/0582] saving gpt_neox.layers.33.mlp.dense_4h_to_h.q_scale
                                                                        
[0546/0582] saving gpt_neox.layers.33.mlp.dense_4h_to_h.bias
                                                                        
[0547/0582] saving gpt_neox.layers.34.input_layernorm.weight
                                                                        
[0548/0582] saving gpt_neox.layers.34.input_layernorm.bias
                                                                        
[0549/0582] saving gpt_neox.layers.34.post_attention_layernorm.weight
                                                                        
[0550/0582] saving gpt_neox.layers.34.post_attention_layernorm.bias
                                                                        
[0551/0582] saving gpt_neox.layers.34.attention.query_key_value.q_weight
                                                                        
[0552/0582] saving gpt_neox.layers.34.attention.query_key_value.q_scale
                                                                        
[0553/0582] saving gpt_neox.layers.34.attention.query_key_value.bias
                                                                        
[0554/0582] saving gpt_neox.layers.34.attention.dense.q_weight
                                                                        
[0555/0582] saving gpt_neox.layers.34.attention.dense.q_scale
                                                                        
[0556/0582] saving gpt_neox.layers.34.attention.dense.bias
                                                                        
[0557/0582] saving gpt_neox.layers.34.mlp.dense_h_to_4h.q_weight
                                                                        
[0558/0582] saving gpt_neox.layers.34.mlp.dense_h_to_4h.q_scale
                                                                        
[0559/0582] saving gpt_neox.layers.34.mlp.dense_h_to_4h.bias
                                                                        
[0560/0582] saving gpt_neox.layers.34.mlp.dense_4h_to_h.q_weight
                                                                        
[0561/0582] saving gpt_neox.layers.34.mlp.dense_4h_to_h.q_scale
                                                                        
[0562/0582] saving gpt_neox.layers.34.mlp.dense_4h_to_h.bias
                                                                        
[0563/0582] saving gpt_neox.layers.35.input_layernorm.weight
                                                                        
[0564/0582] saving gpt_neox.layers.35.input_layernorm.bias
                                                                        
[0565/0582] saving gpt_neox.layers.35.post_attention_layernorm.weight
                                                                        
[0566/0582] saving gpt_neox.layers.35.post_attention_layernorm.bias
                                                                        
[0567/0582] saving gpt_neox.layers.35.attention.query_key_value.q_weight
                                                                        
[0568/0582] saving gpt_neox.layers.35.attention.query_key_value.q_scale
                                                                        
[0569/0582] saving gpt_neox.layers.35.attention.query_key_value.bias
                                                                        
[0570/0582] saving gpt_neox.layers.35.attention.dense.q_weight
                                                                        
[0571/0582] saving gpt_neox.layers.35.attention.dense.q_scale
                                                                        
[0572/0582] saving gpt_neox.layers.35.attention.dense.bias
                                                                        
[0573/0582] saving gpt_neox.layers.35.mlp.dense_h_to_4h.q_weight
                                                                        
[0574/0582] saving gpt_neox.layers.35.mlp.dense_h_to_4h.q_scale
                                                                        
[0575/0582] saving gpt_neox.layers.35.mlp.dense_h_to_4h.bias
                                                                        
[0576/0582] saving gpt_neox.layers.35.mlp.dense_4h_to_h.q_weight
                                                                        
[0577/0582] saving gpt_neox.layers.35.mlp.dense_4h_to_h.q_scale
                                                                        
[0578/0582] saving gpt_neox.layers.35.mlp.dense_4h_to_h.bias
                                                                        
[0579/0582] saving gpt_neox.final_layer_norm.weight
                                                                        
[0580/0582] saving gpt_neox.final_layer_norm.bias
                                                                        
[0581/0582] saving embed_out.q_weight
                                                                        
[0582/0582] saving embed_out.q_scale
All finished, 148 total shards committed, record saved to /home/junrushao/tmp/tmpq5kh4k7j/ndarray-cache.json
Also saved a bf16 record to /home/junrushao/tmp/tmpq5kh4k7j/ndarray-cache-b16.json