add run_api.sh
Browse files
run_qwen2.5_1.5b_ctx_ax650_api.sh
CHANGED
|
@@ -6,8 +6,8 @@
|
|
| 6 |
--filename_tokens_embed "qwen2.5-1.5b-ctx-ax650/model.embed_tokens.weight.bfloat16.bin" \
|
| 7 |
--tokens_embed_num 151936 \
|
| 8 |
--tokens_embed_size 1536 \
|
| 9 |
-
--use_mmap_load_embed 1
|
| 10 |
-
|
| 11 |
|
| 12 |
|
| 13 |
#--system_prompt "你的名字叫小智（allen）,你是一个人畜无害的AI助手。深圳市今天（4月1日）阴天，愚人节，气温在14°C至19°C之间，微风。" \
|
|
|
|
| 6 |
--filename_tokens_embed "qwen2.5-1.5b-ctx-ax650/model.embed_tokens.weight.bfloat16.bin" \
|
| 7 |
--tokens_embed_num 151936 \
|
| 8 |
--tokens_embed_size 1536 \
|
| 9 |
+
--use_mmap_load_embed 1
|
| 10 |
+
#--live_print 1
|
| 11 |
|
| 12 |
|
| 13 |
#--system_prompt "你的名字叫小智（allen）,你是一个人畜无害的AI助手。深圳市今天（4月1日）阴天，愚人节，气温在14°C至19°C之间，微风。" \
|