Update README.md
Browse files
README.md
CHANGED
@@ -40,7 +40,7 @@ pipeline_tag: text-generation
|
|
40 |
{model_message}<end_of_turn>model
|
41 |
```
|
42 |
|
43 |
-
- Context size: `
|
44 |
|
45 |
- Run as LlamaEdge service
|
46 |
|
@@ -48,7 +48,7 @@ pipeline_tag: text-generation
|
|
48 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-1b-it-Q5_K_M.gguf \
|
49 |
llama-api-server.wasm \
|
50 |
--prompt-template gemma-3 \
|
51 |
-
--ctx-size
|
52 |
--model-name gemma-3-1b
|
53 |
```
|
54 |
|
@@ -59,7 +59,7 @@ pipeline_tag: text-generation
|
|
59 |
--nn-preload default:GGML:AUTO:gemma-3-1b-it-Q5_K_M.gguf \
|
60 |
llama-chat.wasm \
|
61 |
--prompt-template gemma-3 \
|
62 |
-
--ctx-size
|
63 |
```
|
64 |
|
65 |
## Quantized GGUF Models
|
|
|
40 |
{model_message}<end_of_turn>model
|
41 |
```
|
42 |
|
43 |
+
- Context size: `32000`
|
44 |
|
45 |
- Run as LlamaEdge service
|
46 |
|
|
|
48 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-1b-it-Q5_K_M.gguf \
|
49 |
llama-api-server.wasm \
|
50 |
--prompt-template gemma-3 \
|
51 |
+
--ctx-size 32000 \
|
52 |
--model-name gemma-3-1b
|
53 |
```
|
54 |
|
|
|
59 |
--nn-preload default:GGML:AUTO:gemma-3-1b-it-Q5_K_M.gguf \
|
60 |
llama-chat.wasm \
|
61 |
--prompt-template gemma-3 \
|
62 |
+
--ctx-size 32000
|
63 |
```
|
64 |
|
65 |
## Quantized GGUF Models
|