Update README.md
Browse files
README.md
CHANGED
@@ -27,17 +27,18 @@ Dieses ist ein kleines, autoregressives Sprachmodell, das nach dem Decoder-only-
|
|
27 |
* **Anzahl der Parameter:** Weniger als 1 Million.
|
28 |
* **Trainingsdaten:** Tiny Shakespeare Datensatz.
|
29 |
* **Tokenizer:** Verwendet wurde der `GPT2Tokenizer`.
|
|
|
30 |
* vocab_size = tokenizer.vocab_size
|
31 |
-
|
32 |
-
Block Size = 128
|
33 |
-
embed_size = 8
|
34 |
-
num_layers = 1
|
35 |
-
heads = 1
|
36 |
-
dropout = 0.1
|
37 |
-
forward_expansion = 1
|
38 |
-
Learning rate = 1e-4
|
39 |
-
Optimizer = AdamW
|
40 |
-
Epochen = 5
|
41 |
|
42 |
## Verwendungsweise
|
43 |
|
|
|
27 |
* **Anzahl der Parameter:** Weniger als 1 Million.
|
28 |
* **Trainingsdaten:** Tiny Shakespeare Datensatz.
|
29 |
* **Tokenizer:** Verwendet wurde der `GPT2Tokenizer`.
|
30 |
+
|
31 |
* vocab_size = tokenizer.vocab_size
|
32 |
+
* Batch Size = 32
|
33 |
+
* Block Size = 128
|
34 |
+
* embed_size = 8
|
35 |
+
* num_layers = 1
|
36 |
+
* heads = 1
|
37 |
+
* dropout = 0.1
|
38 |
+
* forward_expansion = 1
|
39 |
+
* Learning rate = 1e-4
|
40 |
+
* Optimizer = AdamW
|
41 |
+
* Epochen = 5
|
42 |
|
43 |
## Verwendungsweise
|
44 |
|