Santiago1712 commited on
Commit
5e92efe
·
verified ·
1 Parent(s): 326acb5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -10
README.md CHANGED
@@ -27,17 +27,18 @@ Dieses ist ein kleines, autoregressives Sprachmodell, das nach dem Decoder-only-
27
  * **Anzahl der Parameter:** Weniger als 1 Million.
28
  * **Trainingsdaten:** Tiny Shakespeare Datensatz.
29
  * **Tokenizer:** Verwendet wurde der `GPT2Tokenizer`.
 
30
  * vocab_size = tokenizer.vocab_size
31
- Batch Size = 32
32
- Block Size = 128
33
- embed_size = 8
34
- num_layers = 1
35
- heads = 1
36
- dropout = 0.1
37
- forward_expansion = 1
38
- Learning rate = 1e-4
39
- Optimizer = AdamW
40
- Epochen = 5
41
 
42
  ## Verwendungsweise
43
 
 
27
  * **Anzahl der Parameter:** Weniger als 1 Million.
28
  * **Trainingsdaten:** Tiny Shakespeare Datensatz.
29
  * **Tokenizer:** Verwendet wurde der `GPT2Tokenizer`.
30
+
31
  * vocab_size = tokenizer.vocab_size
32
+ * Batch Size = 32
33
+ * Block Size = 128
34
+ * embed_size = 8
35
+ * num_layers = 1
36
+ * heads = 1
37
+ * dropout = 0.1
38
+ * forward_expansion = 1
39
+ * Learning rate = 1e-4
40
+ * Optimizer = AdamW
41
+ * Epochen = 5
42
 
43
  ## Verwendungsweise
44