Update README.md
Browse files
README.md
CHANGED
@@ -11,7 +11,7 @@ license:
|
|
11 |
- apache-2.0
|
12 |
inference:
|
13 |
parameters:
|
14 |
-
|
15 |
widget:
|
16 |
- text: "Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как у 81-этажного здания, и самое высокое сооружение в Париже. Его основание квадратно, размером 125 метров (410 футов) с любой стороны. Во время строительства Эйфелева башня превзошла монумент Вашингтона, став самым высоким искусственным сооружением в мире, и этот титул она удерживала в течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в 1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за добавления вещательной антенны на вершине башни в 1957 году она сейчас выше здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков, Эйфелева башня является второй самой высокой отдельно стоящей структурой во Франции после виадука Мийо."
|
17 |
example_title: "Википедия"
|
@@ -54,7 +54,7 @@ input_ids = tokenizer(
|
|
54 |
|
55 |
output_ids = model.generate(
|
56 |
input_ids=input_ids,
|
57 |
-
|
58 |
)[0]
|
59 |
|
60 |
summary = tokenizer.decode(output_ids, skip_special_tokens=True)
|
@@ -72,20 +72,30 @@ print(summary)
|
|
72 |
|
73 |
## Eval results
|
74 |
|
75 |
-
|
76 |
-
|
77 |
-
|
78 |
-
|
79 |
-
|
80 |
-
|
81 |
-
|
82 |
-
|
83 |
-
|
84 |
-
|
|
85 |
-
|
86 |
-
|
87 |
-
|
88 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
89 |
|
90 |
Predicting all summaries:
|
91 |
```python
|
|
|
11 |
- apache-2.0
|
12 |
inference:
|
13 |
parameters:
|
14 |
+
no_repeat_ngram_size: 4
|
15 |
widget:
|
16 |
- text: "Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как у 81-этажного здания, и самое высокое сооружение в Париже. Его основание квадратно, размером 125 метров (410 футов) с любой стороны. Во время строительства Эйфелева башня превзошла монумент Вашингтона, став самым высоким искусственным сооружением в мире, и этот титул она удерживала в течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в 1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за добавления вещательной антенны на вершине башни в 1957 году она сейчас выше здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков, Эйфелева башня является второй самой высокой отдельно стоящей структурой во Франции после виадука Мийо."
|
17 |
example_title: "Википедия"
|
|
|
54 |
|
55 |
output_ids = model.generate(
|
56 |
input_ids=input_ids,
|
57 |
+
no_repeat_ngram_size=4
|
58 |
)[0]
|
59 |
|
60 |
summary = tokenizer.decode(output_ids, skip_special_tokens=True)
|
|
|
72 |
|
73 |
## Eval results
|
74 |
|
75 |
+
* Train dataset: **Gazeta v1 train**
|
76 |
+
* Test dataset: **Gazeta v1 test**
|
77 |
+
* Source max_length: **600**
|
78 |
+
* Target max_length: **200**
|
79 |
+
* no_repeat_ngram_size: **4**
|
80 |
+
* num_beams: **5**
|
81 |
+
|
82 |
+
| Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU | Avg char length |
|
83 |
+
|:--------------------------|:------|:------|:------|:-------|:-------|:-----|:-----|
|
84 |
+
| [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | **32.4** | 14.3 | 28.0 | 39.7 | **26.4** | 12.1 | 371 |
|
85 |
+
| [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | 32.2 | **14.4** | **28.1** | **39.8** | 25.7 | **12.3** | 330 |
|
86 |
+
|
|
87 |
+
|
88 |
+
* Train dataset: **Gazeta v1 train**
|
89 |
+
* Test dataset: **Gazeta v2 test**
|
90 |
+
* Source max_length: **600**
|
91 |
+
* Target max_length: **200**
|
92 |
+
* no_repeat_ngram_size: **4**
|
93 |
+
* num_beams: **5**
|
94 |
+
|
95 |
+
| Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU | Avg char length |
|
96 |
+
|:--------------------------|:------|:------|:------|:-------|:-------|:-----|:-----|
|
97 |
+
| [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | **28.7** | **11.1** | 24.4 | **37.3** | **22.7** | **9.4** | 373 |
|
98 |
+
| [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | 28.6 | **11.1** | **24.5** | 37.2 | 22.0 | **9.4** | 331 |
|
99 |
|
100 |
Predicting all summaries:
|
101 |
```python
|