101 lines
4.7 KiB
Markdown
101 lines
4.7 KiB
Markdown
---
|
||
language:
|
||
- ru
|
||
tags:
|
||
- causal-lm
|
||
- summarization
|
||
datasets:
|
||
- IlyaGusev/gazeta
|
||
license:
|
||
- apache-2.0
|
||
inference: false
|
||
widget:
|
||
- text: "Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как у 81-этажного здания, и самое высокое сооружение в Париже. Его основание квадратно, размером 125 метров (410 футов) с любой стороны. Во время строительства Эйфелева башня превзошла монумент Вашингтона, став самым высоким искусственным сооружением в мире, и этот титул она удерживала в течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в 1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за добавления вещательной антенны на вершине башни в 1957 году она сейчас выше здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков, Эйфелева башня является второй самой высокой отдельно стоящей структурой во Франции после виадука Мийо.<s>"
|
||
example_title: "Википедия"
|
||
---
|
||
|
||
# RuGPT3MediumSumGazeta
|
||
|
||
## Model description
|
||
|
||
This is the model for abstractive summarization for Russian based on [rugpt3medium_based_on_gpt2](https://huggingface.co/sberbank-ai/rugpt3medium_based_on_gpt2).
|
||
|
||
|
||
## Intended uses & limitations
|
||
|
||
#### How to use
|
||
|
||
Colab: [link](https://colab.research.google.com/drive/1eR-ev0Y5ISWIwGnzYYoHyGMaSIUz8GTN)
|
||
|
||
```python
|
||
import torch
|
||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||
|
||
model_name = "IlyaGusev/rugpt3medium_sum_gazeta"
|
||
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||
model = AutoModelForCausalLM.from_pretrained(model_name)
|
||
|
||
article_text = "..."
|
||
|
||
text_tokens = tokenizer(
|
||
article_text,
|
||
max_length=600,
|
||
add_special_tokens=False,
|
||
padding=False,
|
||
truncation=True
|
||
)["input_ids"]
|
||
input_ids = text_tokens + [tokenizer.sep_token_id]
|
||
input_ids = torch.LongTensor([input_ids])
|
||
|
||
output_ids = model.generate(
|
||
input_ids=input_ids,
|
||
no_repeat_ngram_size=4
|
||
)
|
||
|
||
summary = tokenizer.decode(output_ids[0], skip_special_tokens=False)
|
||
summary = summary.split(tokenizer.sep_token)[1]
|
||
summary = summary.split(tokenizer.eos_token)[0]
|
||
print(summary)
|
||
```
|
||
|
||
## Training data
|
||
|
||
- Dataset: [Gazeta](https://huggingface.co/datasets/IlyaGusev/gazeta)
|
||
|
||
## Training procedure
|
||
|
||
- Training script: [train.py](https://github.com/IlyaGusev/summarus/blob/master/external/hf_scripts/train.py)
|
||
- Config: [gpt_training_config.json](https://github.com/IlyaGusev/summarus/blob/master/external/hf_scripts/configs/gpt_training_config.json)
|
||
|
||
## Eval results
|
||
|
||
* Train dataset: **Gazeta v1 train**
|
||
* Test dataset: **Gazeta v1 test**
|
||
* Source max_length: **600**
|
||
* Target max_length: **200**
|
||
* no_repeat_ngram_size: **4**
|
||
* num_beams: **5**
|
||
|
||
| Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU | Avg char length |
|
||
|:--------------------------|:------|:------|:------|:-------|:-------|:-----|:-----|
|
||
| [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | **32.4** | 14.3 | 28.0 | 39.7 | **26.4** | 12.1 | 371 |
|
||
| [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | 32.2 | **14.4** | **28.1** | **39.8** | 25.7 | **12.3** | 330 |
|
||
| [rugpt3medium_sum_gazeta](https://huggingface.co/IlyaGusev/rugpt3medium_sum_gazeta) | 26.2 | 7.7 | 21.7 | 33.8 | 18.2 | 4.3 | 244 |
|
||
|
||
* Train dataset: **Gazeta v1 train**
|
||
* Test dataset: **Gazeta v2 test**
|
||
* Source max_length: **600**
|
||
* Target max_length: **200**
|
||
* no_repeat_ngram_size: **4**
|
||
* num_beams: **5**
|
||
|
||
| Model | R-1-f | R-2-f | R-L-f | chrF | METEOR | BLEU | Avg char length |
|
||
|:--------------------------|:------|:------|:------|:-------|:-------|:-----|:-----|
|
||
| [mbart_ru_sum_gazeta](https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta) | **28.7** | **11.1** | 24.4 | **37.3** | **22.7** | **9.4** | 373 |
|
||
| [rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta) | 28.6 | **11.1** | **24.5** | 37.2 | 22.0 | **9.4** | 331 |
|
||
| [rugpt3medium_sum_gazeta](https://huggingface.co/IlyaGusev/rugpt3medium_sum_gazeta) | 24.1 | 6.5 | 19.8 | 32.1 | 16.3 | 3.6 | 242 |
|
||
|
||
Evaluation script: [evaluate.py](https://github.com/IlyaGusev/summarus/blob/master/evaluate.py)
|
||
|
||
Flags: --language ru --tokenize-after --lower
|