254 lines
21 KiB
Markdown
254 lines
21 KiB
Markdown
---
|
||
license: mit
|
||
language:
|
||
- ru
|
||
base_model:
|
||
- Qwen/Qwen3-0.6B
|
||
---
|
||
|
||
# RAGU-lm-0.6B
|
||
RAGU-lm is a fine-tuned Qwen-3-0.6B. The main goal is to extract structural information for knowledge graph building purposes in Russian language.
|
||
|
||
### Model descriprion
|
||
Supported tasks:
|
||
1. Extract unnormalized entities from a given text.
|
||
2. Normalize entities.
|
||
3. Generate a description of an entity based on the given text.
|
||
4. Identify relations between two entities and generate their description from the given text.
|
||
|
||
The model was trained using four specialized instruction formats, one per task
|
||
|
||
**System prompt**:
|
||
```
|
||
Вы - эксперт в области анализа текстов и извлечения семантической информации из них.
|
||
```
|
||
|
||
**Entity extraction**:
|
||
```
|
||
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: {input_text}\n\nИменованные сущности:
|
||
```
|
||
|
||
<details>
|
||
<summary>Example</summary>
|
||
**Input**:
|
||
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.
|
||
|
||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||
|
||
Именованные сущности:
|
||
|
||
ожидается такой ответ:
|
||
|
||
Семья Обамы
|
||
Обамы
|
||
приобрела дом
|
||
Вашингтоне
|
||
8,1 млн долларов
|
||
Барак Обама
|
||
Обама
|
||
президент США
|
||
президент
|
||
США
|
||
Мишель
|
||
приобрели жильё
|
||
Белого дома
|
||
президента
|
||
в январе
|
||
Тюдоров
|
||
столицы США
|
||
Калорама
|
||
дипломаты
|
||
лоббисты
|
||
политики
|
||
Барака
|
||
Саше
|
||
два года
|
||
восемью
|
||
8,1 миллиона долларов
|
||
пресс-секретарю экс-президента США
|
||
пресс-секретарю
|
||
президента США
|
||
Билла Клинтона
|
||
Джо Локхарту
|
||
пресс-службу Национальной футбольной лиги США
|
||
Национальной футбольной лиги США
|
||
Вашингтона
|
||
Иванку Трамп
|
||
Джареда Кушнера
|
||
советниками Белого дома
|
||
Нью-Йорка
|
||
в начале 2017 года
|
||
Госсекретарь США
|
||
Госсекретарь
|
||
Рекс Тиллерсон
|
||
миссис Обама
|
||
представитель Обамы
|
||
Семья президента Обамы
|
||
Чикаго
|
||
третьем
|
||
главою Белого дома
|
||
</details>
|
||
|
||
|
||
**Normalization**:
|
||
```
|
||
Выполните нормализацию именованной сущности, встретившейся в тексте.\n\nИсходная (ненормализованная) именованная сущность: {source_entity}\n\nТекст: {source_text}\n\nНормализованная именованная сущность:
|
||
```
|
||
|
||
<details>
|
||
<summary>Example</summary>
|
||
|
||
**Input**:
|
||
Выполните нормализацию именованной сущности, встретившейся в тексте.
|
||
|
||
Исходная (ненормализованная) именованная сущность: пресс-секретарю
|
||
|
||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||
|
||
Нормализованная именованная сущность:
|
||
|
||
**Expected output**:
|
||
|
||
пресс-секретарь
|
||
</details>
|
||
|
||
**Entity description generation**:
|
||
|
||
```
|
||
Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.\n\nИменованная сущность: {normalized_entity}\n\nТекст: {source_text}\n\nСмысл именованной сущности:
|
||
```
|
||
|
||
<details>
|
||
<summary>Example</summary>
|
||
|
||
**Input**:
|
||
Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.
|
||
|
||
Именованная сущность: пресс-секретарь
|
||
|
||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||
|
||
Смысл именованной сущности:
|
||
|
||
**Expected output**:
|
||
|
||
Бывший представитель СМИ экс-президента США Билла Клинтона.
|
||
</details>
|
||
|
||
**Relation extraction**:
|
||
|
||
```
|
||
Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).\n\nПервая именованная сущность: {first_normalized_entity}\n\nВторая именованная сущность: {second_normalized_entity}\n\nТекст: {source_text}\n\nСмысл отношения между двумя именованными сущностями:
|
||
```
|
||
|
||
<details>
|
||
<summary>Example</summary>
|
||
|
||
**Input:**
|
||
Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).
|
||
|
||
Первая именованная сущность: Джо Локхарт
|
||
|
||
Вторая именованная сущность: пресс-служба Национальной футбольной лиги США
|
||
|
||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||
|
||
Смысл отношения между двумя именованными сущностями:
|
||
|
||
**Expected output:**
|
||
Возглавляет пресс-службу Национальной футбольной лиги США.
|
||
</details>
|
||
|
||
|
||
### Usage
|
||
|
||
```python
|
||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||
|
||
MODEL_ID = "RaguTeam/RAGU-lm"
|
||
|
||
tokenizer = AutoTokenizer.from_pretrained(
|
||
MODEL_ID,
|
||
use_fast=True,
|
||
trust_remote_code=True,
|
||
)
|
||
|
||
model = AutoModelForCausalLM.from_pretrained(
|
||
MODEL_ID,
|
||
dtype="auto",
|
||
device_map="auto",
|
||
trust_remote_code=True,
|
||
)
|
||
|
||
system_prompt = "Вы - эксперт в области анализа текстов и извлечения семантической информации из них."
|
||
|
||
# This is an example for entity extraction. You can paste here any of the examples shown above.
|
||
|
||
prompt = """
|
||
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.\n\nИменованные сущности:
|
||
"""
|
||
|
||
|
||
messages = [[
|
||
{'role': 'system', 'content': system_prompt},
|
||
{'role': 'user', 'content': prompt}
|
||
]]
|
||
|
||
prompt = tokenizer.apply_chat_template(
|
||
messages,
|
||
tokenize=False,
|
||
add_generation_prompt=True
|
||
)
|
||
|
||
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
|
||
|
||
gen_ids = model.generate(
|
||
**inputs,
|
||
max_new_tokens=512,
|
||
do_sample=True,
|
||
top_p=0.95,
|
||
top_k=100,
|
||
temperature=0.01,
|
||
eos_token_id=tokenizer.eos_token_id,
|
||
pad_token_id=tokenizer.pad_token_id,
|
||
)
|
||
|
||
generated_text = tokenizer.decode(
|
||
gen_ids[0, inputs["input_ids"].shape[1]:],
|
||
skip_special_tokens=True
|
||
).strip()
|
||
|
||
print(generated_text)
|
||
|
||
```
|
||
|
||
### Training details
|
||
The model was trained on an improved version of the NEREL training dataset.
|
||
Modifications:
|
||
|
||
- Adding True Negative examples for relation extraction.
|
||
|
||
- Adding generated descriptions produced by the Claude model.
|
||
|
||
### Metrics and comparison
|
||
|
||
#### Entity extraction
|
||
| Model | Precision | Recall | F1 (macro avg.) |
|
||
|-----------------------|----------|---------------|----------------|
|
||
| Qwen-2.5-14B-Instruct | 0.53 | 0.23 | 0.32 |
|
||
| RAGU-lm (Qwen-3-0.6B) | 0.7 | 0.52 | 0.6 |
|
||
|
||
#### Relation extraction
|
||
| Model | Presicion | Recall | F1 (macro avg.) |
|
||
|-----------------------|----------|---------------|----------------|
|
||
| Qwen-2.5-14B-Instruct | 0.73 | 0.69 | 0.69 |
|
||
| RAGU-lm (Qwen-3-0.6B) | 0.84 | 0.71 | 0.71 |
|
||
|
||
### Generation parameters
|
||
During training and evaluations we set:
|
||
- **Temperature**: 0.0
|
||
- **top_p**: 0.95
|
||
- **top_k**: 100
|
||
|
||
|