254 lines
21 KiB
Markdown
254 lines
21 KiB
Markdown
|
---
|
|||
|
|
license: mit
|
|||
|
|
language:
|
|||
|
|
- ru
|
|||
|
|
base_model:
|
|||
|
|
- Qwen/Qwen3-0.6B
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# RAGU-lm-0.6B
|
|||
|
|
RAGU-lm is a fine-tuned Qwen-3-0.6B. The main goal is to extract structural information for knowledge graph building purposes in Russian language.
|
|||
|
|
|
|||
|
|
### Model descriprion
|
|||
|
|
Supported tasks:
|
|||
|
|
1. Extract unnormalized entities from a given text.
|
|||
|
|
2. Normalize entities.
|
|||
|
|
3. Generate a description of an entity based on the given text.
|
|||
|
|
4. Identify relations between two entities and generate their description from the given text.
|
|||
|
|
|
|||
|
|
The model was trained using four specialized instruction formats, one per task
|
|||
|
|
|
|||
|
|
**System prompt**:
|
|||
|
|
```
|
|||
|
|
Вы - эксперт в области анализа текстов и извлечения семантической информации из них.
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**Entity extraction**:
|
|||
|
|
```
|
|||
|
|
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: {input_text}\n\nИменованные сущности:
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
<details>
|
|||
|
|
<summary>Example</summary>
|
|||
|
|
**Input**:
|
|||
|
|
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.
|
|||
|
|
|
|||
|
|
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
|||
|
|
|
|||
|
|
Именованные сущности:
|
|||
|
|
|
|||
|
|
ожидается такой ответ:
|
|||
|
|
|
|||
|
|
Семья Обамы
|
|||
|
|
Обамы
|
|||
|
|
приобрела дом
|
|||
|
|
Вашингтоне
|
|||
|
|
8,1 млн долларов
|
|||
|
|
Барак Обама
|
|||
|
|
Обама
|
|||
|
|
президент США
|
|||
|
|
президент
|
|||
|
|
США
|
|||
|
|
Мишель
|
|||
|
|
приобрели жильё
|
|||
|
|
Белого дома
|
|||
|
|
президента
|
|||
|
|
в январе
|
|||
|
|
Тюдоров
|
|||
|
|
столицы США
|
|||
|
|
Калорама
|
|||
|
|
дипломаты
|
|||
|
|
лоббисты
|
|||
|
|
политики
|
|||
|
|
Барака
|
|||
|
|
Саше
|
|||
|
|
два года
|
|||
|
|
восемью
|
|||
|
|
8,1 миллиона долларов
|
|||
|
|
пресс-секретарю экс-президента США
|
|||
|
|
пресс-секретарю
|
|||
|
|
президента США
|
|||
|
|
Билла Клинтона
|
|||
|
|
Джо Локхарту
|
|||
|
|
пресс-службу Национальной футбольной лиги США
|
|||
|
|
Национальной футбольной лиги США
|
|||
|
|
Вашингтона
|
|||
|
|
Иванку Трамп
|
|||
|
|
Джареда Кушнера
|
|||
|
|
советниками Белого дома
|
|||
|
|
Нью-Йорка
|
|||
|
|
в начале 2017 года
|
|||
|
|
Госсекретарь США
|
|||
|
|
Госсекретарь
|
|||
|
|
Рекс Тиллерсон
|
|||
|
|
миссис Обама
|
|||
|
|
представитель Обамы
|
|||
|
|
Семья президента Обамы
|
|||
|
|
Чикаго
|
|||
|
|
третьем
|
|||
|
|
главою Белого дома
|
|||
|
|
</details>
|
|||
|
|
|
|||
|
|
|
|||
|
|
**Normalization**:
|
|||
|
|
```
|
|||
|
|
Выполните нормализацию именованной сущности, встретившейся в тексте.\n\nИсходная (ненормализованная) именованная сущность: {source_entity}\n\nТекст: {source_text}\n\nНормализованная именованная сущность:
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
<details>
|
|||
|
|
<summary>Example</summary>
|
|||
|
|
|
|||
|
|
**Input**:
|
|||
|
|
Выполните нормализацию именованной сущности, встретившейся в тексте.
|
|||
|
|
|
|||
|
|
Исходная (ненормализованная) именованная сущность: пресс-секретарю
|
|||
|
|
|
|||
|
|
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
|||
|
|
|
|||
|
|
Нормализованная именованная сущность:
|
|||
|
|
|
|||
|
|
**Expected output**:
|
|||
|
|
|
|||
|
|
пресс-секретарь
|
|||
|
|
</details>
|
|||
|
|
|
|||
|
|
**Entity description generation**:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.\n\nИменованная сущность: {normalized_entity}\n\nТекст: {source_text}\n\nСмысл именованной сущности:
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
<details>
|
|||
|
|
<summary>Example</summary>
|
|||
|
|
|
|||
|
|
**Input**:
|
|||
|
|
Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.
|
|||
|
|
|
|||
|
|
Именованная сущность: пресс-секретарь
|
|||
|
|
|
|||
|
|
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
|||
|
|
|
|||
|
|
Смысл именованной сущности:
|
|||
|
|
|
|||
|
|
**Expected output**:
|
|||
|
|
|
|||
|
|
Бывший представитель СМИ экс-президента США Билла Клинтона.
|
|||
|
|
</details>
|
|||
|
|
|
|||
|
|
**Relation extraction**:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).\n\nПервая именованная сущность: {first_normalized_entity}\n\nВторая именованная сущность: {second_normalized_entity}\n\nТекст: {source_text}\n\nСмысл отношения между двумя именованными сущностями:
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
<details>
|
|||
|
|
<summary>Example</summary>
|
|||
|
|
|
|||
|
|
**Input:**
|
|||
|
|
Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).
|
|||
|
|
|
|||
|
|
Первая именованная сущность: Джо Локхарт
|
|||
|
|
|
|||
|
|
Вторая именованная сущность: пресс-служба Национальной футбольной лиги США
|
|||
|
|
|
|||
|
|
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
|||
|
|
|
|||
|
|
Смысл отношения между двумя именованными сущностями:
|
|||
|
|
|
|||
|
|
**Expected output:**
|
|||
|
|
Возглавляет пресс-службу Национальной футбольной лиги США.
|
|||
|
|
</details>
|
|||
|
|
|
|||
|
|
|
|||
|
|
### Usage
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM
|
|||
|
|
|
|||
|
|
MODEL_ID = "RaguTeam/RAGU-lm"
|
|||
|
|
|
|||
|
|
tokenizer = AutoTokenizer.from_pretrained(
|
|||
|
|
MODEL_ID,
|
|||
|
|
use_fast=True,
|
|||
|
|
trust_remote_code=True,
|
|||
|
|
)
|
|||
|
|
|
|||
|
|
model = AutoModelForCausalLM.from_pretrained(
|
|||
|
|
MODEL_ID,
|
|||
|
|
dtype="auto",
|
|||
|
|
device_map="auto",
|
|||
|
|
trust_remote_code=True,
|
|||
|
|
)
|
|||
|
|
|
|||
|
|
system_prompt = "Вы - эксперт в области анализа текстов и извлечения семантической информации из них."
|
|||
|
|
|
|||
|
|
# This is an example for entity extraction. You can paste here any of the examples shown above.
|
|||
|
|
|
|||
|
|
prompt = """
|
|||
|
|
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.\n\nИменованные сущности:
|
|||
|
|
"""
|
|||
|
|
|
|||
|
|
|
|||
|
|
messages = [[
|
|||
|
|
{'role': 'system', 'content': system_prompt},
|
|||
|
|
{'role': 'user', 'content': prompt}
|
|||
|
|
]]
|
|||
|
|
|
|||
|
|
prompt = tokenizer.apply_chat_template(
|
|||
|
|
messages,
|
|||
|
|
tokenize=False,
|
|||
|
|
add_generation_prompt=True
|
|||
|
|
)
|
|||
|
|
|
|||
|
|
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
|
|||
|
|
|
|||
|
|
gen_ids = model.generate(
|
|||
|
|
**inputs,
|
|||
|
|
max_new_tokens=512,
|
|||
|
|
do_sample=True,
|
|||
|
|
top_p=0.95,
|
|||
|
|
top_k=100,
|
|||
|
|
temperature=0.01,
|
|||
|
|
eos_token_id=tokenizer.eos_token_id,
|
|||
|
|
pad_token_id=tokenizer.pad_token_id,
|
|||
|
|
)
|
|||
|
|
|
|||
|
|
generated_text = tokenizer.decode(
|
|||
|
|
gen_ids[0, inputs["input_ids"].shape[1]:],
|
|||
|
|
skip_special_tokens=True
|
|||
|
|
).strip()
|
|||
|
|
|
|||
|
|
print(generated_text)
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### Training details
|
|||
|
|
The model was trained on an improved version of the NEREL training dataset.
|
|||
|
|
Modifications:
|
|||
|
|
|
|||
|
|
- Adding True Negative examples for relation extraction.
|
|||
|
|
|
|||
|
|
- Adding generated descriptions produced by the Claude model.
|
|||
|
|
|
|||
|
|
### Metrics and comparison
|
|||
|
|
|
|||
|
|
#### Entity extraction
|
|||
|
|
| Model | Precision | Recall | F1 (macro avg.) |
|
|||
|
|
|-----------------------|----------|---------------|----------------|
|
|||
|
|
| Qwen-2.5-14B-Instruct | 0.53 | 0.23 | 0.32 |
|
|||
|
|
| RAGU-lm (Qwen-3-0.6B) | 0.7 | 0.52 | 0.6 |
|
|||
|
|
|
|||
|
|
#### Relation extraction
|
|||
|
|
| Model | Presicion | Recall | F1 (macro avg.) |
|
|||
|
|
|-----------------------|----------|---------------|----------------|
|
|||
|
|
| Qwen-2.5-14B-Instruct | 0.73 | 0.69 | 0.69 |
|
|||
|
|
| RAGU-lm (Qwen-3-0.6B) | 0.84 | 0.71 | 0.71 |
|
|||
|
|
|
|||
|
|
### Generation parameters
|
|||
|
|
During training and evaluations we set:
|
|||
|
|
- **Temperature**: 0.0
|
|||
|
|
- **top_p**: 0.95
|
|||
|
|
- **top_k**: 100
|
|||
|
|
|
|||
|
|
|