初始化项目，由ModelHub XC社区提供模型
Model: RaguTeam/RAGU-lm Source: Original Platform
This commit is contained in:
ModelHub XC
253
README.md
Normal file
253
README.md
Normal file
@@ -0,0 +1,253 @@
|
||||
---
|
||||
license: mit
|
||||
language:
|
||||
- ru
|
||||
base_model:
|
||||
- Qwen/Qwen3-0.6B
|
||||
---
|
||||
|
||||
# RAGU-lm-0.6B
|
||||
RAGU-lm is a fine-tuned Qwen-3-0.6B. The main goal is to extract structural information for knowledge graph building purposes in Russian language.
|
||||
|
||||
### Model descriprion
|
||||
Supported tasks:
|
||||
1. Extract unnormalized entities from a given text.
|
||||
2. Normalize entities.
|
||||
3. Generate a description of an entity based on the given text.
|
||||
4. Identify relations between two entities and generate their description from the given text.
|
||||
|
||||
The model was trained using four specialized instruction formats, one per task
|
||||
|
||||
**System prompt**:
|
||||
```
|
||||
Вы - эксперт в области анализа текстов и извлечения семантической информации из них.
|
||||
```
|
||||
|
||||
**Entity extraction**:
|
||||
```
|
||||
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: {input_text}\n\nИменованные сущности:
|
||||
```
|
||||
|
||||
<details>
|
||||
<summary>Example</summary>
|
||||
**Input**:
|
||||
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.
|
||||
|
||||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||||
|
||||
Именованные сущности:
|
||||
|
||||
ожидается такой ответ:
|
||||
|
||||
Семья Обамы
|
||||
Обамы
|
||||
приобрела дом
|
||||
Вашингтоне
|
||||
8,1 млн долларов
|
||||
Барак Обама
|
||||
Обама
|
||||
президент США
|
||||
президент
|
||||
США
|
||||
Мишель
|
||||
приобрели жильё
|
||||
Белого дома
|
||||
президента
|
||||
в январе
|
||||
Тюдоров
|
||||
столицы США
|
||||
Калорама
|
||||
дипломаты
|
||||
лоббисты
|
||||
политики
|
||||
Барака
|
||||
Саше
|
||||
два года
|
||||
восемью
|
||||
8,1 миллиона долларов
|
||||
пресс-секретарю экс-президента США
|
||||
пресс-секретарю
|
||||
президента США
|
||||
Билла Клинтона
|
||||
Джо Локхарту
|
||||
пресс-службу Национальной футбольной лиги США
|
||||
Национальной футбольной лиги США
|
||||
Вашингтона
|
||||
Иванку Трамп
|
||||
Джареда Кушнера
|
||||
советниками Белого дома
|
||||
Нью-Йорка
|
||||
в начале 2017 года
|
||||
Госсекретарь США
|
||||
Госсекретарь
|
||||
Рекс Тиллерсон
|
||||
миссис Обама
|
||||
представитель Обамы
|
||||
Семья президента Обамы
|
||||
Чикаго
|
||||
третьем
|
||||
главою Белого дома
|
||||
</details>
|
||||
|
||||
|
||||
**Normalization**:
|
||||
```
|
||||
Выполните нормализацию именованной сущности, встретившейся в тексте.\n\nИсходная (ненормализованная) именованная сущность: {source_entity}\n\nТекст: {source_text}\n\nНормализованная именованная сущность:
|
||||
```
|
||||
|
||||
<details>
|
||||
<summary>Example</summary>
|
||||
|
||||
**Input**:
|
||||
Выполните нормализацию именованной сущности, встретившейся в тексте.
|
||||
|
||||
Исходная (ненормализованная) именованная сущность: пресс-секретарю
|
||||
|
||||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||||
|
||||
Нормализованная именованная сущность:
|
||||
|
||||
**Expected output**:
|
||||
|
||||
пресс-секретарь
|
||||
</details>
|
||||
|
||||
**Entity description generation**:
|
||||
|
||||
```
|
||||
Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.\n\nИменованная сущность: {normalized_entity}\n\nТекст: {source_text}\n\nСмысл именованной сущности:
|
||||
```
|
||||
|
||||
<details>
|
||||
<summary>Example</summary>
|
||||
|
||||
**Input**:
|
||||
Напишите, что означает именованная сущность в тексте, то есть раскройте её смысл относительно текста.
|
||||
|
||||
Именованная сущность: пресс-секретарь
|
||||
|
||||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||||
|
||||
Смысл именованной сущности:
|
||||
|
||||
**Expected output**:
|
||||
|
||||
Бывший представитель СМИ экс-президента США Билла Клинтона.
|
||||
</details>
|
||||
|
||||
**Relation extraction**:
|
||||
|
||||
```
|
||||
Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).\n\nПервая именованная сущность: {first_normalized_entity}\n\nВторая именованная сущность: {second_normalized_entity}\n\nТекст: {source_text}\n\nСмысл отношения между двумя именованными сущностями:
|
||||
```
|
||||
|
||||
<details>
|
||||
<summary>Example</summary>
|
||||
|
||||
**Input:**
|
||||
Напишите, что означает отношение между двумя именованными сущностями в тексте, то есть раскройте смысл этого отношения относительно текста (либо напишите прочерк, если между двумя именованными сущностями отсутствует отношение).
|
||||
|
||||
Первая именованная сущность: Джо Локхарт
|
||||
|
||||
Вторая именованная сущность: пресс-служба Национальной футбольной лиги США
|
||||
|
||||
Текст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.
|
||||
|
||||
Смысл отношения между двумя именованными сущностями:
|
||||
|
||||
**Expected output:**
|
||||
Возглавляет пресс-службу Национальной футбольной лиги США.
|
||||
</details>
|
||||
|
||||
|
||||
### Usage
|
||||
|
||||
```python
|
||||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||||
|
||||
MODEL_ID = "RaguTeam/RAGU-lm"
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(
|
||||
MODEL_ID,
|
||||
use_fast=True,
|
||||
trust_remote_code=True,
|
||||
)
|
||||
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
MODEL_ID,
|
||||
dtype="auto",
|
||||
device_map="auto",
|
||||
trust_remote_code=True,
|
||||
)
|
||||
|
||||
system_prompt = "Вы - эксперт в области анализа текстов и извлечения семантической информации из них."
|
||||
|
||||
# This is an example for entity extraction. You can paste here any of the examples shown above.
|
||||
|
||||
prompt = """
|
||||
Распознайте все именованные сущности в тексте и выпишите их список с новой строки.\n\nТекст: Семья Обамы приобрела дом в Вашингтоне за 8,1 млн долларов Барак Обама Бывший президент США Барак Обама с женой Мишель приобрели жильё в Вашингтоне недалеко от Белого дома. После окончания срока работы на посту президента в январе супруги арендовали особняк в стиле эпохи Тюдоров в престижном районе столицы США — Калорама, где долгое время селились дипломаты, лоббисты и политики. Младшей дочери Барака и Мишель — Саше осталось ещё два года до окончания частной школы в Вашингтоне. Поэтому семья решила выкупить дом с восемью спальными комнатами стоимостью 8,1 миллиона долларов. Ранее дом принадлежал бывшему пресс-секретарю экс-президента США Билла Клинтона Джо Локхарту (), который в настоящее время возглавляет пресс-службу Национальной футбольной лиги США. Среди соседей Обамы — видные деятели Вашингтона, включая дочь действующего президента Иванку Трамп и её мужа Джареда Кушнера (оба являются советниками Белого дома), которые переехали в район Калорама из Нью-Йорка в начале 2017 года. Госсекретарь США Рекс Тиллерсон тоже живёт в доме неподалеку. «Учитывая, что президент и миссис Обама планируют жить в Вашингтоне как минимум ещё два года, для них имело смысл приобрести дом в собственность, а не продолжать его арендовать», — сообщил представитель Обамы. Семья президента Обамы также владеет домом в Чикаго — третьем по величине городе в США, где Обама приобрёл значительную политическую поддержку перед тем, как дважды стал главою Белого дома.\n\nИменованные сущности:
|
||||
"""
|
||||
|
||||
|
||||
messages = [[
|
||||
{'role': 'system', 'content': system_prompt},
|
||||
{'role': 'user', 'content': prompt}
|
||||
]]
|
||||
|
||||
prompt = tokenizer.apply_chat_template(
|
||||
messages,
|
||||
tokenize=False,
|
||||
add_generation_prompt=True
|
||||
)
|
||||
|
||||
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
|
||||
|
||||
gen_ids = model.generate(
|
||||
**inputs,
|
||||
max_new_tokens=512,
|
||||
do_sample=True,
|
||||
top_p=0.95,
|
||||
top_k=100,
|
||||
temperature=0.01,
|
||||
eos_token_id=tokenizer.eos_token_id,
|
||||
pad_token_id=tokenizer.pad_token_id,
|
||||
)
|
||||
|
||||
generated_text = tokenizer.decode(
|
||||
gen_ids[0, inputs["input_ids"].shape[1]:],
|
||||
skip_special_tokens=True
|
||||
).strip()
|
||||
|
||||
print(generated_text)
|
||||
|
||||
```
|
||||
|
||||
### Training details
|
||||
The model was trained on an improved version of the NEREL training dataset.
|
||||
Modifications:
|
||||
|
||||
- Adding True Negative examples for relation extraction.
|
||||
|
||||
- Adding generated descriptions produced by the Claude model.
|
||||
|
||||
### Metrics and comparison
|
||||
|
||||
#### Entity extraction
|
||||
| Model | Precision | Recall | F1 (macro avg.) |
|
||||
|-----------------------|----------|---------------|----------------|
|
||||
| Qwen-2.5-14B-Instruct | 0.53 | 0.23 | 0.32 |
|
||||
| RAGU-lm (Qwen-3-0.6B) | 0.7 | 0.52 | 0.6 |
|
||||
|
||||
#### Relation extraction
|
||||
| Model | Presicion | Recall | F1 (macro avg.) |
|
||||
|-----------------------|----------|---------------|----------------|
|
||||
| Qwen-2.5-14B-Instruct | 0.73 | 0.69 | 0.69 |
|
||||
| RAGU-lm (Qwen-3-0.6B) | 0.84 | 0.71 | 0.71 |
|
||||
|
||||
### Generation parameters
|
||||
During training and evaluations we set:
|
||||
- **Temperature**: 0.0
|
||||
- **top_p**: 0.95
|
||||
- **top_k**: 100
|
||||
|
||||
|
||||
Reference in New Issue
Block a user