104 lines
6.9 KiB
Markdown
104 lines
6.9 KiB
Markdown
---
|
||
license: apache-2.0
|
||
language:
|
||
- en
|
||
- ru
|
||
base_model:
|
||
- mistralai/Mistral-Small-3.2-24B-Instruct-2506
|
||
library_name: transformers
|
||
datasets:
|
||
- Vikhrmodels/GrandMaster2
|
||
---
|
||
|
||
## Vistral-24B-Instruct
|
||
### Описание
|
||
|
||
**Vistral** - это наша новая флагманская унимодальная LLM (Large Language Model) представляющая из себя улучшенную версию [mistralai/Mistral-Small-3.2-24B-Instruct-2506](https://huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506) командой **VikhrModels**, адаптированную преимущественно для русского и английского языков. Удалён визуальный энкодер, убрана мультимодальность. Сохранена стандартная архитектура "MistralForCausalLM" без изменений в базовой структуре модели.
|
||
|
||
Весь использованный код для обучения доступен в нашем репозитории [effective_llm_alignment](https://github.com/VikhrModels/effective_llm_alignment/) на GitHub, а основные датасеты доступны в нашем [профиле на HF](https://huggingface.co/Vikhrmodels).
|
||
|
||
Модель доступна на нашем сайте [Chat Vikhr](https://chat.vikhr.org)
|
||
|
||
## Quantized variants:
|
||
|
||
- GGUF [Vikhrmodels/Vistral-24B-Instruct-GGUF](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-GGUF)
|
||
- MLX
|
||
- 4 bit [Vikhrmodels/Vistral-24B-Instruct-MLX_4bit](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-MLX_4bit)
|
||
- 8 bit [Vikhrmodels/Vistral-24B-Instruct-MLX_8bit](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-MLX_8bit)
|
||
|
||
|
||
### Метрики и оценка качества
|
||
|
||
Модель оценивалась на нашем русскоязычном open-source SbS бенчмарке [ru-arena-general](https://github.com/VikhrModels/ru_llm_arena)
|
||
|
||
|
||
|
||
#### Результаты на Ru-Arena-General
|
||
|
||
| Model Name | Winrate | 95% CI | Average # Tokens |
|
||
|--------------------------------------------------|--------|--------------------|------------------|
|
||
| **Vistral-24B-Instruct** | **96.1** | (-0.7, 0.8) | 647 |
|
||
| Mistral-Small-3.2-24B-Instruct-2506 | 92.1 | (-0.9, 1.0) | 486 |
|
||
| vikhr-nemo-12b-instruct-r-21-09-24(180 leaked) | 79.8 | (-2.2, 1.9) | 627 |
|
||
|
||
|
||
|
||
#### Пример правильного использования с OpenAI-like API
|
||
|
||
Запуск vLLM сервера: `vllm serve --dtype half --max-model-len 32000 -tp 1 Vikhrmodels/Vistral-24B-Instruct --api-key token-abc123`
|
||
|
||
```python
|
||
from openai import OpenAI
|
||
client = OpenAI(
|
||
base_url="http://localhost:8000/v1",
|
||
api_key="token-abc123",
|
||
)
|
||
|
||
llm_model = "Vikhrmodels/Vistral-24B-Instruct"
|
||
|
||
sample_history = [
|
||
{'role': 'user', 'content': 'Напиши краткое описание книги Гарри Поттер.'}
|
||
]
|
||
|
||
final_answer = llm_client.chat.completions.create(
|
||
model=llm_model,
|
||
messages=sample_history,
|
||
temperature=0.3,
|
||
max_tokens=2048
|
||
).choices[0].message.content
|
||
|
||
print(final_answer)
|
||
```
|
||
|
||
Ответ после выполнения кода будет выглядеть примерно так:
|
||
|
||
**Краткое описание книги «Гарри Поттер»:**
|
||
|
||
«Гарри Поттер» — это серия фантастических романов Дж. К. Роулинг о мальчике-волшебнике, который узнаёт, что он сын могущественных магов, и отправляется учиться в школу чародейства и волшебства Хогвартс. В первом томе («Гарри Поттер и философский камень») Гарри знакомится с друзьями Роном и Гермионой, раскрывает тайну своего прошлого и сталкивается с опасным тёмным магом Волан-де-Мортом.
|
||
|
||
В последующих книгах Гарри и его друзья борются с силами зла, раскрывают древние тайны, переживают взросление и учатся использовать волшебство во благо. Серия сочетает приключения, дружбу, магию и борьбу добра со злом.
|
||
|
||
**Основные темы:** волшебный мир, дружба, храбрость, преданность, борьба со злом.
|
||
|
||
|
||
### Нюансы и ограничения
|
||
- Модель имеет **низкий уровень безопасности ответов** и нацелена на правильное и полное выполенние инструкций, имейте это ввиду при использовании и тестируйте самостоятельно. Частично это исправляется системными промптами и дополнительными указаниями о важности безопасности в промпте пользователя.
|
||
- Системные промпты не предназначены для описание персонажей, мы рекомендуем использовать их для спецификации стиля ответа (вроде "answer only in json format"). Кроме того, желательно, писать их **на английском языке**, так как так было в датасете, от использования английского в системных промтпах не зависит язык ответа.
|
||
- Модель лучше использовать с низкой темптературой (0.1-0.5), а таже использовать top_k (30-50), при температуре 1.0 были замечены случайные дефекты генерации.
|
||
|
||
### Авторы
|
||
- Nikolay Kompanets, [LakoMoor](https://t.me/lakomoordev), [Vikhr Team](https://t.me/vikhrlabs)
|
||
- Sergei Bratchikov, [NLP Wanderer](https://t.me/nlpwanderer), [Vikhr Team](https://t.me/vikhrlabs)
|
||
- Konstantin Korolev, [Vikhr Team](https://t.me/vikhrlabs)
|
||
- Aleksandr Nikolich, [Vikhr Team](https://t.me/vikhrlabs)
|
||
|
||
```
|
||
@inproceedings{nikolich2024vikhr,
|
||
title={Vikhr: Advancing Open-Source Bilingual Instruction-Following Large Language Models for Russian and English},
|
||
author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov},
|
||
booktitle={Proceedings of the 4th Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024},
|
||
year={2024},
|
||
publisher={Association for Computational Linguistics},
|
||
url={https://arxiv.org/pdf/2405.13929}
|
||
}
|
||
``` |