初始化项目，由ModelHub XC社区提供模型
Model: Vikhrmodels/Vistral-24B-Instruct Source: Original Platform
This commit is contained in:
ModelHub XC
104
README.md
Normal file
104
README.md
Normal file
@@ -0,0 +1,104 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
language:
|
||||
- en
|
||||
- ru
|
||||
base_model:
|
||||
- mistralai/Mistral-Small-3.2-24B-Instruct-2506
|
||||
library_name: transformers
|
||||
datasets:
|
||||
- Vikhrmodels/GrandMaster2
|
||||
---
|
||||
|
||||
## Vistral-24B-Instruct
|
||||
### Описание
|
||||
|
||||
**Vistral** - это наша новая флагманская унимодальная LLM (Large Language Model) представляющая из себя улучшенную версию [mistralai/Mistral-Small-3.2-24B-Instruct-2506](https://huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506) командой **VikhrModels**, адаптированную преимущественно для русского и английского языков. Удалён визуальный энкодер, убрана мультимодальность. Сохранена стандартная архитектура "MistralForCausalLM" без изменений в базовой структуре модели.
|
||||
|
||||
Весь использованный код для обучения доступен в нашем репозитории [effective_llm_alignment](https://github.com/VikhrModels/effective_llm_alignment/) на GitHub, а основные датасеты доступны в нашем [профиле на HF](https://huggingface.co/Vikhrmodels).
|
||||
|
||||
Модель доступна на нашем сайте [Chat Vikhr](https://chat.vikhr.org)
|
||||
|
||||
## Quantized variants:
|
||||
|
||||
- GGUF [Vikhrmodels/Vistral-24B-Instruct-GGUF](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-GGUF)
|
||||
- MLX
|
||||
- 4 bit [Vikhrmodels/Vistral-24B-Instruct-MLX_4bit](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-MLX_4bit)
|
||||
- 8 bit [Vikhrmodels/Vistral-24B-Instruct-MLX_8bit](https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-MLX_8bit)
|
||||
|
||||
|
||||
### Метрики и оценка качества
|
||||
|
||||
Модель оценивалась на нашем русскоязычном open-source SbS бенчмарке [ru-arena-general](https://github.com/VikhrModels/ru_llm_arena)
|
||||
|
||||
|
||||
|
||||
#### Результаты на Ru-Arena-General
|
||||
|
||||
| Model Name | Winrate | 95% CI | Average # Tokens |
|
||||
|--------------------------------------------------|--------|--------------------|------------------|
|
||||
| **Vistral-24B-Instruct** | **96.1** | (-0.7, 0.8) | 647 |
|
||||
| Mistral-Small-3.2-24B-Instruct-2506 | 92.1 | (-0.9, 1.0) | 486 |
|
||||
| vikhr-nemo-12b-instruct-r-21-09-24(180 leaked) | 79.8 | (-2.2, 1.9) | 627 |
|
||||
|
||||
|
||||
|
||||
#### Пример правильного использования с OpenAI-like API
|
||||
|
||||
Запуск vLLM сервера: `vllm serve --dtype half --max-model-len 32000 -tp 1 Vikhrmodels/Vistral-24B-Instruct --api-key token-abc123`
|
||||
|
||||
```python
|
||||
from openai import OpenAI
|
||||
client = OpenAI(
|
||||
base_url="http://localhost:8000/v1",
|
||||
api_key="token-abc123",
|
||||
)
|
||||
|
||||
llm_model = "Vikhrmodels/Vistral-24B-Instruct"
|
||||
|
||||
sample_history = [
|
||||
{'role': 'user', 'content': 'Напиши краткое описание книги Гарри Поттер.'}
|
||||
]
|
||||
|
||||
final_answer = llm_client.chat.completions.create(
|
||||
model=llm_model,
|
||||
messages=sample_history,
|
||||
temperature=0.3,
|
||||
max_tokens=2048
|
||||
).choices[0].message.content
|
||||
|
||||
print(final_answer)
|
||||
```
|
||||
|
||||
Ответ после выполнения кода будет выглядеть примерно так:
|
||||
|
||||
**Краткое описание книги «Гарри Поттер»:**
|
||||
|
||||
«Гарри Поттер» — это серия фантастических романов Дж. К. Роулинг о мальчике-волшебнике, который узнаёт, что он сын могущественных магов, и отправляется учиться в школу чародейства и волшебства Хогвартс. В первом томе («Гарри Поттер и философский камень») Гарри знакомится с друзьями Роном и Гермионой, раскрывает тайну своего прошлого и сталкивается с опасным тёмным магом Волан-де-Мортом.
|
||||
|
||||
В последующих книгах Гарри и его друзья борются с силами зла, раскрывают древние тайны, переживают взросление и учатся использовать волшебство во благо. Серия сочетает приключения, дружбу, магию и борьбу добра со злом.
|
||||
|
||||
**Основные темы:** волшебный мир, дружба, храбрость, преданность, борьба со злом.
|
||||
|
||||
|
||||
### Нюансы и ограничения
|
||||
- Модель имеет **низкий уровень безопасности ответов** и нацелена на правильное и полное выполенние инструкций, имейте это ввиду при использовании и тестируйте самостоятельно. Частично это исправляется системными промптами и дополнительными указаниями о важности безопасности в промпте пользователя.
|
||||
- Системные промпты не предназначены для описание персонажей, мы рекомендуем использовать их для спецификации стиля ответа (вроде "answer only in json format"). Кроме того, желательно, писать их **на английском языке**, так как так было в датасете, от использования английского в системных промтпах не зависит язык ответа.
|
||||
- Модель лучше использовать с низкой темптературой (0.1-0.5), а таже использовать top_k (30-50), при температуре 1.0 были замечены случайные дефекты генерации.
|
||||
|
||||
### Авторы
|
||||
- Nikolay Kompanets, [LakoMoor](https://t.me/lakomoordev), [Vikhr Team](https://t.me/vikhrlabs)
|
||||
- Sergei Bratchikov, [NLP Wanderer](https://t.me/nlpwanderer), [Vikhr Team](https://t.me/vikhrlabs)
|
||||
- Konstantin Korolev, [Vikhr Team](https://t.me/vikhrlabs)
|
||||
- Aleksandr Nikolich, [Vikhr Team](https://t.me/vikhrlabs)
|
||||
|
||||
```
|
||||
@inproceedings{nikolich2024vikhr,
|
||||
title={Vikhr: Advancing Open-Source Bilingual Instruction-Following Large Language Models for Russian and English},
|
||||
author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov},
|
||||
booktitle={Proceedings of the 4th Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024},
|
||||
year={2024},
|
||||
publisher={Association for Computational Linguistics},
|
||||
url={https://arxiv.org/pdf/2405.13929}
|
||||
}
|
||||
```
|
||||
Reference in New Issue
Block a user