408 lines
19 KiB
Markdown
408 lines
19 KiB
Markdown
---
|
||
base_model: google/gemma-2-9b-it
|
||
datasets:
|
||
- DiTy/function-calling
|
||
language:
|
||
- ru
|
||
library_name: transformers
|
||
license: apache-2.0
|
||
pipeline_tag: text-generation
|
||
tags:
|
||
- conversational
|
||
- gemma2
|
||
- function-calling
|
||
- trl
|
||
---
|
||
# DiTy/gemma-2-9b-it-russian-function-calling-GGUF
|
||
|
||
This model is a fine-tuned version of [google/gemma-2-9b-it](https://huggingface.co/google/gemma-2-9b-it) for the **Function Calling** task on non-synthetic data,
|
||
fully annotated by humans only, on the Russian version of the <ins>*DiTy/function-calling*</ins> dataset.
|
||
<!-- Provide a quick summary of what the model is/does. -->
|
||
|
||
In addition to **safetensors**, the model is available in **GGUF** formats (in this case, you need to download only a single file (*[how to inference GGUF model](https://github.com/abetlen/llama-cpp-python?tab=readme-ov-file#high-level-api)*)):
|
||
|
||
| Filename | Quant type | File Size | Description |
|
||
| -------- | ---------- | --------- | ----------- |
|
||
| [gemma-2-9B-it-russian-function-calling-F16.gguf](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF/blob/main/gemma-2-9B-it-russian-function-calling-F16.gguf) | F16 | 18.5GB | Base model with float16 |
|
||
|
||
|
||
## Model card разделы
|
||
|
||
* [Как подготовить ваши функции (tools) для *Function Calling*](#prepare_func_call)
|
||
* [Просто используйте chat template для генерации](#just_chat_template)
|
||
* [Prompt структура и ожидаемый контент](#roles)
|
||
* [Оценка моделей под вызов функций](#eval)
|
||
|
||
## Использование (HuggingFace Transformers)
|
||
|
||
Ниже представлены некоторые фрагменты кода о том, как быстро приступить к запуску модели. Сначала установите библиотеку Transformers с помощью:
|
||
```bash
|
||
pip install -U transformers
|
||
```
|
||
|
||
### <a name="prepare_func_call"></a>Как подготовить ваши функции (tools) для *Function Calling*
|
||
|
||
Вы должны написать функции (инструменты), используемые моделью, в *коде на Python* и обязательно добавить *Python docstrings*, как в примере ниже:
|
||
```python
|
||
def get_weather(city: str):
|
||
"""
|
||
Функция, которая возвращает погоду в заданном городе.
|
||
|
||
Args:
|
||
city: Город, для которого надо узнать погоду.
|
||
"""
|
||
import random
|
||
|
||
return "sunny" if random.random() > 0.5 else "rainy"
|
||
|
||
|
||
def get_sunrise_sunset_times(city: str):
|
||
"""
|
||
Функция, которая возвращает время восхода и заката для заданного города для текущей даты (дата от пользователя не требуется), в формате списка: [sunrise_time, sunset_time].
|
||
|
||
Args:
|
||
city: Город, в котором можно узнать время восхода и захода солнца.
|
||
"""
|
||
|
||
return ["6:00", "18:00"]
|
||
```
|
||
|
||
### <a name="just_chat_template"></a>Просто используйте chat template для генерации
|
||
|
||
Далее вам нужно загрузить модель и токенизатор:
|
||
```python
|
||
import torch
|
||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||
model = AutoModelForCausalLM.from_pretrained(
|
||
"DiTy/gemma-2-9b-it-russian-function-calling-GGUF",
|
||
device_map="auto",
|
||
torch_dtype=torch.bfloat16, # use float16 or float32 if bfloat16 is not available to you.
|
||
cache_dir=PATH_TO_MODEL_DIR, # optional
|
||
)
|
||
tokenizer = AutoTokenizer.from_pretrained(
|
||
"DiTy/gemma-2-9b-it-russian-function-calling-GGUF",
|
||
cache_dir=PATH_TO_MODEL_DIR, # optional
|
||
)
|
||
```
|
||
|
||
Чтобы получить результат генерации, просто используйте `apply_chat_template`. Чтобы учесть наши написанные функции (инструменты),
|
||
нам нужно передать их в виде списка через атрибут `tools`, а также использовать `add_prompt_generation=True`.
|
||
```python
|
||
history_messages = [
|
||
{"role": "system", "content": "Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - "},
|
||
{"role": "user", "content": "Привет, не мог бы ты сказать мне, во сколько в Краснодаре восходит солнце?"}
|
||
]
|
||
inputs = tokenizer.apply_chat_template(
|
||
history_messages,
|
||
tokenize=False,
|
||
add_generation_prompt=True, # adding prompt for generation
|
||
tools=[get_weather, get_sunrise_sunset_times], # our functions (tools)
|
||
)
|
||
print(inputs)
|
||
```
|
||
|
||
Тогда наш `inputs` будет выглядеть следующим образом:
|
||
```
|
||
<bos><start_of_turn>user
|
||
Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - {
|
||
"name": "get_weather",
|
||
"description": "Функция, которая возвращает погоду в заданном городе.",
|
||
"parameters": {
|
||
"type": "object",
|
||
"properties": {
|
||
"city": {
|
||
"type": "string",
|
||
"description": "Город, для которого надо узнать погоду."
|
||
}
|
||
},
|
||
"required": [
|
||
"city"
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"name": "get_sunrise_sunset_times",
|
||
"description": "Функция, которая возвращает время восхода и заката для заданного города для текущей даты (дата от пользователя не требуется), в формате списка: [sunrise_time, sunset_time].",
|
||
"parameters": {
|
||
"type": "object",
|
||
"properties": {
|
||
"city": {
|
||
"type": "string",
|
||
"description": "Город, в котором можно узнать время восхода и захода солнца."
|
||
}
|
||
},
|
||
"required": [
|
||
"city"
|
||
]
|
||
}
|
||
}
|
||
|
||
Привет, не мог бы ты сказать мне, во сколько в Краснодаре восходит солнце?<end_of_turn>
|
||
<start_of_turn>model
|
||
```
|
||
|
||
Теперь мы можем сгенерировать ответ модели.
|
||
Будьте осторожны, потому что после `apply_chat_template` нет необходимости *добавлять специальные токены* во время токенизации.
|
||
Поэтому используем `add_special_tokens=False`:
|
||
```python
|
||
terminator_ids = [
|
||
tokenizer.eos_token_id,
|
||
tokenizer.convert_tokens_to_ids("<end_of_turn>"),
|
||
]
|
||
prompt_ids = tokenizer.encode(inputs, add_special_tokens=False, return_tensors='pt').to(model.device)
|
||
generated_ids = model.generate(
|
||
prompt_ids,
|
||
max_new_tokens=512,
|
||
eos_token_id=terminator_ids,
|
||
bos_token_id=tokenizer.bos_token_id,
|
||
)
|
||
generated_response = tokenizer.decode(generated_ids[0][prompt_ids.shape[-1]:], skip_special_tokens=False) # `skip_special_tokens=False` for debug
|
||
print(generated_response)
|
||
```
|
||
|
||
Мы получаем генерацию в виде вызова функции:
|
||
```
|
||
Вызов функции: {"name": "get_sunrise_sunset_times", "arguments": {"city": "Краснодар"}}<end_of_turn>
|
||
```
|
||
|
||
Отлично, теперь мы можем получать и обрабатывать результаты с помощью нашей *вызываемой функции*, а затем предоставлять модели ответ *функции*:
|
||
```python
|
||
history_messages = [
|
||
{"role": "system", "content": "Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - "},
|
||
{"role": "user", "content": "Привет, не мог бы ты сказать мне, во сколько в Краснодаре восходит солнце?"},
|
||
{"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "Los Angeles"}}'},
|
||
{"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'}, # гипотетический ответ от нашей функции
|
||
]
|
||
inputs = tokenizer.apply_chat_template(
|
||
history_messages,
|
||
tokenize=False,
|
||
add_generation_prompt=True, # добавление запроса для генерации
|
||
tools=[get_weather, get_sunrise_sunset_times], # наши функции (tools)
|
||
)
|
||
print(inputs)
|
||
```
|
||
|
||
Давайте убедимся, что `inputs` верны:
|
||
```
|
||
<bos><start_of_turn>user
|
||
Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - {
|
||
"name": "get_weather",
|
||
"description": "Функция, которая возвращает погоду в заданном городе.",
|
||
"parameters": {
|
||
"type": "object",
|
||
"properties": {
|
||
"city": {
|
||
"type": "string",
|
||
"description": "Город, для которого надо узнать погоду."
|
||
}
|
||
},
|
||
"required": [
|
||
"city"
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"name": "get_sunrise_sunset_times",
|
||
"description": "Функция, которая возвращает время восхода и заката для заданного города для текущей даты (дата от пользователя не требуется), в формате списка: [sunrise_time, sunset_time].",
|
||
"parameters": {
|
||
"type": "object",
|
||
"properties": {
|
||
"city": {
|
||
"type": "string",
|
||
"description": "Город, в котором можно узнать время восхода и захода солнца."
|
||
}
|
||
},
|
||
"required": [
|
||
"city"
|
||
]
|
||
}
|
||
}
|
||
|
||
Привет, не мог бы ты сказать мне, во сколько в Краснодаре восходит солнце?<end_of_turn>
|
||
<start_of_turn>model
|
||
Вызов функции: {"name": "get_sunrise_sunset_times", "arguments": {"city": "Краснодар"}}<end_of_turn>
|
||
<start_of_turn>user
|
||
Ответ от функции: {"times_list": ["6:00", "18:00"]}<end_of_turn>
|
||
<start_of_turn>model
|
||
```
|
||
|
||
Аналогично, мы генерируем ответ модели:
|
||
```python
|
||
prompt_ids = tokenizer.encode(inputs, add_special_tokens=False, return_tensors='pt').to(model.device)
|
||
generated_ids = model.generate(
|
||
prompt_ids,
|
||
max_new_tokens=512,
|
||
eos_token_id=terminator_ids,
|
||
bos_token_id=tokenizer.bos_token_id,
|
||
)
|
||
generated_response = tokenizer.decode(generated_ids[0][prompt_ids.shape[-1]:], skip_special_tokens=False) # `skip_special_tokens=False` for debug
|
||
print(generated_response)
|
||
```
|
||
|
||
В результате мы получаем ответ модели:
|
||
```
|
||
В Краснодаре солнце восходит в 6:00 утра и заходит в 18:00 вечера.<end_of_turn>
|
||
```
|
||
|
||
## Использование через transformers `pipeline`
|
||
|
||
<details>
|
||
<summary>
|
||
Generation via pipeline
|
||
</summary>
|
||
|
||
```python
|
||
from transformers import pipeline
|
||
generation_pipeline = pipeline(
|
||
"text-generation",
|
||
model="DiTy/gemma-2-9b-it-russian-function-calling-GGUF",
|
||
model_kwargs={
|
||
"torch_dtype": torch.bfloat16, # use float16 or float32 if bfloat16 is not supported for you.
|
||
"cache_dir": PATH_TO_MODEL_DIR, # OPTIONAL
|
||
},
|
||
device_map="auto",
|
||
)
|
||
history_messages = [
|
||
{"role": "system", "content": "Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - "},
|
||
{"role": "user", "content": "Привет, не мог бы ты сказать мне, во сколько в Краснодаре восходит солнце?"},
|
||
{"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "Краснодар"}}'},
|
||
{"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'}
|
||
]
|
||
inputs = generation_pipeline.tokenizer.apply_chat_template(
|
||
history_messages,
|
||
tokenize=False,
|
||
add_generation_prompt=True,
|
||
tools=[get_weather, get_sunrise_sunset_times],
|
||
)
|
||
terminator_ids = [
|
||
generation_pipeline.tokenizer.eos_token_id,
|
||
generation_pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
|
||
]
|
||
outputs = generation_pipeline(
|
||
inputs,
|
||
max_new_tokens=512,
|
||
eos_token_id=terminator_ids,
|
||
)
|
||
print(outputs[0]["generated_text"][len(inputs):])
|
||
```
|
||
|
||
</details>
|
||
|
||
## <a name="roles"></a>Prompt структура и ожидаемый контент
|
||
|
||
Для наиболее корректной работы модели предполагается, что будет использоваться `apply_chat_template`.
|
||
Необходимо передать историю сообщений в определенном формате.
|
||
```python
|
||
history_messages = [
|
||
{"role": "...", "content": "..."},
|
||
...
|
||
]
|
||
```
|
||
|
||
Для использования доступны следующие роли:
|
||
|
||
* `system` - это необязательная роль, ее содержимое всегда размещается в самом начале и перед перечислением функций, доступных модели (инструментов).
|
||
Вы всегда можете воспользоваться стандартным вариантом, который использовался во время обучения: ***"Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - "***
|
||
* `user` - запрос пользователя передается через эту роль.
|
||
* `function-call` - тело вызова функции передается через эту роль.
|
||
Хотя модель обучена генерировать вызов функции в виде ***"Вызов функции: {...}\<end_of_turn\>"***, вы все равно должны передать только тело ***"{...}"***
|
||
в поле *"content"*, поскольку используя `apply_chat_template`, постскриптум в инструкциях добавляется автоматически.
|
||
* `function-response` - в этой роли мы должны передать ответ нашей функции в поле *"content"* в виде словаря ***'{"name_returnable_value": value}'***.
|
||
* `model` - содержимое, относящееся к этой роли, считается сгенерированным текстом модели.
|
||
|
||
|
||
### Структура истории чата для *Function Calling*
|
||
|
||
```
|
||
[
|
||
{"role": "system", "content": "Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - "},
|
||
{"role": "user", "content": "Привет, не мог бы ты сказать мне, во сколько в Краснодаре восходит солнце?"},
|
||
{"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "Краснодар"}}'},
|
||
{"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'}
|
||
]
|
||
```
|
||
|
||
Это выглядит как:
|
||
```
|
||
<bos><start_of_turn>user
|
||
Ты - полезный помощник, имеющий доступ к следующим функциям. Используйте их при необходимости - {
|
||
"name": "get_weather",
|
||
"description": "Функция, которая возвращает погоду в заданном городе.",
|
||
"parameters": {
|
||
"type": "object",
|
||
"properties": {
|
||
"city": {
|
||
"type": "string",
|
||
"description": "Город, для которого надо узнать погоду."
|
||
}
|
||
},
|
||
"required": [
|
||
"city"
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"name": "get_sunrise_sunset_times",
|
||
"description": "Функция, которая возвращает время восхода и заката для заданного города для текущей даты (дата от пользователя не требуется), в формате списка: [sunrise_time, sunset_time].",
|
||
"parameters": {
|
||
"type": "object",
|
||
"properties": {
|
||
"city": {
|
||
"type": "string",
|
||
"description": "Город, в котором можно узнать время восхода и захода солнца."
|
||
}
|
||
},
|
||
"required": [
|
||
"city"
|
||
]
|
||
}
|
||
}
|
||
|
||
Привет, не мог бы ты сказать мне, во сколько в Краснодаре восходит солнце?<end_of_turn>
|
||
<start_of_turn>model
|
||
Вызов функции: {"name": "get_sunrise_sunset_times", "arguments": {"city": "Краснодар"}}<end_of_turn>
|
||
<start_of_turn>user
|
||
Ответ от функции: {"times_list": ["6:00", "18:00"]}<end_of_turn>
|
||
```
|
||
|
||
|
||
### Структура истории чата для обычного user-model шаблона
|
||
|
||
```
|
||
[
|
||
{"role": "system", "content": "Ты добрый помощник"},
|
||
{"role": "user", "content": "Расскажи мне о Москве"}
|
||
]
|
||
```
|
||
|
||
Это выглядит как:
|
||
```
|
||
<bos><start_of_turn>user
|
||
Ты добрый помощник
|
||
|
||
Расскажи мне о Москве<end_of_turn>
|
||
```
|
||
|
||
## <a name="eval"></a>Оценка моделей
|
||
|
||
В процессе обучения ошибка валидации была приближена к следующим значениям:
|
||
|
||
| **Model** | **Generation Language** | **Approximately Validation Loss** |
|
||
| :-----: | :-----: | :-----: |
|
||
| [DiTy/gemma-2-27b-it-function-calling-GGUF](https://huggingface.co/DiTy/gemma-2-27b-it-function-calling-GGUF) | EN | 0.47 |
|
||
| [**DiTy/gemma-2-9b-it-russian-function-calling-GGUF**](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF) | **RU** | **0.57** |
|
||
| [DiTy/gemma-2-9b-it-function-calling-GGUF](https://huggingface.co/DiTy/gemma-2-9b-it-function-calling-GGUF) | EN | 0.5 |
|
||
| [DiTy/gemma-2-2b-it-function-calling](https://huggingface.co/DiTy/gemma-2-2b-it-function-calling) | EN | 0.66 |
|
||
|
||
## Citation
|
||
|
||
```none
|
||
@article{gemma_2024,
|
||
title={Gemma},
|
||
url={https://www.kaggle.com/m/3301},
|
||
DOI={10.34740/KAGGLE/M/3301},
|
||
publisher={Kaggle},
|
||
author={Gemma Team},
|
||
year={2024}
|
||
}
|
||
``` |