189 lines
9.0 KiB
Markdown
189 lines
9.0 KiB
Markdown
|
---
|
|||
|
|
library_name: transformers
|
|||
|
|
tags:
|
|||
|
|
- reasoning
|
|||
|
|
license: apache-2.0
|
|||
|
|
datasets:
|
|||
|
|
- attn-signs/gromov-1
|
|||
|
|
language:
|
|||
|
|
- ru
|
|||
|
|
base_model:
|
|||
|
|
- attn-signs/GPTR-8b-v1
|
|||
|
|
---
|
|||
|
|
# GPT Reasoner (V2)
|
|||
|
|
|
|||
|
|
- [EN]
|
|||
|
|
Reasoning model adapted for russian text generation.
|
|||
|
|
**Based on YandexGPT-pretrain -> GPTR-8b-base -> GPTR-8b-v1 -> GPTR-8b-v2**
|
|||
|
|
- [RU]
|
|||
|
|
Модель рассуждений, адаптированная для генерации русскоязычного текста.
|
|||
|
|
**Построена на YandexGPT-pretrain -> GPTR-8b-base -> GPTR-8b-v1 -> GPTR-8b-v2**
|
|||
|
|
|
|||
|
|
## Model Details / Детализация модели
|
|||
|
|
- [EN]
|
|||
|
|
**Reinforced GRPO version** to invoke general reasoning capabilities.
|
|||
|
|
This model can generate conditional and coherent chain-of-thought
|
|||
|
|
- [RU]
|
|||
|
|
**Версия RL GRPO** для возможностей размышления и глубокого понимания запроса.
|
|||
|
|
Модель может генерировать когерентный текст русского языка на этой итерации.
|
|||
|
|
|
|||
|
|
### Important:
|
|||
|
|
- [EN]
|
|||
|
|
Second stage of reinforcement learning to invoke reasoning capabilities.
|
|||
|
|
The model became better in mathematical tasks.
|
|||
|
|
- [RU]
|
|||
|
|
Вторая стадия RL обучения. Модель стала гораздо лучше в решении математических задач
|
|||
|
|
|
|||
|
|
### Further development
|
|||
|
|
- GRPO Gromov-2
|
|||
|
|
|
|||
|
|
### Model Description / Описание модели
|
|||
|
|
|
|||
|
|
- **Developed by:** [Reisen Raumberg (Attention Signs team)]
|
|||
|
|
- **Language(s) (NLP):** [RU/EN]
|
|||
|
|
- **SFT from model:** [YandexGPT-5-lite-8B-pretrain]
|
|||
|
|
|
|||
|
|
Utilized HF.Accelerator
|
|||
|
|
**GPU hours**: ~24h of NVIDIA A100
|
|||
|
|
|
|||
|
|
Для обучения использовался HuggingFace Accelerator
|
|||
|
|
**GPU часы**: ~24h часа NVIDIA A100
|
|||
|
|
|
|||
|
|
### Training Framework
|
|||
|
|
**GPTR was trained using MyLLM framework (by Attention Signs):**
|
|||
|
|
--==[MyLLM](https://github.com/Raumberg/myllm)==--
|
|||
|
|
|
|||
|
|
### Model configuration (MyLLM Framework)
|
|||
|
|
TO BE DISCLOSED
|
|||
|
|
|
|||
|
|
### Rewards:
|
|||
|
|
TO BE DISCLOSED
|
|||
|
|
|
|||
|
|
### Using the model / Как запустить?
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
repo = 'attn-signs/GPTR-8-v2'
|
|||
|
|
|
|||
|
|
model = AutoModelForCausalLM.from_pretrained(repo)
|
|||
|
|
tokenizer = AutoTokenizer.from_pretrained(repo)
|
|||
|
|
|
|||
|
|
device = 'cuda' if torch.cuda.is_available() else 'cpu'
|
|||
|
|
model.to(device)
|
|||
|
|
|
|||
|
|
user_prompt = '''
|
|||
|
|
Пусть функция $f:[a,b]\to \mathbb{R}$ непрерывна на $[a,b]$, дифференцируема во всех точках $t\in(a,b)\setminus\{x\}$,
|
|||
|
|
и существует предел $\lim_{t \to x} f'(t)$. Докажите, что $f$ дифференцируема в точке $x$ и $f'(x)= \lim_{t \to x} f'(t)$.
|
|||
|
|
Используйте определение $f'(x)$ и теорему о среднем значении для обоснования вашего аргумента.
|
|||
|
|
'''
|
|||
|
|
system_prompt = "[MODE: Reflection]"
|
|||
|
|
messages = [
|
|||
|
|
{"role": "system", "content": system_prompt},
|
|||
|
|
{"role": "user", "content": user_prompt}
|
|||
|
|
]
|
|||
|
|
text = tokenizer.apply_chat_template(
|
|||
|
|
messages,
|
|||
|
|
tokenize=False,
|
|||
|
|
add_generation_prompt=True
|
|||
|
|
)
|
|||
|
|
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
|
|||
|
|
|
|||
|
|
generated_ids = model.generate(
|
|||
|
|
**model_inputs,
|
|||
|
|
max_new_tokens=4096
|
|||
|
|
)
|
|||
|
|
generated_ids = [
|
|||
|
|
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
|
|||
|
|
]
|
|||
|
|
|
|||
|
|
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
|||
|
|
|
|||
|
|
print(response)
|
|||
|
|
```
|
|||
|
|
```
|
|||
|
|
Для доказательства того, что $f$ дифференцируема в точке $x$ и $f'(x) = \lim_{t \to x} f'(t)$, мы следуем этим шагам:
|
|||
|
|
|
|||
|
|
1. **Определение производной в точке $x$:**
|
|||
|
|
Производная $f$ в точке $x$ определяется как:
|
|||
|
|
\[
|
|||
|
|
f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}
|
|||
|
|
]
|
|||
|
|
|
|||
|
|
2. **Использование теоремы о среднем значении**:
|
|||
|
|
Для любого $h \neq 0$ существует $c \in (x, x+h)$ такое, что:
|
|||
|
|
\[
|
|||
|
|
\frac{f(x+h) - f(x)}{h} = f'(c)
|
|||
|
|
\]
|
|||
|
|
Поскольку $f$ дифференцируема во всех точках $(a, b) \setminus \{x\}$, $f'(c)$ существует.
|
|||
|
|
|
|||
|
|
3. **Анализ предела при $h \to 0$**:
|
|||
|
|
Когда $h \to 0$, $c \to x$. Следовательно, $\lim_{h \to 0} f'(c) = \lim_{t \to x} f'(t)$.
|
|||
|
|
|
|||
|
|
4. **Вывод**:
|
|||
|
|
Поскольку $\frac{f(x+h) - f(x)}{h} = f'(c)$ и $\lim_{h \to 0} f'(c) = \lim_{t \to x} f'(t)$, имеем:
|
|||
|
|
\[
|
|||
|
|
f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} = \lim_{t \to x} f'(t)
|
|||
|
|
\]
|
|||
|
|
|
|||
|
|
Таким образом, $f$ дифференцируема в точке $x$ и $f'(x) = \lim_{t \to x} f'(t)$.
|
|||
|
|
|
|||
|
|
\[
|
|||
|
|
\boxed{f'(x) = \lim_{t \to x} f'(t)}
|
|||
|
|
\]
|
|||
|
|
Я поразмышмышлял над задачей и вот, что я выяснил: используя теорему о среднем значении и предел при $h \to 0$, мы показали, что $f$ дифференцируема в точке $x$ и $f'(x) = \lim_{t \to x} f'(t)$. Таким образом, окончательный ответ:
|
|||
|
|
|
|||
|
|
\[
|
|||
|
|
\boxed{f'(x) = \lim_{t \to x} f'(t)}
|
|||
|
|
\]
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### Model's ability to prove mathematical statements also became better:
|
|||
|
|
**Question:**
|
|||
|
|
Докажите, что для независимой семьи подмножеств $\mathcal{A}$ множества $\kappa \geq \omega$ семейство $G_f$,
|
|||
|
|
определенное как $G_f = \{X : |\kappa - X| < \kappa\} \cup \{X : f(X) = 1\} \cup \{\kappa - X : f(X) = 0\}$ для любой функции $f : \mathcal{A} \to \{0,1\}$,
|
|||
|
|
обладает свойством конечного пересечения (f.i.p.), и объясните, почему включение $\{X : |\kappa - X| < \kappa\}$ в $G_f$ необходимо для того, чтобы это свойство выполнялось.
|
|||
|
|
|
|||
|
|
**Answer:**
|
|||
|
|
```
|
|||
|
|
Чтобы доказать, что семейство $G_f$ обладает свойством конечного пересечения (f.i.p.), необходимо показать, что любое конечное подсемейство $\{G_{f_1}, G_{f_2}, \ldots, G_{f_n}\}$ из $G_f$ имеет непустое пересечение.
|
|||
|
|
|
|||
|
|
1. **Понимание $G_f$:**
|
|||
|
|
- $G_f$ состоит из трёх типов подмножеств:
|
|||
|
|
- $X$ таких, что $|\kappa - X| < \kappa$ (то есть $X$ является конечным).
|
|||
|
|
- $X$ таких, что $f(X) = 1$.
|
|||
|
|
- $\kappa - X$ таких, что $f(X) = 0$.
|
|||
|
|
|
|||
|
|
2. **Анализ конечного подсемейства:**
|
|||
|
|
- Рассмотрим конечное подсемейство $\{G_{f_1}, G_{f_2}, \ldots, G_{f_n}\}$.
|
|||
|
|
- Каждое $G_{f_i}$ содержит подмножества, удовлетворяющие одному из трёх условий:
|
|||
|
|
- $|\kappa - X| < \kappa$
|
|||
|
|
- $f_i(X) = 1$
|
|||
|
|
- $f_i(\kappa - X) = 0$
|
|||
|
|
|
|||
|
|
3. **Поиск общего подмножества:**
|
|||
|
|
- Рассмотрим подмножество $X$, которое удовлетворяет $|\kappa - X| < \kappa$.
|
|||
|
|
- Для каждого $f_i$, $X$ либо удовлетворяет $f_i(X) = 1$, либо $f_i(\kappa - X) = 0$.
|
|||
|
|
- Следовательно, $X$ принадлежит хотя бы одному из $G_{f_i}$.
|
|||
|
|
|
|||
|
|
4. **Проверка:**
|
|||
|
|
- Если $X$ удовлетворяет $|\kappa - X| < \kappa$, то $X$ принадлежит $G_{f_i}$ для всех $i$.
|
|||
|
|
- Если $X$ не удовлетворяет $|\kappa - X| < \kappa$, то $\kappa - X$ принадлежит $G_{f_i}$ для всех $i$.
|
|||
|
|
|
|||
|
|
5. **Вывод:**
|
|||
|
|
- В любом случае, $X$ или $\kappa - X$ принадлежит всем $G_{f_i}$, что делает пересечение непустым.
|
|||
|
|
|
|||
|
|
Таким образом, $G_f$ обладает свойством конечного пересечения.
|
|||
|
|
|
|||
|
|
**Необходимость включения $\{X : |\kappa - X| < \kappa\}$:
|
|||
|
|
- Если исключить $\{X : |\kappa - X| < \kappa\}$ из $G_f$, то $G_f$ может не иметь непустого пересечения для некоторых функций $f$, например, когда $f(X) = 0$ для всех $X$.
|
|||
|
|
|
|||
|
|
Следовательно, включение $\{X : |\kappa - X| < \kappa\}$ в $G_f$ необходимо для того, чтобы $G_f$ обладало свойством конечного пересечения.
|
|||
|
|
|
|||
|
|
\[
|
|||
|
|
\boxed{1} # Model thinks that 1 is True
|
|||
|
|
\]
|
|||
|
|
Я поразмышмышлял над задачей и вот, что я выяснил: семейство $G_f$ обладает свойством конечного пересечения благодаря включению подмножеств $\{X : |\kappa - X| < \kappa\}$. Это включение необходимо для того, чтобы гарантировать, что любое конечное подсемейство $\{G_{f_1}, G_{f_2}, \ldots, G_{f_n}\}$ имеет непустое пересечение.
|
|||
|
|
|
|||
|
|
\[
|
|||
|
|
\boxed{1}
|
|||
|
|
\]
|
|||
|
|
```
|