37 lines
1.6 KiB
Markdown
37 lines
1.6 KiB
Markdown
# Метрики оценки Broken_Code_Generation.1.0
|
||
|
||
Автоматическая оценка дообученной модели [Vilyam888/Broken_Code_Generation.1.0](https://huggingface.co/Vilyam888/Broken_Code_Generation.1.0) на hold-out выборке.
|
||
|
||
## Протокол оценки
|
||
|
||
| Параметр | Значение |
|
||
|----------|----------|
|
||
| Базовая модель | Qwen/Qwen2.5-Coder-3B-Instruct |
|
||
| Метод дообучения | QLoRA (4-bit NF4), 3 эпохи, checkpoint-501 |
|
||
| Тестовая выборка | `prepared_data/test.json`, N = 100 |
|
||
| Reference | Поля JSON из test split |
|
||
| Temperature | 0.2 |
|
||
| max_new_tokens | 1200 |
|
||
|
||
## Итоговые метрики (QLoRA)
|
||
|
||
| Метрика | Значение | Baseline |
|
||
|---------|----------|----------|
|
||
| Perplexity (validation) | **1.29** | — |
|
||
| valid_json_rate | **94 %** | 78 % |
|
||
| required_fields_rate | **92 %** | 74 % |
|
||
| BLEU-4 (corpus) | **0.68** | 0.52 |
|
||
| ROUGE-L F1 | **0.71** | 0.54 |
|
||
| CodeBLEU (broken_code) | **0.47** | — |
|
||
| Синтаксис broken_code (AST) | **91 %** | — |
|
||
|
||
## Файлы
|
||
|
||
- `evaluation_report.json` / `evaluation_report.txt` — сводный отчёт с сравнением baseline vs QLoRA
|
||
- `01_training_perplexity.json` — метрики обучения (loss, PPL по эпохам)
|
||
- `02_json_validity.json` — валидность и полнота JSON
|
||
- `03_bleu_rouge.json` — BLEU и ROUGE
|
||
- `04_code_metrics.json` — CodeBLEU и синтаксис `broken_code`
|
||
|
||
Human Evaluation в протокол оценки **не входит**.
|