38 lines
1.6 KiB
Markdown
38 lines
1.6 KiB
Markdown
|
# Метрики оценки Code_analyze.1.0
|
||
|
|
|
||
|
|
Автоматическая оценка дообученной модели [Vilyam888/Code_analyze.1.0](https://huggingface.co/Vilyam888/Code_analyze.1.0) на hold-out выборке.
|
||
|
|
|
||
|
|
## Протокол оценки
|
||
|
|
|
||
|
|
| Параметр | Значение |
|
||
|
|
|----------|----------|
|
||
|
|
| Базовая модель | Qwen/Qwen2.5-Coder-3B-Instruct |
|
||
|
|
| Метод дообучения | LoRA (без 4-bit квантизации), 2 эпохи, checkpoint-222 |
|
||
|
|
| Инференс | bfloat16, merged-модель |
|
||
|
|
| Тестовая выборка | `prepared_data/code_analyze/test.jsonl`, N = 100 |
|
||
|
|
| Reference | Поля JSON из test split |
|
||
|
|
| Temperature | 0.2 |
|
||
|
|
| max_new_tokens | 2048 |
|
||
|
|
|
||
|
|
## Итоговые метрики
|
||
|
|
|
||
|
|
| Метрика | Значение |
|
||
|
|
|---------|----------|
|
||
|
|
| Perplexity (validation) | **1.32** |
|
||
|
|
| valid_json_rate | **93 %** |
|
||
|
|
| required_fields_rate | **90 %** |
|
||
|
|
| tag_name_match_rate | **88 %** |
|
||
|
|
| BLEU-4 (corpus) | **0.70** |
|
||
|
|
| ROUGE-L F1 | **0.69** |
|
||
|
|
| CodeBLEU | не применяется |
|
||
|
|
|
||
|
|
## Файлы
|
||
|
|
|
||
|
|
- `evaluation_report.json` / `evaluation_report.txt` — сводный отчёт
|
||
|
|
- `01_training_perplexity.json` — метрики обучения (loss, PPL)
|
||
|
|
- `02_json_validity.json` — валидность и полнота JSON
|
||
|
|
- `03_bleu_rouge.json` — BLEU и ROUGE по текстовым полям
|
||
|
|
- `04_code_metrics.json` — пояснение по CodeBLEU
|
||
|
|
|
||
|
|
Human Evaluation в протокол оценки данной модели **не входит**.
|