1.6 KiB
1.6 KiB
Метрики оценки Code_analyze.1.0
Автоматическая оценка дообученной модели Vilyam888/Code_analyze.1.0 на hold-out выборке.
Протокол оценки
| Параметр | Значение |
|---|---|
| Базовая модель | Qwen/Qwen2.5-Coder-3B-Instruct |
| Метод дообучения | LoRA (без 4-bit квантизации), 2 эпохи, checkpoint-222 |
| Инференс | bfloat16, merged-модель |
| Тестовая выборка | prepared_data/code_analyze/test.jsonl, N = 100 |
| Reference | Поля JSON из test split |
| Temperature | 0.2 |
| max_new_tokens | 2048 |
Итоговые метрики
| Метрика | Значение |
|---|---|
| Perplexity (validation) | 1.32 |
| valid_json_rate | 93 % |
| required_fields_rate | 90 % |
| tag_name_match_rate | 88 % |
| BLEU-4 (corpus) | 0.70 |
| ROUGE-L F1 | 0.69 |
| CodeBLEU | не применяется |
Файлы
evaluation_report.json/evaluation_report.txt— сводный отчёт01_training_perplexity.json— метрики обучения (loss, PPL)02_json_validity.json— валидность и полнота JSON03_bleu_rouge.json— BLEU и ROUGE по текстовым полям04_code_metrics.json— пояснение по CodeBLEU
Human Evaluation в протокол оценки данной модели не входит.