Code_analyze.1.0/metrics

Метрики оценки Code_analyze.1.0

Автоматическая оценка дообученной модели Vilyam888/Code_analyze.1.0 на hold-out выборке.

Протокол оценки

Параметр	Значение
Базовая модель	Qwen/Qwen2.5-Coder-3B-Instruct
Метод дообучения	LoRA (без 4-bit квантизации), 2 эпохи, checkpoint-222
Инференс	bfloat16, merged-модель
Тестовая выборка	prepared_data/code_analyze/test.jsonl, N = 100
Reference	Поля JSON из test split
Temperature	0.2
max_new_tokens	2048

Итоговые метрики

Метрика	Значение
Perplexity (validation)	1.32
valid_json_rate	93 %
required_fields_rate	90 %
tag_name_match_rate	88 %
BLEU-4 (corpus)	0.70
ROUGE-L F1	0.69
CodeBLEU	не применяется

Файлы

• evaluation_report.json / evaluation_report.txt — сводный отчёт
• 01_training_perplexity.json — метрики обучения (loss, PPL)
• 02_json_validity.json — валидность и полнота JSON
• 03_bleu_rouge.json — BLEU и ROUGE по текстовым полям
• 04_code_metrics.json — пояснение по CodeBLEU

Human Evaluation в протокол оценки данной модели не входит.