Broken_Code_Generation.1.0/metrics

Метрики оценки Broken_Code_Generation.1.0

Автоматическая оценка дообученной модели Vilyam888/Broken_Code_Generation.1.0 на hold-out выборке.

Протокол оценки

Параметр	Значение
Базовая модель	Qwen/Qwen2.5-Coder-3B-Instruct
Метод дообучения	QLoRA (4-bit NF4), 3 эпохи, checkpoint-501
Тестовая выборка	prepared_data/test.json, N = 100
Reference	Поля JSON из test split
Temperature	0.2
max_new_tokens	1200

Итоговые метрики (QLoRA)

Метрика	Значение	Baseline
Perplexity (validation)	1.29	—
valid_json_rate	94 %	78 %
required_fields_rate	92 %	74 %
BLEU-4 (corpus)	0.68	0.52
ROUGE-L F1	0.71	0.54
CodeBLEU (broken_code)	0.47	—
Синтаксис broken_code (AST)	91 %	—

Файлы

• evaluation_report.json / evaluation_report.txt — сводный отчёт с сравнением baseline vs QLoRA
• 01_training_perplexity.json — метрики обучения (loss, PPL по эпохам)
• 02_json_validity.json — валидность и полнота JSON
• 03_bleu_rouge.json — BLEU и ROUGE
• 04_code_metrics.json — CodeBLEU и синтаксис broken_code

Human Evaluation в протокол оценки не входит.