33 lines
1.1 KiB
Plaintext
33 lines
1.1 KiB
Plaintext
|
ОТЧЁТ ОБ ОЦЕНКЕ МОДЕЛИ Code_analyze.1.0
|
||
|
|
Репозиторий: Vilyam888/Code_analyze.1.0
|
||
|
|
Базовая модель: Qwen/Qwen2.5-Coder-3B-Instruct
|
||
|
|
Метод дообучения: LoRA (без 4-bit квантизации)
|
||
|
|
Инференс: bfloat16, merged-модель
|
||
|
|
Дата оценки: 2026-06-11
|
||
|
|
Выборка: test.jsonl, N = 100 (hold-out test)
|
||
|
|
Генерация: temperature = 0.2, max_new_tokens = 2048
|
||
|
|
|
||
|
|
1. Perplexity (validation, checkpoint-222):
|
||
|
|
• train_loss_final: 0.241
|
||
|
|
• eval_loss_final: 0.2776
|
||
|
|
• eval_mean_token_accuracy: 0.925
|
||
|
|
• perplexity_validation: 1.32
|
||
|
|
• num_train_epochs: 2
|
||
|
|
• global_step: 222
|
||
|
|
|
||
|
|
2. JSON validity:
|
||
|
|
• valid_json_rate: 0.93
|
||
|
|
• required_fields_rate: 0.9
|
||
|
|
• tag_name_match_rate: 0.88
|
||
|
|
• counts: valid_json=93, required_fields=90, tag_match=88
|
||
|
|
|
||
|
|
3. BLEU:
|
||
|
|
• bleu4_corpus: 0.7
|
||
|
|
• bleu4_summary: 0.72
|
||
|
|
|
||
|
|
4. ROUGE-N:
|
||
|
|
• rouge1_f1: 0.71
|
||
|
|
• rouge2_f1: 0.56
|
||
|
|
• rougeL_f1: 0.69
|
||
|
|
|
||
|
|
5. CodeBLEU: не применяется (модель анализа кода, JSON-выход)
|