初始化项目,由ModelHub XC社区提供模型
Model: Vilyam888/Code_analyze.1.0 Source: Original Platform
This commit is contained in:
33
metrics/evaluation_report.txt
Normal file
33
metrics/evaluation_report.txt
Normal file
@@ -0,0 +1,33 @@
|
||||
ОТЧЁТ ОБ ОЦЕНКЕ МОДЕЛИ Code_analyze.1.0
|
||||
Репозиторий: Vilyam888/Code_analyze.1.0
|
||||
Базовая модель: Qwen/Qwen2.5-Coder-3B-Instruct
|
||||
Метод дообучения: LoRA (без 4-bit квантизации)
|
||||
Инференс: bfloat16, merged-модель
|
||||
Дата оценки: 2026-06-11
|
||||
Выборка: test.jsonl, N = 100 (hold-out test)
|
||||
Генерация: temperature = 0.2, max_new_tokens = 2048
|
||||
|
||||
1. Perplexity (validation, checkpoint-222):
|
||||
• train_loss_final: 0.241
|
||||
• eval_loss_final: 0.2776
|
||||
• eval_mean_token_accuracy: 0.925
|
||||
• perplexity_validation: 1.32
|
||||
• num_train_epochs: 2
|
||||
• global_step: 222
|
||||
|
||||
2. JSON validity:
|
||||
• valid_json_rate: 0.93
|
||||
• required_fields_rate: 0.9
|
||||
• tag_name_match_rate: 0.88
|
||||
• counts: valid_json=93, required_fields=90, tag_match=88
|
||||
|
||||
3. BLEU:
|
||||
• bleu4_corpus: 0.7
|
||||
• bleu4_summary: 0.72
|
||||
|
||||
4. ROUGE-N:
|
||||
• rouge1_f1: 0.71
|
||||
• rouge2_f1: 0.56
|
||||
• rougeL_f1: 0.69
|
||||
|
||||
5. CodeBLEU: не применяется (модель анализа кода, JSON-выход)
|
||||
Reference in New Issue
Block a user