ОТЧЁТ ОБ ОЦЕНКЕ МОДЕЛИ Code_analyze.1.0
Репозиторий: Vilyam888/Code_analyze.1.0
Базовая модель: Qwen/Qwen2.5-Coder-3B-Instruct
Метод дообучения: LoRA (без 4-bit квантизации)
Инференс: bfloat16, merged-модель
Дата оценки: 2026-06-11
Выборка: test.jsonl, N = 100 (hold-out test)
Генерация: temperature = 0.2, max_new_tokens = 2048

1. Perplexity (validation, checkpoint-222):
  • train_loss_final: 0.241
  • eval_loss_final: 0.2776
  • eval_mean_token_accuracy: 0.925
  • perplexity_validation: 1.32
  • num_train_epochs: 2
  • global_step: 222

2. JSON validity:
  • valid_json_rate: 0.93
  • required_fields_rate: 0.9
  • tag_name_match_rate: 0.88
  • counts: valid_json=93, required_fields=90, tag_match=88

3. BLEU:
  • bleu4_corpus: 0.7
  • bleu4_summary: 0.72

4. ROUGE-N:
  • rouge1_f1: 0.71
  • rouge2_f1: 0.56
  • rougeL_f1: 0.69

5. CodeBLEU: не применяется (модель анализа кода, JSON-выход)