初始化项目,由ModelHub XC社区提供模型
Model: Verdugie/Opus-Candid-Lite-4B Source: Original Platform
This commit is contained in:
40
eval/stress_test_15turn.json
Normal file
40
eval/stress_test_15turn.json
Normal file
@@ -0,0 +1,40 @@
|
||||
[
|
||||
{
|
||||
"quant": "Q4_K_M",
|
||||
"status": "PASS",
|
||||
"turns_completed": 15,
|
||||
"clean_turns": 14,
|
||||
"total_turns": 15,
|
||||
"avg_word_count": 21.7,
|
||||
"artifact_summary": {
|
||||
"PHRASE_RECYCLE": 1
|
||||
},
|
||||
"retries": 0,
|
||||
"seed_used": 0
|
||||
},
|
||||
{
|
||||
"quant": "Q6_K",
|
||||
"status": "PASS",
|
||||
"turns_completed": 15,
|
||||
"clean_turns": 15,
|
||||
"total_turns": 15,
|
||||
"avg_word_count": 21.7,
|
||||
"artifact_summary": {},
|
||||
"retries": 0,
|
||||
"seed_used": 1
|
||||
},
|
||||
{
|
||||
"quant": "Q8_0",
|
||||
"status": "PASS",
|
||||
"turns_completed": 15,
|
||||
"clean_turns": 13,
|
||||
"total_turns": 15,
|
||||
"avg_word_count": 17.3,
|
||||
"artifact_summary": {
|
||||
"SERVER_ERROR": 1,
|
||||
"PHRASE_RECYCLE": 1
|
||||
},
|
||||
"retries": 0,
|
||||
"seed_used": 2
|
||||
}
|
||||
]
|
||||
176
eval/stress_test_55q.json
Normal file
176
eval/stress_test_55q.json
Normal file
@@ -0,0 +1,176 @@
|
||||
[
|
||||
{
|
||||
"quant": "Q4_K_M",
|
||||
"status": "MARGINAL",
|
||||
"clean": 43,
|
||||
"total": 55,
|
||||
"pct": 78.2,
|
||||
"avg_word_count": 19.9,
|
||||
"artifact_summary": {
|
||||
"BASE_MODEL_LEAK": 1,
|
||||
"SERVER_ERROR": 11
|
||||
},
|
||||
"category_scores": {
|
||||
"identity": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"opinion": {
|
||||
"clean": 3,
|
||||
"total": 5
|
||||
},
|
||||
"pushback": {
|
||||
"clean": 2,
|
||||
"total": 5
|
||||
},
|
||||
"emotional": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"creative": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"technical": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"philosophy": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"meta": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"rapid": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"edge": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"coherence": {
|
||||
"clean": 2,
|
||||
"total": 5
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"quant": "Q6_K",
|
||||
"status": "MARGINAL",
|
||||
"clean": 49,
|
||||
"total": 55,
|
||||
"pct": 89.1,
|
||||
"avg_word_count": 19.1,
|
||||
"artifact_summary": {
|
||||
"SERVER_ERROR": 3,
|
||||
"BASE_MODEL_LEAK": 3
|
||||
},
|
||||
"category_scores": {
|
||||
"identity": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"opinion": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"pushback": {
|
||||
"clean": 2,
|
||||
"total": 5
|
||||
},
|
||||
"emotional": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"creative": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"technical": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"philosophy": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"meta": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"rapid": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"edge": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"coherence": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"quant": "Q8_0",
|
||||
"status": "PASS",
|
||||
"clean": 52,
|
||||
"total": 55,
|
||||
"pct": 94.5,
|
||||
"avg_word_count": 18.2,
|
||||
"artifact_summary": {
|
||||
"SERVER_ERROR": 2,
|
||||
"BASE_MODEL_LEAK": 1
|
||||
},
|
||||
"category_scores": {
|
||||
"identity": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"opinion": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"pushback": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"emotional": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"creative": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"technical": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"philosophy": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"meta": {
|
||||
"clean": 4,
|
||||
"total": 5
|
||||
},
|
||||
"rapid": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"edge": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
},
|
||||
"coherence": {
|
||||
"clean": 5,
|
||||
"total": 5
|
||||
}
|
||||
}
|
||||
}
|
||||
]
|
||||
1709
eval/stress_test_55q_full.json
Normal file
1709
eval/stress_test_55q_full.json
Normal file
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user