164 lines
3.2 KiB
JSON
164 lines
3.2 KiB
JSON
|
[
|
||
|
|
{
|
||
|
|
"task": "hellaswag",
|
||
|
|
"benchmark": "HellaSwag",
|
||
|
|
"metric": "acc_norm",
|
||
|
|
"score": 0.27972515435172274,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 204.64,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "piqa",
|
||
|
|
"benchmark": "PIQA",
|
||
|
|
"metric": "acc_norm",
|
||
|
|
"score": 0.5816104461371056,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 36.28,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "winogrande",
|
||
|
|
"benchmark": "WinoGrande",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.5130228887134964,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 26.49,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "boolq",
|
||
|
|
"benchmark": "BoolQ",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.6207951070336392,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 70.07,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "arc_easy",
|
||
|
|
"benchmark": "ARC-Easy",
|
||
|
|
"metric": "acc_norm",
|
||
|
|
"score": 0.35942760942760943,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 44.26,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "arc_challenge",
|
||
|
|
"benchmark": "ARC-Challenge",
|
||
|
|
"metric": "acc_norm",
|
||
|
|
"score": 0.24146757679180889,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 34.79,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "openbookqa",
|
||
|
|
"benchmark": "OpenBookQA",
|
||
|
|
"metric": "acc_norm",
|
||
|
|
"score": 0.274,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 26.94,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "commonsense_qa",
|
||
|
|
"benchmark": "CommonsenseQA",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.1941031941031941,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 29.94,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "lambada_openai",
|
||
|
|
"benchmark": "LAMBADA",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.19076266252668347,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 75.64,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "blimp",
|
||
|
|
"benchmark": "BLiMP",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.764268656716418,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 463.22,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "mmlu",
|
||
|
|
"benchmark": "MMLU",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.23280159521435692,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 546.26,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "wikitext",
|
||
|
|
"benchmark": "WikiText-2",
|
||
|
|
"metric": "word_perplexity",
|
||
|
|
"score": 55.30558314095939,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 59.4,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "wikitext",
|
||
|
|
"benchmark": "WikiText-2",
|
||
|
|
"metric": "byte_perplexity",
|
||
|
|
"score": 2.117905168137186,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 53.65,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "sciq",
|
||
|
|
"benchmark": "SciQ",
|
||
|
|
"metric": "acc_norm",
|
||
|
|
"score": 0.491,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 59.38,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "copa",
|
||
|
|
"benchmark": "COPA",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.59,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 21.9,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "race",
|
||
|
|
"benchmark": "RACE",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.25933014354066986,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 179.85,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "swag",
|
||
|
|
"benchmark": "SWAG",
|
||
|
|
"metric": "acc_norm",
|
||
|
|
"score": 0.4239728081575527,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 169.58,
|
||
|
|
"status": "success"
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"task": "truthfulqa_mc2",
|
||
|
|
"benchmark": "TruthfulQA MC2",
|
||
|
|
"metric": "acc",
|
||
|
|
"score": 0.4401996862756814,
|
||
|
|
"shots": 0,
|
||
|
|
"runtime_sec": 74.59,
|
||
|
|
"status": "success"
|
||
|
|
}
|
||
|
|
]
|