初始化项目,由ModelHub XC社区提供模型
Model: saketh-chervu/rvr-exp34-d3_string-intermediate-correct-TA Source: Original Platform
This commit is contained in:
149
eval_data/meta.json
Normal file
149
eval_data/meta.json
Normal file
@@ -0,0 +1,149 @@
|
||||
{
|
||||
"depth": 3,
|
||||
"arm": "correct",
|
||||
"atoms": [
|
||||
"swap_pairs",
|
||||
"interleave_halves",
|
||||
"reverse_first_half",
|
||||
"reverse_blocks3"
|
||||
],
|
||||
"format": "intermediate/template (step1/step2/result)",
|
||||
"train_chains": [
|
||||
[
|
||||
"swap_pairs",
|
||||
"interleave_halves",
|
||||
"reverse_first_half"
|
||||
],
|
||||
[
|
||||
"swap_pairs",
|
||||
"interleave_halves",
|
||||
"reverse_blocks3"
|
||||
],
|
||||
[
|
||||
"swap_pairs",
|
||||
"reverse_first_half",
|
||||
"interleave_halves"
|
||||
],
|
||||
[
|
||||
"swap_pairs",
|
||||
"reverse_first_half",
|
||||
"reverse_blocks3"
|
||||
],
|
||||
[
|
||||
"swap_pairs",
|
||||
"reverse_blocks3",
|
||||
"reverse_first_half"
|
||||
],
|
||||
[
|
||||
"interleave_halves",
|
||||
"swap_pairs",
|
||||
"reverse_first_half"
|
||||
],
|
||||
[
|
||||
"interleave_halves",
|
||||
"reverse_first_half",
|
||||
"swap_pairs"
|
||||
],
|
||||
[
|
||||
"interleave_halves",
|
||||
"reverse_first_half",
|
||||
"reverse_blocks3"
|
||||
],
|
||||
[
|
||||
"interleave_halves",
|
||||
"reverse_blocks3",
|
||||
"swap_pairs"
|
||||
],
|
||||
[
|
||||
"reverse_first_half",
|
||||
"swap_pairs",
|
||||
"reverse_blocks3"
|
||||
],
|
||||
[
|
||||
"reverse_first_half",
|
||||
"interleave_halves",
|
||||
"swap_pairs"
|
||||
],
|
||||
[
|
||||
"reverse_first_half",
|
||||
"reverse_blocks3",
|
||||
"swap_pairs"
|
||||
],
|
||||
[
|
||||
"reverse_first_half",
|
||||
"reverse_blocks3",
|
||||
"interleave_halves"
|
||||
],
|
||||
[
|
||||
"reverse_blocks3",
|
||||
"swap_pairs",
|
||||
"interleave_halves"
|
||||
],
|
||||
[
|
||||
"reverse_blocks3",
|
||||
"swap_pairs",
|
||||
"reverse_first_half"
|
||||
],
|
||||
[
|
||||
"reverse_blocks3",
|
||||
"interleave_halves",
|
||||
"swap_pairs"
|
||||
],
|
||||
[
|
||||
"reverse_blocks3",
|
||||
"interleave_halves",
|
||||
"reverse_first_half"
|
||||
],
|
||||
[
|
||||
"reverse_blocks3",
|
||||
"reverse_first_half",
|
||||
"swap_pairs"
|
||||
]
|
||||
],
|
||||
"heldout_chains": [
|
||||
[
|
||||
"swap_pairs",
|
||||
"reverse_blocks3",
|
||||
"interleave_halves"
|
||||
],
|
||||
[
|
||||
"interleave_halves",
|
||||
"swap_pairs",
|
||||
"reverse_blocks3"
|
||||
],
|
||||
[
|
||||
"interleave_halves",
|
||||
"reverse_blocks3",
|
||||
"reverse_first_half"
|
||||
],
|
||||
[
|
||||
"reverse_first_half",
|
||||
"swap_pairs",
|
||||
"interleave_halves"
|
||||
],
|
||||
[
|
||||
"reverse_first_half",
|
||||
"interleave_halves",
|
||||
"reverse_blocks3"
|
||||
],
|
||||
[
|
||||
"reverse_blocks3",
|
||||
"reverse_first_half",
|
||||
"interleave_halves"
|
||||
]
|
||||
],
|
||||
"n_atom": 600,
|
||||
"n_eval": 200,
|
||||
"total_comp_train": 4320,
|
||||
"n_comp_per_chain": 240,
|
||||
"n_probe": 900,
|
||||
"seed": 0,
|
||||
"counts": {
|
||||
"atomic.jsonl": 2400,
|
||||
"atomic_eval.jsonl": 800,
|
||||
"compose_train_0.jsonl": 4320,
|
||||
"seen_eval.jsonl": 3600,
|
||||
"heldout_eval.jsonl": 1200,
|
||||
"probe_pool.jsonl": 900
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user