59 lines
1.2 KiB
JSON
59 lines
1.2 KiB
JSON
|
{
|
||
|
|
"additional_special_tokens": [
|
||
|
|
"<||unused1||>",
|
||
|
|
"<||unused2||>",
|
||
|
|
"<||unused3||>",
|
||
|
|
"<||unused4||>",
|
||
|
|
"<||unused5||>",
|
||
|
|
"<||unused6||>",
|
||
|
|
"<||unused7||>",
|
||
|
|
"<||unused8||>",
|
||
|
|
"<||unused9||>",
|
||
|
|
"<||unused10||>",
|
||
|
|
"<||unused11||>",
|
||
|
|
"<||unused12||>",
|
||
|
|
"<||unused13||>",
|
||
|
|
"<||unused14||>",
|
||
|
|
"<||unused15||>",
|
||
|
|
"<||unused16||>",
|
||
|
|
"<||unused17||>",
|
||
|
|
"<||unused18||>",
|
||
|
|
"<||unused19||>",
|
||
|
|
"<||unused20||>",
|
||
|
|
"<||unused21||>",
|
||
|
|
"<||unused22||>",
|
||
|
|
"<||unused23||>",
|
||
|
|
"<||unused24||>",
|
||
|
|
"<||unused25||>",
|
||
|
|
"<||unused26||>",
|
||
|
|
"<||unused27||>",
|
||
|
|
"<||unused28||>",
|
||
|
|
"<||unused29||>",
|
||
|
|
"<||unused30||>",
|
||
|
|
"<||unused31||>",
|
||
|
|
"<||unused32||>",
|
||
|
|
"<||unused33||>",
|
||
|
|
"<||unused34||>",
|
||
|
|
"<||unused35||>",
|
||
|
|
"<||unused36||>",
|
||
|
|
"<||unused37||>",
|
||
|
|
"<||unused38||>",
|
||
|
|
"<||unused39||>",
|
||
|
|
"<||unused40||>",
|
||
|
|
"<||unused41||>",
|
||
|
|
"<||unused42||>",
|
||
|
|
"<||unused43||>",
|
||
|
|
"<||unused44||>"
|
||
|
|
],
|
||
|
|
"bos_token": "<||bos||>",
|
||
|
|
"eos_token": {
|
||
|
|
"content": "<|endoftext|>",
|
||
|
|
"lstrip": false,
|
||
|
|
"normalized": true,
|
||
|
|
"rstrip": false,
|
||
|
|
"single_word": false
|
||
|
|
},
|
||
|
|
"pad_token": "<||pad||>",
|
||
|
|
"unk_token": "<||unk||>"
|
||
|
|
}
|