48 lines
972 B
JSON
48 lines
972 B
JSON
|
{
|
|||
|
|
"additional_special_tokens": [
|
|||
|
|
"<|EOT|>",
|
|||
|
|
"<|BOT|>",
|
|||
|
|
"<|CALL_START|>",
|
|||
|
|
"<|CALL_END|>",
|
|||
|
|
"<|THINK_START|>",
|
|||
|
|
"<|THINK_END|>",
|
|||
|
|
"<|IMG_START|>",
|
|||
|
|
"<|IMG_END|>",
|
|||
|
|
"<|META_START|>",
|
|||
|
|
"<|META_END|>",
|
|||
|
|
"<im_patch>",
|
|||
|
|
"<im_start>",
|
|||
|
|
"<im_end>",
|
|||
|
|
"<dream>",
|
|||
|
|
"<dream_start>",
|
|||
|
|
"<dream_end>",
|
|||
|
|
"<|MASK_1e69f|>",
|
|||
|
|
"<|UNMASK_1e69f|>",
|
|||
|
|
"<video_start>",
|
|||
|
|
"<video_end>",
|
|||
|
|
"<patch_start>",
|
|||
|
|
"<patch_end>",
|
|||
|
|
"<patch_newline>",
|
|||
|
|
"<｜begin▁of▁sentence｜>",
|
|||
|
|
"<｜begin▁of▁mask｜>",
|
|||
|
|
"<｜end▁of▁mask｜>",
|
|||
|
|
"<｜fim▁begin｜>",
|
|||
|
|
"<｜fim▁hole｜>",
|
|||
|
|
"<｜end▁of▁sentence｜>"
|
|||
|
|
],
|
|||
|
|
"eos_token": {
|
|||
|
|
"content": "<|im_end|>",
|
|||
|
|
"lstrip": false,
|
|||
|
|
"normalized": false,
|
|||
|
|
"rstrip": false,
|
|||
|
|
"single_word": false
|
|||
|
|
},
|
|||
|
|
"pad_token": {
|
|||
|
|
"content": "<|endoftext|>",
|
|||
|
|
"lstrip": false,
|
|||
|
|
"normalized": false,
|
|||
|
|
"rstrip": false,
|
|||
|
|
"single_word": false
|
|||
|
|
}
|
|||
|
|
}
|