161 lines
3.4 KiB
JSON
161 lines
3.4 KiB
JSON
|
|
{
|
||
|
|
"additional_special_tokens": [
|
||
|
|
"<|im_start|>",
|
||
|
|
"<|im_end|>",
|
||
|
|
"<|function_list|>",
|
||
|
|
"<|function_output|>",
|
||
|
|
"<|function_call|>",
|
||
|
|
"<|control_6|>",
|
||
|
|
"<|control_7|>",
|
||
|
|
"<|control_8|>",
|
||
|
|
"<|control_9|>",
|
||
|
|
"<|control_10|>",
|
||
|
|
"<|control_11|>",
|
||
|
|
"<|control_12|>",
|
||
|
|
"<|control_13|>",
|
||
|
|
"<|control_14|>",
|
||
|
|
"<|control_15|>",
|
||
|
|
"<|control_16|>",
|
||
|
|
"<|control_17|>",
|
||
|
|
"<|control_18|>",
|
||
|
|
"<|control_19|>",
|
||
|
|
"<|control_20|>",
|
||
|
|
"<|control_21|>",
|
||
|
|
"<|control_22|>",
|
||
|
|
"<|control_23|>",
|
||
|
|
"<|control_24|>",
|
||
|
|
"<|control_25|>",
|
||
|
|
"<|control_26|>",
|
||
|
|
"<|control_27|>",
|
||
|
|
"<|control_28|>",
|
||
|
|
"<|control_29|>",
|
||
|
|
"<|control_30|>",
|
||
|
|
"<|control_31|>",
|
||
|
|
"<|control_32|>",
|
||
|
|
"<|control_33|>",
|
||
|
|
"<|control_34|>",
|
||
|
|
"<|control_35|>",
|
||
|
|
"<|control_36|>",
|
||
|
|
"<|control_37|>",
|
||
|
|
"<|control_38|>",
|
||
|
|
"<|control_39|>",
|
||
|
|
"<|control_40|>",
|
||
|
|
"<|control_41|>",
|
||
|
|
"<|control_42|>",
|
||
|
|
"<|control_43|>",
|
||
|
|
"<|control_44|>",
|
||
|
|
"<|control_45|>",
|
||
|
|
"<|control_46|>",
|
||
|
|
"<|control_47|>",
|
||
|
|
"<|control_48|>",
|
||
|
|
"<|control_49|>",
|
||
|
|
"<|control_50|>",
|
||
|
|
"<|control_51|>",
|
||
|
|
"<|control_52|>",
|
||
|
|
"<|control_53|>",
|
||
|
|
"<|control_54|>",
|
||
|
|
"<|control_55|>",
|
||
|
|
"<|control_56|>",
|
||
|
|
"<|control_57|>",
|
||
|
|
"<|control_58|>",
|
||
|
|
"<|control_59|>",
|
||
|
|
"<|control_60|>",
|
||
|
|
"<|control_61|>",
|
||
|
|
"<|control_62|>",
|
||
|
|
"<|control_63|>",
|
||
|
|
"<|control_64|>",
|
||
|
|
"<|control_65|>",
|
||
|
|
"<|control_66|>",
|
||
|
|
"<|control_67|>",
|
||
|
|
"<|control_68|>",
|
||
|
|
"<|control_69|>",
|
||
|
|
"<|control_70|>",
|
||
|
|
"<|control_71|>",
|
||
|
|
"<|control_72|>",
|
||
|
|
"<|control_73|>",
|
||
|
|
"<|control_74|>",
|
||
|
|
"<|control_75|>",
|
||
|
|
"<|control_76|>",
|
||
|
|
"<|control_77|>",
|
||
|
|
"<|control_78|>",
|
||
|
|
"<|control_79|>",
|
||
|
|
"<|control_80|>",
|
||
|
|
"<|control_81|>",
|
||
|
|
"<|control_82|>",
|
||
|
|
"<|control_83|>",
|
||
|
|
"<|control_84|>",
|
||
|
|
"<|control_85|>",
|
||
|
|
"<|control_86|>",
|
||
|
|
"<|control_87|>",
|
||
|
|
"<|control_88|>",
|
||
|
|
"<|control_89|>",
|
||
|
|
"<|control_90|>",
|
||
|
|
"<|control_91|>",
|
||
|
|
"<|control_92|>",
|
||
|
|
"<|control_93|>",
|
||
|
|
"<|control_94|>",
|
||
|
|
"<|control_95|>",
|
||
|
|
"<|control_96|>",
|
||
|
|
"<|control_97|>",
|
||
|
|
"<|control_98|>",
|
||
|
|
"<|control_99|>",
|
||
|
|
"<|control_100|>",
|
||
|
|
"<|control_101|>",
|
||
|
|
"<|control_102|>",
|
||
|
|
"<|control_103|>",
|
||
|
|
"<|control_104|>",
|
||
|
|
"<|control_105|>",
|
||
|
|
"<|control_106|>",
|
||
|
|
"<|control_107|>",
|
||
|
|
"<|control_108|>",
|
||
|
|
"<|control_109|>",
|
||
|
|
"<|control_110|>",
|
||
|
|
"<|control_111|>",
|
||
|
|
"<|control_112|>",
|
||
|
|
"<|control_113|>",
|
||
|
|
"<|control_114|>",
|
||
|
|
"<|control_115|>",
|
||
|
|
"<|control_116|>",
|
||
|
|
"<|control_117|>",
|
||
|
|
"<|control_118|>",
|
||
|
|
"<|control_119|>",
|
||
|
|
"<|control_120|>",
|
||
|
|
"<|control_121|>",
|
||
|
|
"<|control_122|>",
|
||
|
|
"<|control_123|>",
|
||
|
|
"<|control_124|>",
|
||
|
|
"<|control_125|>",
|
||
|
|
"<|control_126|>",
|
||
|
|
"<|control_127|>",
|
||
|
|
"<|control_128|>"
|
||
|
|
],
|
||
|
|
"bos_token": {
|
||
|
|
"content": "<s>",
|
||
|
|
"lstrip": false,
|
||
|
|
"normalized": false,
|
||
|
|
"rstrip": false,
|
||
|
|
"single_word": false
|
||
|
|
},
|
||
|
|
"eos_token": {
|
||
|
|
"content": "<|im_end|>",
|
||
|
|
"lstrip": false,
|
||
|
|
"normalized": false,
|
||
|
|
"rstrip": false,
|
||
|
|
"single_word": false
|
||
|
|
},
|
||
|
|
"pad_token": {
|
||
|
|
"content": "</s>",
|
||
|
|
"lstrip": false,
|
||
|
|
"normalized": false,
|
||
|
|
"rstrip": false,
|
||
|
|
"single_word": false
|
||
|
|
},
|
||
|
|
"unk_token": {
|
||
|
|
"content": "<unk>",
|
||
|
|
"lstrip": false,
|
||
|
|
"normalized": false,
|
||
|
|
"rstrip": false,
|
||
|
|
"single_word": false
|
||
|
|
}
|
||
|
|
}
|