215 lines
4.3 KiB
JSON
215 lines
4.3 KiB
JSON
|
|
{
|
||
|
|
"additional_special_tokens": [
|
||
|
|
"<|im_start|>",
|
||
|
|
"<|im_end|>",
|
||
|
|
"<|extra_0|>",
|
||
|
|
"<|extra_1|>",
|
||
|
|
"<|extra_2|>",
|
||
|
|
"<|extra_3|>",
|
||
|
|
"<|extra_4|>",
|
||
|
|
"<|extra_5|>",
|
||
|
|
"<|extra_6|>",
|
||
|
|
"<|extra_7|>",
|
||
|
|
"<|extra_8|>",
|
||
|
|
"<|extra_9|>",
|
||
|
|
"<|extra_10|>",
|
||
|
|
"<|extra_11|>",
|
||
|
|
"<|extra_12|>",
|
||
|
|
"<|extra_13|>",
|
||
|
|
"<|extra_14|>",
|
||
|
|
"<|extra_15|>",
|
||
|
|
"<|extra_16|>",
|
||
|
|
"<|extra_17|>",
|
||
|
|
"<|extra_18|>",
|
||
|
|
"<|extra_19|>",
|
||
|
|
"<|extra_20|>",
|
||
|
|
"<|extra_21|>",
|
||
|
|
"<|extra_22|>",
|
||
|
|
"<|extra_23|>",
|
||
|
|
"<|extra_24|>",
|
||
|
|
"<|extra_25|>",
|
||
|
|
"<|extra_26|>",
|
||
|
|
"<|extra_27|>",
|
||
|
|
"<|extra_28|>",
|
||
|
|
"<|extra_29|>",
|
||
|
|
"<|extra_30|>",
|
||
|
|
"<|extra_31|>",
|
||
|
|
"<|extra_32|>",
|
||
|
|
"<|extra_33|>",
|
||
|
|
"<|extra_34|>",
|
||
|
|
"<|extra_35|>",
|
||
|
|
"<|extra_36|>",
|
||
|
|
"<|extra_37|>",
|
||
|
|
"<|extra_38|>",
|
||
|
|
"<|extra_39|>",
|
||
|
|
"<|extra_40|>",
|
||
|
|
"<|extra_41|>",
|
||
|
|
"<|extra_42|>",
|
||
|
|
"<|extra_43|>",
|
||
|
|
"<|extra_44|>",
|
||
|
|
"<|extra_45|>",
|
||
|
|
"<|extra_46|>",
|
||
|
|
"<|extra_47|>",
|
||
|
|
"<|extra_48|>",
|
||
|
|
"<|extra_49|>",
|
||
|
|
"<|extra_50|>",
|
||
|
|
"<|extra_51|>",
|
||
|
|
"<|extra_52|>",
|
||
|
|
"<|extra_53|>",
|
||
|
|
"<|extra_54|>",
|
||
|
|
"<|extra_55|>",
|
||
|
|
"<|extra_56|>",
|
||
|
|
"<|extra_57|>",
|
||
|
|
"<|extra_58|>",
|
||
|
|
"<|extra_59|>",
|
||
|
|
"<|extra_60|>",
|
||
|
|
"<|extra_61|>",
|
||
|
|
"<|extra_62|>",
|
||
|
|
"<|extra_63|>",
|
||
|
|
"<|extra_64|>",
|
||
|
|
"<|extra_65|>",
|
||
|
|
"<|extra_66|>",
|
||
|
|
"<|extra_67|>",
|
||
|
|
"<|extra_68|>",
|
||
|
|
"<|extra_69|>",
|
||
|
|
"<|extra_70|>",
|
||
|
|
"<|extra_71|>",
|
||
|
|
"<|extra_72|>",
|
||
|
|
"<|extra_73|>",
|
||
|
|
"<|extra_74|>",
|
||
|
|
"<|extra_75|>",
|
||
|
|
"<|extra_76|>",
|
||
|
|
"<|extra_77|>",
|
||
|
|
"<|extra_78|>",
|
||
|
|
"<|extra_79|>",
|
||
|
|
"<|extra_80|>",
|
||
|
|
"<|extra_81|>",
|
||
|
|
"<|extra_82|>",
|
||
|
|
"<|extra_83|>",
|
||
|
|
"<|extra_84|>",
|
||
|
|
"<|extra_85|>",
|
||
|
|
"<|extra_86|>",
|
||
|
|
"<|extra_87|>",
|
||
|
|
"<|extra_88|>",
|
||
|
|
"<|extra_89|>",
|
||
|
|
"<|extra_90|>",
|
||
|
|
"<|extra_91|>",
|
||
|
|
"<|extra_92|>",
|
||
|
|
"<|extra_93|>",
|
||
|
|
"<|extra_94|>",
|
||
|
|
"<|extra_95|>",
|
||
|
|
"<|extra_96|>",
|
||
|
|
"<|extra_97|>",
|
||
|
|
"<|extra_98|>",
|
||
|
|
"<|extra_99|>",
|
||
|
|
"<|extra_100|>",
|
||
|
|
"<|extra_101|>",
|
||
|
|
"<|extra_102|>",
|
||
|
|
"<|extra_103|>",
|
||
|
|
"<|extra_104|>",
|
||
|
|
"<|extra_105|>",
|
||
|
|
"<|extra_106|>",
|
||
|
|
"<|extra_107|>",
|
||
|
|
"<|extra_108|>",
|
||
|
|
"<|extra_109|>",
|
||
|
|
"<|extra_110|>",
|
||
|
|
"<|extra_111|>",
|
||
|
|
"<|extra_112|>",
|
||
|
|
"<|extra_113|>",
|
||
|
|
"<|extra_114|>",
|
||
|
|
"<|extra_115|>",
|
||
|
|
"<|extra_116|>",
|
||
|
|
"<|extra_117|>",
|
||
|
|
"<|extra_118|>",
|
||
|
|
"<|extra_119|>",
|
||
|
|
"<|extra_120|>",
|
||
|
|
"<|extra_121|>",
|
||
|
|
"<|extra_122|>",
|
||
|
|
"<|extra_123|>",
|
||
|
|
"<|extra_124|>",
|
||
|
|
"<|extra_125|>",
|
||
|
|
"<|extra_126|>",
|
||
|
|
"<|extra_127|>",
|
||
|
|
"<|extra_128|>",
|
||
|
|
"<|extra_129|>",
|
||
|
|
"<|extra_130|>",
|
||
|
|
"<|extra_131|>",
|
||
|
|
"<|extra_132|>",
|
||
|
|
"<|extra_133|>",
|
||
|
|
"<|extra_134|>",
|
||
|
|
"<|extra_135|>",
|
||
|
|
"<|extra_136|>",
|
||
|
|
"<|extra_137|>",
|
||
|
|
"<|extra_138|>",
|
||
|
|
"<|extra_139|>",
|
||
|
|
"<|extra_140|>",
|
||
|
|
"<|extra_141|>",
|
||
|
|
"<|extra_142|>",
|
||
|
|
"<|extra_143|>",
|
||
|
|
"<|extra_144|>",
|
||
|
|
"<|extra_145|>",
|
||
|
|
"<|extra_146|>",
|
||
|
|
"<|extra_147|>",
|
||
|
|
"<|extra_148|>",
|
||
|
|
"<|extra_149|>",
|
||
|
|
"<|extra_150|>",
|
||
|
|
"<|extra_151|>",
|
||
|
|
"<|extra_152|>",
|
||
|
|
"<|extra_153|>",
|
||
|
|
"<|extra_154|>",
|
||
|
|
"<|extra_155|>",
|
||
|
|
"<|extra_156|>",
|
||
|
|
"<|extra_157|>",
|
||
|
|
"<|extra_158|>",
|
||
|
|
"<|extra_159|>",
|
||
|
|
"<|extra_160|>",
|
||
|
|
"<|extra_161|>",
|
||
|
|
"<|extra_162|>",
|
||
|
|
"<|extra_163|>",
|
||
|
|
"<|extra_164|>",
|
||
|
|
"<|extra_165|>",
|
||
|
|
"<|extra_166|>",
|
||
|
|
"<|extra_167|>",
|
||
|
|
"<|extra_168|>",
|
||
|
|
"<|extra_169|>",
|
||
|
|
"<|extra_170|>",
|
||
|
|
"<|extra_171|>",
|
||
|
|
"<|extra_172|>",
|
||
|
|
"<|extra_173|>",
|
||
|
|
"<|extra_174|>",
|
||
|
|
"<|extra_175|>",
|
||
|
|
"<|extra_176|>",
|
||
|
|
"<|extra_177|>",
|
||
|
|
"<|extra_178|>",
|
||
|
|
"<|extra_179|>",
|
||
|
|
"<|extra_180|>",
|
||
|
|
"<|extra_181|>",
|
||
|
|
"<|extra_182|>",
|
||
|
|
"<|extra_183|>",
|
||
|
|
"<|extra_184|>",
|
||
|
|
"<|extra_185|>",
|
||
|
|
"<|extra_186|>",
|
||
|
|
"<|extra_187|>",
|
||
|
|
"<|extra_188|>",
|
||
|
|
"<|extra_189|>",
|
||
|
|
"<|extra_190|>",
|
||
|
|
"<|extra_191|>",
|
||
|
|
"<|extra_192|>",
|
||
|
|
"<|extra_193|>",
|
||
|
|
"<|extra_194|>",
|
||
|
|
"<|extra_195|>",
|
||
|
|
"<|extra_196|>",
|
||
|
|
"<|extra_197|>",
|
||
|
|
"<|extra_198|>",
|
||
|
|
"<|extra_199|>",
|
||
|
|
"<|extra_200|>",
|
||
|
|
"<|extra_201|>",
|
||
|
|
"<|extra_202|>",
|
||
|
|
"<|extra_203|>",
|
||
|
|
"<|extra_204|>"
|
||
|
|
],
|
||
|
|
"bos_token": "<|endoftext|>",
|
||
|
|
"eos_token": "<|endoftext|>",
|
||
|
|
"unk_token": "<|endoftext|>"
|
||
|
|
}
|