2.9 KiB
2.9 KiB
base_model, datasets, language, library_name, license, tags, widget
| base_model | datasets | language | library_name | license | tags | widget | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
|
transformers | apache-2.0 |
|
|
🧬 Helix SCE 12B jh
retokenized chatml version of DarkArtsForge/Helix-SCE-12B
this was created using the command C:\mergekit-new>mergekit-tokensurgeon "B:\12B\HelixA-12B" "B:\12B\Vortex5--Prototype-X-12b" Helix-SCE-12B-jh --approximation-method john_hewitt
possibly smarter than the regular tekken version, testing is in progress
only a couple errors reported
note: safetensors are NOT identical, you will need to redownload all files to quantize
WARNING:root:This script is experimental and may produce unexpected results.
WARNING:mergekit.tokenizer.normalization:Unknown tokenizer type - assuming 'Ġ' word start prefix
WARNING:mergekit.tokenizer.normalization:Unknown tokenizer type - assuming 'Ġ' word start prefix
Approximating tokens: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:12<00:00, 12.33s/it]
Approximating tokens: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:12<00:00, 12.20s/it]
Saving weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 363/363 [00:34<00:00, 10.41it/s]