commit 9e8e81b4387971a0edb3de4e8fd49e97ec711cce Author: ModelHub XC Date: Tue May 26 01:58:16 2026 +0800 初始化项目，由ModelHub XC社区提供模型 Model: cosimoiaia/Loquace-7B-Mistral Source: Original Platform diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..a985589 --- /dev/null +++ b/.gitattributes @@ -0,0 +1,46 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +model-00002-of-00003.safetensors filter=lfs diff=lfs merge=lfs -text +model-00003-of-00003.safetensors filter=lfs diff=lfs merge=lfs -text +special_tokens_map.json filter=lfs diff=lfs merge=lfs -text +tokenizer.json filter=lfs diff=lfs merge=lfs -text +tokenizer.model filter=lfs diff=lfs merge=lfs -text +README.md filter=lfs diff=lfs merge=lfs -text +model-00001-of-00003.safetensors filter=lfs diff=lfs merge=lfs -text +model.safetensors.index.json filter=lfs diff=lfs merge=lfs -text +tokenizer_config.json filter=lfs diff=lfs merge=lfs -text +config.json filter=lfs diff=lfs merge=lfs -text +generation_config.json filter=lfs diff=lfs merge=lfs -text diff --git a/README.md b/README.md new file mode 100644 index 0000000..67d0ae5 --- /dev/null +++ b/README.md @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d21353e2f3fc997a9cab5bf70d77765929fd7573642be4242d3742400eeb583b +size 6417 diff --git a/Readme-ITA.md b/Readme-ITA.md new file mode 100644 index 0000000..d6a746f --- /dev/null +++ b/Readme-ITA.md @@ -0,0 +1,120 @@ +--- +license: apache-2.0 +datasets: +- cosimoiaia/Loquace-102k +language: +- it +tags: +- Italian +- Qlora +- Mistral +- finetuning +--- +Model Card per Loquace-7B-Mistral (Questa model card è stata tradotta automaticamente utilizzando Loquace.) + +# 🇮🇹 Loquace-7B-Mistral v0.1 🇮🇹 + +Loquace è una Intelligenza Artificiale (o un Large Language Model) che parla Italiano, addestrata per seguire istruzioni. 🇮🇹 + +Loquace-7B-Mistral ha alcune caratteristiche peculiari: + +- È abbastanza bravo a seguire istruzioni in Italiano. +- Risponde bene al prompt-engineering. +- Funziona bene in sistemi RAG (Retrival Augmented Generation). +- È stato addestrato su dati relativamente grezzi [Loquace-102K](https://huggingface.co/datasets/cosimoiaia/Loquace-102k) usando il metodo QLoRa e Mistral-7B-Instruct come modello di base. +- L'addestramento è durato solo 4 ore su una 3090, costando leggermente più di 1 euro! Sulle GPU di [Genesis Cloud](https://gnsiscld.co/26qhlf) +- È Veramente Open Source: Sia il modello che i dati e il codice con le istruzioni per replicare i risultati sono completamente disponibili. +- È stato creato in un garage del Sud Italia :-) + +I modelli LLM della famiglia Loquace sono stati creati con lo scopo di democratizzare l'Intelligenza Artificiale e i Large Language Models nel panorama Italiano. + + Non è necessario acquistare GPU costosi, ottenere finanziamenti grandiosi o essere un'istituzione accademica elitaria, basta scaricare il codice e addestrare sui tuoi dati sul tuo PC (o sulle GPU di un provider affidabile ed economico come [Genesis Cloud](https://gnsiscld.co/26qhlf) ) + +### Istruzioni per il Fine-tuning: +Il codice relativo al finetuning si trova su: +https://github.com/cosimoiaia/Loquace + +### Versione GGUF per l'utilizzo di CPU (Senza GPU!!!): +La versione 8bit di Loquace puo essere scaricata [qui](https://huggingface.co/cosimoiaia/Loquace-7B-Mistral-GGUF) + +Qui c'è una lista incompleta di programmi e librerie che sono conosciute per supportare GGUF (Grazie a [TheBloke](https://huggingface.co/TheBloke) per questa lista e per il suo fantastico lavoro): + +* [llama.cpp](https://github.com/ggerganov/llama.cpp). Il progetto primario per il formato GGUF. Fornisce un'interfaccia a riga di comando e una versione server. +* [text- generation-webui](https://github.com/oobabooga/text- generation-webui), L'interfaccia web più usata, con molte funzionalità ed estensioni. Supporta anche GPU locali. +* [KoboldCpp](https://github.com/LostRuins/koboldcpp), un'interfaccia utente Web completa, con accelerazione GPU su tutte le piattaforme e architetture GPU. Particolarmente adatto per raccontare storie. +* [LM Studio](https://lmstudio.ai/), una GUI locale potente e facile da usare per Windows e macOS (Silicon), con accelerazione GPU. +* [Interfaccia utente Web di LoLLMS](https://github.com/ParisNeo/lollms-webui), una fantastica interfaccia utente Web con molte funzionalità interessanti e uniche, inclusa una libreria di modelli completa per una facile selezione del modello. +* [Faraday.dev](https://faraday.dev/), una GUI di chat basata sui caratteri attraente e facile da usare per Windows e macOS (sia Silicon che Intel), con accelerazione GPU. +* [ctransformers](https://github.com/marella/ctransformers), una libreria Python con accelerazione GPU, supporto LangChain e server AI compatibile con OpenAI. +* [llama-cpp-python](https://github.com/abetlen/llama-cpp-python), una libreria Python con accelerazione GPU, supporto LangChain e server API compatibile con OpenAI. +* [candle](https://github.com/huggingface/candle), un framework Rust ML incentrato sulle prestazioni, incluso il supporto GPU e sulla facilità d'uso. + +#### Previous releases of the Loquace family: + +La Famiglia di Modelli Loquace è nata agli inizi del 2023 con lo scopo di provare che è possibile addestrare un LLM in una lingua diversa da quella del modello di base. +Potete trovare gli altri modelli qui: + +- https://huggingface.co/cosimoiaia/Loquace-70m - Based on pythia-70m +- https://huggingface.co/cosimoiaia/Loquace-410m - Based on pythia-410m +- https://huggingface.co/cosimoiaia/Loquace-7B - Based on Falcon-7B +- https://huggingface.co/cosimoiaia/Loquace-12B - Based on pythia-12B +- https://huggingface.co/cosimoiaia/Loquace-20B - Based on gpt-neox-20B + + +Questi modelli, seppur non producono risultati accettabili, sono la prova di quanto sia possibile effettuare il finetuning di un LLM in poco tempo, con dati relativamente grezzi e risorse veramente ridotte. + +## Utilizzo: + +```python +from transformers import MistralForCausalLM, AutoTokenizer + + +def generate_prompt(instruction): + prompt = f"""### Instruction: {instruction} + +### Response: +""" + return prompt + +model_name = "cosimoiaia/Loquace-7B-Mistral" + +model = MistralForCausalLM.from_pretrained( + model_name, + device_map="auto", + torch_dtype=torch.bfloat16 +) + +model.config.use_cache = True + + +tokenizer = AutoTokenizer.from_pretrained(model_name, add_eos_token=False) + +prompt = generate_prompt("Chi era Dante Alighieri?") +inputs = tokenizer(prompt, return_tensors="pt").to("cuda") + +outputs = model.generate(**inputs, do_sample = True, num_beams = 2, top_k=50, top_p= 0.95, max_new_tokens=2046, early_stopping = True) +print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[1].strip()) +``` + +## Esempi di risposta: +``` +> Pretendi di essere Dante Alighieri e raccontami la tua vita. + Sono Dante Alighieri, un poeta e scrittore italiano del XIV secolo. Nacqui a Firenze nel 1265 e ho trascorso gran parte della mia vita viaggiando in Europa e scrivendo poesie. Ho anche scritto la Divina Commedia, una delle opere letterarie più famose di tutti i tempi. + +> Quanto fa 7 x 14 - 98 ? + 7 x 14 = 98, quindi la risposta è 0. + +> La radice quadrata di 144 ? + La radice quadrata di 144 è 12. + +> Inventa una ricetta pugliese con la polenta. + La ricetta è chiamata "Polenta al burro di arachidi e formaggio". Per prepararla, inizia bollendo la polenta secondo le istruzioni sulla confezione. Mentre la polenta si cucina, mescola insieme 1/2 tazza di burro di arachidi, 1/4 di tazza di formaggio grattugiato e 1/4 di tazza di parmigiano grattugiato. Una volta che la polenta è cotta, versala su una teglia da forno e distribuire il composto di burro di arachidi e formaggio sopra la polenta. Metti in forno a 350 gradi per 15 minuti o fino a quando la parte superiore è dorata. Servi caldo con un'insalata di pomodoro e basilico fresco. +``` + +## Limitazioni: + +- Loquace-7B potrebbe non gestire bene query complesse o sfumate e potrebbe avere problemi con input ambigui o mal formattati. +- Il modello può generare risposte di fatto errate o prive di senso. Dovrebbe essere usato con cautela e gli output dovrebbero essere attentamente verificati. + +## Autore: +Cosimo Iaia diff --git a/config.json b/config.json new file mode 100644 index 0000000..67209ab --- /dev/null +++ b/config.json @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ad82b4c6bdf8122c58dab46eafdd1e81939a23bb9215bb7937af937b573fcc1e +size 729 diff --git a/generation_config.json b/generation_config.json new file mode 100644 index 0000000..5220938 --- /dev/null +++ b/generation_config.json @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:40e6ecbcedfc2b67b7fa8ba37216c9546c18c00242020b2b34f0b58c3558f680 +size 116 diff --git a/model-00001-of-00003.safetensors b/model-00001-of-00003.safetensors new file mode 100644 index 0000000..16b0e1a --- /dev/null +++ b/model-00001-of-00003.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:164d4476fb710689a8cfd79cda61994523827afaf8591aa63616bb9c2ca0c1f5 +size 4943162240 diff --git a/model-00002-of-00003.safetensors b/model-00002-of-00003.safetensors new file mode 100644 index 0000000..f23b5b8 --- /dev/null +++ b/model-00002-of-00003.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:75521549ae11751db820c0b8955b2457fc44a91709b1c527e3649f026033aed2 +size 4999819232 diff --git a/model-00003-of-00003.safetensors b/model-00003-of-00003.safetensors new file mode 100644 index 0000000..05c9096 --- /dev/null +++ b/model-00003-of-00003.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:aebd5e2410c933c34bfe24b7e465c32eb3fda403664318adcda324e38e83af16 +size 4540516256 diff --git a/model.safetensors.index.json b/model.safetensors.index.json new file mode 100644 index 0000000..c8e3b4f --- /dev/null +++ b/model.safetensors.index.json @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a84fdfb94dda41f43767e02136d30bd102ef33c2d996218628cbd906b33e7dfb +size 23950 diff --git a/special_tokens_map.json b/special_tokens_map.json new file mode 100644 index 0000000..8845772 --- /dev/null +++ b/special_tokens_map.json @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6fa06efa2785e450051989a6f8fb4416b10149ded485ddd3f127a40734f5cfd0 +size 414 diff --git a/tokenizer.json b/tokenizer.json new file mode 100644 index 0000000..61607de --- /dev/null +++ b/tokenizer.json @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:fc4f0bd70b3709312d9d1d9e5ba674794b6bc5abc17429897a540f93882f25fc +size 1795303 diff --git a/tokenizer.model b/tokenizer.model new file mode 100644 index 0000000..8b443ef --- /dev/null +++ b/tokenizer.model @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:dadfd56d766715c61d2ef780a525ab43b8e6da4de6865bda3d95fdef5e134055 +size 493443 diff --git a/tokenizer_config.json b/tokenizer_config.json new file mode 100644 index 0000000..1431c23 --- /dev/null +++ b/tokenizer_config.json @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cac26b20a968b2e3cfbe92bdf5623e84c31de6abc82109336018f8ac214a51d9 +size 1466