From 22ed7cd141a1fcce763f49173b705bb386e9c440 Mon Sep 17 00:00:00 2001 From: ModelHub XC Date: Sun, 21 Jun 2026 11:32:13 +0800 Subject: [PATCH] =?UTF-8?q?=E5=88=9D=E5=A7=8B=E5=8C=96=E9=A1=B9=E7=9B=AE?= =?UTF-8?q?=EF=BC=8C=E7=94=B1ModelHub=20XC=E7=A4=BE=E5=8C=BA=E6=8F=90?= =?UTF-8?q?=E4=BE=9B=E6=A8=A1=E5=9E=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Model: QuantFactory/Llama-3.1-8B-EZO-1.1-it-GGUF Source: Original Platform --- .gitattributes | 49 +++++++++ Llama-3.1-8B-EZO-1.1-it.Q2_K.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q3_K_L.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q3_K_M.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q3_K_S.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q4_0.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q4_1.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q4_K_M.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q4_K_S.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q5_0.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q5_1.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q5_K_M.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q5_K_S.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q6_K.gguf | 3 + Llama-3.1-8B-EZO-1.1-it.Q8_0.gguf | 3 + README.md | 160 ++++++++++++++++++++++++++++ configuration.json | 1 + 17 files changed, 252 insertions(+) create mode 100644 .gitattributes create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q2_K.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q3_K_L.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q3_K_M.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q3_K_S.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q4_0.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q4_1.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q4_K_M.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q4_K_S.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q5_0.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q5_1.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q5_K_M.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q5_K_S.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q6_K.gguf create mode 100644 Llama-3.1-8B-EZO-1.1-it.Q8_0.gguf create mode 100644 README.md create mode 100644 configuration.json diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..616da5b --- /dev/null +++ b/.gitattributes @@ -0,0 +1,49 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q4_1.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q4_0.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q8_0.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q6_K.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q5_0.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q5_1.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q3_K_L.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Llama-3.1-8B-EZO-1.1-it.Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/Llama-3.1-8B-EZO-1.1-it.Q2_K.gguf b/Llama-3.1-8B-EZO-1.1-it.Q2_K.gguf new file mode 100644 index 0000000..3b042b7 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:4cefa01883cd88353b8675826019fd884aa4fab6e8e196b0c9134efdec59ca9f +size 3179136064 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q3_K_L.gguf b/Llama-3.1-8B-EZO-1.1-it.Q3_K_L.gguf new file mode 100644 index 0000000..cb1ce92 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q3_K_L.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:eab685fd23126879bf718ef5542507e0a9acbaafae2dddb3d13cfa4e547bc44e +size 4321961024 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q3_K_M.gguf b/Llama-3.1-8B-EZO-1.1-it.Q3_K_M.gguf new file mode 100644 index 0000000..0662ddb --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q3_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:13ec7caa773a68c09fd171b81c7b6e0b4a5b694a28595423a17585c5e42410a7 +size 4018922560 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q3_K_S.gguf b/Llama-3.1-8B-EZO-1.1-it.Q3_K_S.gguf new file mode 100644 index 0000000..0554d6e --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q3_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ede68272d96cad8e99ec2b3c88db4679cbf0edad12389afb08b4a4ce7b2c60d3 +size 3664503872 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q4_0.gguf b/Llama-3.1-8B-EZO-1.1-it.Q4_0.gguf new file mode 100644 index 0000000..55daded --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q4_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:476377bf3c19b1a0cdb2aad7c129c7ac855942291010bb223f94a90a99fd8827 +size 4661216320 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q4_1.gguf b/Llama-3.1-8B-EZO-1.1-it.Q4_1.gguf new file mode 100644 index 0000000..b61a1e7 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q4_1.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ee37083c627b95483b0d161f5f76d06e6157406af73647e92808dc23b5dbbddc +size 5130257472 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q4_K_M.gguf b/Llama-3.1-8B-EZO-1.1-it.Q4_K_M.gguf new file mode 100644 index 0000000..0eda741 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f2326e943854b0fcb7efc062bfdcfb3e51b674e3bdb387f73f19bc642fc31bba +size 4920738880 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q4_K_S.gguf b/Llama-3.1-8B-EZO-1.1-it.Q4_K_S.gguf new file mode 100644 index 0000000..aa301da --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q4_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:309746d31aacd24d2bdb8bbed49cd9f2d650ced088ee3fb7032e892b5242b718 +size 4692673600 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q5_0.gguf b/Llama-3.1-8B-EZO-1.1-it.Q5_0.gguf new file mode 100644 index 0000000..18c66f4 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q5_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7e9ec6bf72cea981632755b5d3f4d6aff04e5d4e01b65e80b5e62c7ea622e5b8 +size 5599298624 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q5_1.gguf b/Llama-3.1-8B-EZO-1.1-it.Q5_1.gguf new file mode 100644 index 0000000..7b302ba --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q5_1.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7e386488c041ebcabfe50d62d78b06458dd8605bda8b1bc10816b4d51a2f3583 +size 6068339776 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q5_K_M.gguf b/Llama-3.1-8B-EZO-1.1-it.Q5_K_M.gguf new file mode 100644 index 0000000..9c93d30 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q5_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1e450688ff96c91cc972a88a00ec6c373589769ee91aca58f564ab5511a4be45 +size 5732992064 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q5_K_S.gguf b/Llama-3.1-8B-EZO-1.1-it.Q5_K_S.gguf new file mode 100644 index 0000000..771a28a --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q5_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9d6e8b57bd5510b8f8e56e9f2aff422c394ee19cd570dbb9095083f51975d50f +size 5599298624 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q6_K.gguf b/Llama-3.1-8B-EZO-1.1-it.Q6_K.gguf new file mode 100644 index 0000000..0cda6b5 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q6_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f60635e720172e9a43fd1e120778cbfe488d48aa7d965264580aa44326255ec1 +size 6596011072 diff --git a/Llama-3.1-8B-EZO-1.1-it.Q8_0.gguf b/Llama-3.1-8B-EZO-1.1-it.Q8_0.gguf new file mode 100644 index 0000000..2344709 --- /dev/null +++ b/Llama-3.1-8B-EZO-1.1-it.Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9d9706587f8e62fa4283becdbba22805a7011b4b008e4d8d037acdab16086af7 +size 8540775488 diff --git a/README.md b/README.md new file mode 100644 index 0000000..d978dce --- /dev/null +++ b/README.md @@ -0,0 +1,160 @@ + +--- + +language: +- ja +- en +license: llama3.1 +library_name: transformers +pipeline_tag: text-generation +tags: +- llama +- japanese + +--- + +![](https://lh7-rt.googleusercontent.com/docsz/AD_4nXeiuCm7c8lEwEJuRey9kiVZsRn2W-b4pWlu3-X534V3YmVuVc2ZL-NXg2RkzSOOS2JXGHutDuyyNAUtdJI65jGTo8jT9Y99tMi4H4MqL44Uc5QKG77B0d6-JfIkZHFaUA71-RtjyYZWVIhqsNZcx8-OMaA?key=xt3VSDoCbmTY7o-cwwOFwQ) + +# QuantFactory/Llama-3.1-8B-EZO-1.1-it-GGUF +This is quantized version of [HODACHI/Llama-3.1-8B-EZO-1.1-it](https://huggingface.co/HODACHI/Llama-3.1-8B-EZO-1.1-it) created using llama.cpp + +# Original Model Card + + +# [Llama-3.1-8B-EZO-1.1-it] Model Card + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/657e900beaad53ff67ba84db/VXfxBWOGMiAsQIOM0GGFE.png) + +## モデル情報 / Model Information + +このモデルは、Meta AI の Llama 3.1 をベースに、日本語タスクでの性能を向上させるためにファインチューニングを行ったものです。 +ベースとなるLlama-3.1-8B-Instructから大幅な日本語性能向上を達成しました。 + +This model is based on Meta AI's Llama 3.1 with fine tuning to improve performance on Japanese tasks. +Significant Japanese language performance improvement was achieved from the base Llama-3.1-8B-Instruct. + +### 推奨される使用ガイドライン / Recommended Usage Guidelines + +1. **商用利用**: 本モデルを商用目的で使用する場合、info@axcxept.com へのメール連絡を強く推奨します。これにより、モデルの応用や改善についての協力の機会が生まれる可能性があります。 + +2. **クレジット表記**: 本モデルを使用または改変する際は、以下のようなクレジット表記を行うことを推奨します： + "This project utilizes HODACHI/Llama-3.1-8B-EZO-1.1-it, a model based on Llama 3.1 and fine-tuned by Axcxept co., ltd." + +3. **フィードバック**: モデルの使用経験に関するフィードバックを歓迎します。info@axcxept.com までご連絡ください。 + +これらは推奨事項であり、法的要件ではありません。本モデルの使用は主に Llama 3.1 Community License Agreement に準拠します。 + +1. **Commercial Use**: If you plan to use this model for commercial purposes, we strongly encourage you to inform us via email at info@axcxept.com. This allows for potential collaboration on model applications and improvements. + +2. **Attribution**: When using or adapting this model, we recommend providing attribution as follows: + "This project utilizes HODACHI/Llama-3.1-8B-EZO-1.1-it, a model based on Llama 3.1 and fine-tuned by Axcxept co., ltd." + +3. **Feedback**: We welcome any feedback on your experience with the model. Please feel free to email us at info@axcxept.com. + +Please note that these are recommendations and not legal requirements. Your use of this model is primarily governed by the Llama 3.1 Community License Agreement. + +## 法的通知 / Legal Notice + +This model is subject to the Llama 3.1 Community License Agreement. For detailed information, please refer to the official Llama license page: [Llama 3.1 License](https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE) + +このモデルは Llama 3.1 Community License Agreement に従います。詳細については、Llama の公式ライセンスページをご参照ください。 + +## 使用方法 / Usage + + +```python +import transformers +import torch + +model_id = "HODACHI/Llama-3.1-8B-EZO-1.1-it" + +pipeline = transformers.pipeline( + "text-generation", + model=model_id, + model_kwargs={"torch_dtype": torch.bfloat16}, + device_map="auto", +) + +messages = [ + {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。特に指示が無い場合は、原則日本語で回答してください。"}, + {"role": "user", "content": "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"}, +] + +outputs = pipeline( + messages, + max_new_tokens=512, +) +print(outputs[0]["generated_text"][-1]) +``` + +## ベンチマーク結果 / Benchmark Results + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/657e900beaad53ff67ba84db/LnhHfmz_5AaMgpLtIyMAm.png) + +## 制限事項と倫理的考慮事項 / Limitations and Ethical Considerations + +本モデルは、Llama 3.1をベースにしているため、同様の制限事項と倫理的考慮事項が適用されます： + +1. **予測不可能な出力**: 全てのLLMと同様に、本モデルの潜在的な出力を事前に予測することはできません。場合によっては、不正確、偏見のある、あるいは問題のある応答を生成する可能性があります。 + +2. **安全性テストの必要性**: 開発者は、本モデルを用いたアプリケーションをデプロイする前に、特定のアプリケーションに合わせた安全性テストとチューニングを実施する必要があります。 + +3. **マルチリンガル対応**: 本モデルは複数の言語をサポートしていますが、サポートされていない言語での使用は推奨されません。サポートされていない言語で使用する場合は、適切な方針に沿ったファインチューニングとシステム制御を実装する必要があります。 + +4. **新しい技術としてのリスク**: 本モデルは新しい技術であり、他の新技術と同様に、その使用にはリスクが伴います。これまでのテストではすべてのシナリオをカバーしていない可能性があります。 + +5. **継続的な改善の必要性**: コミュニティからのフィードバックや報告メカニズムを通じて、モデルの継続的な改善が必要です。 + +開発者と使用者は、これらの制限事項を認識し、責任ある使用を心がけることが重要です。詳細については、Llama 3.1の[Responsible Use Guide](https://llama.meta.com/responsible-use-guide/)を参照してください。 + +This model, being based on Llama 3.1, carries similar limitations and ethical considerations: + +1. **Unpredictable Outputs**: Like all LLMs, this model's potential outputs cannot be predicted in advance. It may sometimes generate inaccurate, biased, or problematic responses. + +2. **Need for Safety Testing**: Developers should perform safety testing and tuning tailored to their specific applications before deploying any applications using this model. + +3. **Multilingual Considerations**: While this model supports multiple languages, use in non-supported languages is not recommended without implementing fine-tuning and system controls aligned with appropriate policies. + +4. **Risks as New Technology**: This model represents new technology and, like any new technology, there are risks associated with its use. Testing to date may not have covered all scenarios. + +5. **Need for Continuous Improvement**: Continuous improvement of the model is necessary through community feedback and reporting mechanisms. + +It's crucial for developers and users to be aware of these limitations and strive for responsible use. For more information, please refer to the Llama 3.1 [Responsible Use Guide](https://llama.meta.com/responsible-use-guide/). + +### [Model Data] +#### Training Dataset] +We extracted high-quality data from Japanese Wikipedia and FineWeb to create instruction data. Our innovative training approach allows for performance improvements across various languages and domains, making the model suitable for global use despite its focus on Japanese data. + +日本語のWikiデータおよび、FineWebから良質なデータのみを抽出し、Instructionデータを作成しました。このモデルでは日本語に特化させていますが、世界中のどんなユースケースでも利用可能なアプローチです。 + +https://huggingface.co/datasets/legacy-datasets/wikipedia +https://huggingface.co/datasets/HuggingFaceFW/fineweb + +#### Data Preprocessing +We used a plain instruction tuning method to train the model on exemplary responses. This approach enhances the model's ability to understand and generate high-quality responses across various languages and contexts. + +プレインストラクトチューニング手法+QLoRAを用いて、模範的回答を学習させました。この手法により、モデルは様々な言語やコンテキストにおいて高品質な応答を理解し生成する能力が向上しています。 + +#### Implementation Information +[Pre-Instruction Training] + +https://huggingface.co/instruction-pretrain/instruction-synthesizer + +### [Disclaimer] +このモデルは研究開発のみを目的として提供されるものであり、実験的なプロトタイプとみなされるべきモデルです。 +商業的な使用やミッションクリティカルな環境への配備を意図したものではありません。 +本モデルの使用は、使用者の責任において行われるものとし、その性能および結果は保証されません。 +Axcxept株式会社は、直接的、間接的、特別、偶発的、結果的な損害、または本モデルの使用から生じるいかなる損失に対しても、得られた結果にかかわらず、一切の責任を負いません。 +利用者は、本モデルの使用に伴うリスクを十分に理解し、自己の判断で使用するものとします。 + +### [Hardware] +H100 × 1(Running in 8h) + +### [We are.] +[![Axcxept logo](https://cdn-uploads.huggingface.co/production/uploads/657e900beaad53ff67ba84db/8OKW86U986ywttvL2RcbG.png)](https://axcxept.com) + +## クレジット / Credits + +This model is based on Meta AI's Llama 3.1. We acknowledge and thank the Meta AI team for their work on the base model. + +このモデルは Meta AI の Llama 3.1 をベースにしています。ベースモデルの開発に携わった Meta AI チームに感謝いたします。 diff --git a/configuration.json b/configuration.json new file mode 100644 index 0000000..9e26dfe --- /dev/null +++ b/configuration.json @@ -0,0 +1 @@ +{} \ No newline at end of file