初始化项目，由ModelHub XC社区提供模型

Model: langboat/Mengzi3-8B-Base
Source: Original Platform

.gitattributes

@@ -0,0 +1,34 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bin.* filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zstandard filter=lfs diff=lfs merge=lfs -text
+*.tfevents* filter=lfs diff=lfs merge=lfs -text
+*.db* filter=lfs diff=lfs merge=lfs -text
+*.ark* filter=lfs diff=lfs merge=lfs -text
+**/*ckpt*data* filter=lfs diff=lfs merge=lfs -text
+**/*ckpt*.meta filter=lfs diff=lfs merge=lfs -text
+**/*ckpt*.index filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,96 @@
+---
+frameworks:
+- Pytorch
+license: Apache License 2.0
+tasks:
+- text-generation
+
+#model-type:
+##如 gpt、phi、llama、chatglm、baichuan 等
+#- gpt
+
+#domain:
+##如 nlp、cv、audio、multi-modal
+#- nlp
+
+#language:
+##语言代码列表 https://help.aliyun.com/document_detail/215387.html?spm=a2c4g.11186623.0.0.9f8d7467kni6Aa
+#- cn 
+
+#metrics:
+##如 CIDEr、Blue、ROUGE 等
+#- CIDEr
+
+#tags:
+##各种自定义，包括 pretrained、fine-tuned、instruction-tuned、RL-tuned 等训练方法和其他
+#- pretrained
+
+#tools:
+##如 vllm、fastchat、llamacpp、AdaSeq 等
+#- vllm
+---
+# Mengzi3-8B
+
+以创新为引擎，驱动 AI 生态的可持续发展！
+
+在 Mengzi3-13B 大模型 3 月底开源后不久，澜舟科技全新推出的又一款轻量化大模型——Mengzi3-8B，现已正式开源！并同样支持免费商用。这款模型在多个应用场景中，包括写作、代码、摘要以及阅读理解等，均展现出与 Mengzi3-13B 相媲美的性能，而模型参数规模更为精简，更适合个人开发者和 AI 爱好者使用。
+
+Mengzi3-8B 适用于多种自然语言处理任务，主要包括：
+
+- 文本生成：能够轻松产出高质量、多样化的中文文本内容，涵盖写作，摘要，问答，翻译，阅读理解等多种文本生成场景；
+- 对话系统：为用户提供高效、智能的交互体验，让对话更加流畅自然；
+- 代码生成：协助开发者提升编码效率，激发创新灵感。
+
+### 核心优势
+
+- 低显存高推理，具备更高效能
+
+Mengzi3-8B 是一款高效、低显存需求的 AI 大模型，半精度下显存占用小于 16G，适用于 PC（如 MacBook）和大部分消费级显卡（如 RTX 4090、RTX 4080、RTX 4070Ti）。此外，Mengzi3-8B 的原生推理速度在同级别模型中处于领先地位，特别适合个人开发者和 AI 爱好者使用，真正实现了高效、低成本的 AI 体验。
+
+![](static/ATZpb67dooTt6NxlRyKcoYkrnze.png)
+
+- 知识处理效果卓越
+
+Mengzi3-8B 在中文能力（CMMLU）、英语、世界知识（MMLU）、编程及数学等多个领域的知识处理和问题解决能力中，均显著超越同尺寸开源模型，展现出全面的领先实力。
+
+| **评测集**    | **Mengzi3-8B-Base** | **Mistral-7B** | **Llama3-8B** | **Baichuan2-7B** | **Yi-1.5-9B** | **Qwen1.5-7B** |
+| ------------- | ------------------- | -------------- | ------------- | ---------------- | ------------- | -------------- |
+| **MMLU**      | 73.67               | 64.1           | 66.6          | 54.16            | 69.5          | 61.0           |
+| **CMMLU**     | 77.54               | 44.7           | 49.21         | 57.07            | 74.8          | 73.1           |
+| **GSM8K**     | 76.29               | 47.5           | 50.04         | 9.17             | 73.7          | 62.5           |
+| **HUMANEVAL** | 48.78               | 27.4           | 36.59         | 9.20             | 41.4          | 36.0           |
+| **MBPP**      | 43.20               | 38.6           | 34.2          | 6.60             | 61.1          | 37.4           |
+
+### 使用指南
+
+**开源地址**：
+
+欢迎大家访问 Mengzi3-8B 的开源仓库以获取更多信息并下载使用，体验其强大的功能。
+
+- Huggingface: [https://huggingface.co/Langboat/Mengzi3-8B-Base](https://huggingface.co/Langboat/Mengzi3-8B-Base)
+- ModelScope: [https://www.modelscope.cn/models/langboat/Mengzi3-8B-Base/summary](https://www.modelscope.cn/models/langboat/Mengzi3-8B-Base/summary)
+
+**快速开始：**
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+tokenizer = AutoTokenizer.from_pretrained("Langboat/Mengzi3-8B-Base", use_fast=False, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained("Langboat/Mengzi3-8B-Base", device_map="auto", trust_remote_code=True)
+inputs = tokenizer('输入：介绍一下孟子。输出：', return_tensors='pt')
+if torch.cuda.is_available():
+    inputs = inputs.to('cuda')
+pred = model.generate(**inputs, max_new_tokens=512, repetition_penalty=1.01, eos_token_id=tokenizer.eos_token_id)
+print(tokenizer.decode(pred[0], skip_special_tokens=True))
+"""孟子（约公元前372年—约公元前289年），名轲，字子舆，战国时期邹国人，伟大的思想家、教育家，儒家学派的代表人物，与孔子并称“孔孟”。孟子继承和发展了孔子的思想，成为仅次于孔子的一代儒家宗师，对后世中国文化的影
+响全面而巨大，有“亚圣”之称，与孔子合称为“孔孟”。"""
+```
+
+我们很诚挚地邀请各位 AI 开发者和爱好者体验使用 Mengzi3-8B 模型，如在使用过程中遇到任何问题或希望给予宝贵的反馈，请随时与我们联系。对于企业用户，对稳定性和模型参数量有更高需求的，建议了解 [Mengzi3-13B](https://github.com/Langboat/Mengzi3)。
+
+大模型的开源不仅为 AI 创新注入了新的活力，更在不断完善开源生态的进程中发挥着关键作用。我们希望能在推动技术创新、促进业务场景应用、完善数字经济与开源生态等方面积极贡献，以期更好地应对未来 AI 技术的挑战，共同推动行业的持续进步和发展。
+
+**👇 扫码加入孟子开源社区微信群**
+
+![](static/U6B5bCHmaosqmxx7dW3cax9Qnob.png)

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "/cephfs/yueli/work/yueli/models/test/Meta-Llama-3-8B/",
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 128000,
+  "eos_token_id": 128001,
+  "hidden_act": "silu",
+  "hidden_size": 4096,
+  "initializer_range": 0.02,
+  "intermediate_size": 14336,
+  "max_position_embeddings": 8192,
+  "model_type": "llama",
+  "num_attention_heads": 32,
+  "num_hidden_layers": 32,
+  "num_key_value_heads": 8,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-05,
+  "rope_scaling": null,
+  "rope_theta": 500000.0,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.39.3",
+  "use_cache": true,
+  "vocab_size": 128256
+}

configuration.json

@@ -0,0 +1 @@
+{"framework":"Pytorch","task":"text-generation"}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 128000,
+  "eos_token_id": 128001,
+  "transformers_version": "4.39.3"
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bceb64cf65af3c840f1758ed58ef7f04781dd496c1c7930046d7df9821c0e28a
+size 16060619562

special_tokens_map.json

@@ -0,0 +1,16 @@
+{
+  "bos_token": {
+    "content": "<|begin_of_text|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|end_of_text|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}