初始化项目，由ModelHub XC社区提供模型

Model: winninghealth/WiNGPT-Babel
Source: Original Platform

.gitattributes

@@ -0,0 +1,42 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
+assets/20241216085311.png filter=lfs diff=lfs merge=lfs -text
+assets/IMG_6875.GIF filter=lfs diff=lfs merge=lfs -text
+assets/IMG_6877.GIF filter=lfs diff=lfs merge=lfs -text
+assets/IMG_6878.GIF filter=lfs diff=lfs merge=lfs -text
+WiNGPT-Babel-Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text
+WiNGPT-Babel-Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text
+WiNGPT-Babel-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,156 @@
+---
+license: apache-2.0
+language:
+- en
+- zh
+tags:
+- translation
+- multilingual
+base_model:
+- Qwen/Qwen2.5-1.5B
+pipeline_tag: text-generation
+new_version: winninghealth/WiNGPT-Babel-2
+---
+# 🌐 WiNGPT-Babel
+
+WiNGPT-Babel（巴别塔）是一个基于大语言模型（LLM）为翻译应用定制的模型，致力于提供便捷的多语言信息母语级体验。
+
+和其他机器翻译模型最大的不同是，WiNGPT-Babel 是采用 human-in-the-loop 数据生产采集闭环策略训练而成。因此 WiNGPT-Babel 更适应真实使用场景，例如新闻、研究成果以及观看带有实时翻译字幕的视频。通过一系列的工具插件 WiNGPT-Babel 会将这些内容翻译成用户的母语，以更好的体验呈现在用户面前。
+
+我们的目标是利用先进的 LLM 技术，降低语言障碍，帮助用户更轻松地获取全球范围内的互联网信息，包括学术论文、社交媒体、网页内容和视频字幕等各种数据格式。虽然实现这一目标还需要时间，但 LLM 技术的发展为其提供了可能性。
+
+## ✨ 核心特点
+
+- **human-in-the-loop 🌱：**  首先，使用少量数据进行初步训练；然后，通过API收集我们使用各种工具的日志数据，并利用这些日志构建新的训练数据。使用WiNGPT-2.6 模型和奖励模型对这些数据进行rejection sampling，并辅以人工审核以确保数据质量。经过几轮迭代训练，模型性能将逐步提升，直至达到预期水平停止。
+- **多格式翻译 📄 🌐 🎬：**  支持多种文本格式的翻译，包括网页、社交媒体内容、学术论文、视频字幕、以及数据集等。
+- **高精度翻译 🧠：**  基于先进的 LLM 架构，我们致力于提供准确、自然、流畅的翻译结果。
+- **高性能翻译 ⏱️：**  采用1.5B模型，支持实时字幕翻译等应用场景，满足用户对实时翻译的需求。
+- **多语言支持 🗣️：**  目前支持超过 20 种语言，并不断扩展语言支持范围。
+- **应用适配 🪒：**  目前已适配的工具有：沉浸式翻译、videolingo。
+
+## 🧪 适用场景
+- 🌐 **网页内容翻译：**  适用于日常网页浏览，快速理解网页信息
+- 📄 **学术论文翻译：**  适用于辅助理解多语言研究论文，提高阅读效率
+- 📰 **新闻资讯翻译：**  适用于快速了解全球新闻动态，获取一手信息
+- 🎬 **视频字幕翻译：**  适用于观看外语视频，辅助理解视频内容
+- 📊 **数据集多语言处理：**  适用于多语言数据集的初步翻译，辅助数据分析
+
+## 🔤 语言支持（更多语言待验证）
+🇺🇸 English ↔️ 🇨🇳 Chinese | 🇯🇵 Japanese ➡️ 🇨🇳 Chinese
+
+## 🚀 快速开始
+
+WiNGPT-Babel 采用 Qwen2.5-1.5B 作为基础模型 ，是在测试比较了各种参数规模模型平衡推理速度和翻译质量的选择。在各种应用场景下的翻译速度可以达到甚至超过谷歌翻译，这样的体验对于使用翻译模型来说是至关重要的。 为了帮助大家快速上手，我们提供了以下示例，并使用 Hugging Face Transformers 库进行加载和推理，当然推荐大家使用vllm、llama.cpp、ollama等推理工具或框架：
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_name = "WiNGPT/WiNGPT-Babel"
+
+model = AutoModelForCausalLM.from_pretrained(
+   model_name,
+   torch_dtype="auto",
+   device_map="auto"
+)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+prompt = "Give me a short introduction to large language model."
+messages = [
+   {"role": "system", "content": "中英互译下面的内容"},
+   {"role": "user", "content": prompt}
+]
+text = tokenizer.apply_chat_template(
+   messages,
+   tokenize=False,
+   add_generation_prompt=True
+)
+model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
+
+generated_ids = model.generate(
+   **model_inputs,
+   max_new_tokens=4096
+)
+generated_ids = [
+   output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+]
+
+response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+```
+
+快速使用 llama.cpp 推理示例
+```
+llama-cli -m WiNGPT-Babel-Q4_K_M.gguf -co -i -if -p "<|im_start|>system\n中英互译下面的内容<|im_end|>\n" --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -fa -ngl 80 -n 512
+```
+
+   - **注意：**  WiNGPT-Babel 默认系统提示词仅为：“中英互译下面的内容”。模型会自动根据用户的输入翻译成对应的语言，无需其他复杂的指令。支持的最大长度8192，且具备多轮对话的能力。
+
+### 🎬 示例
+
+以下是一些应用场景示例，展示如何使用模型进行翻译。
+
+1. **网页翻译:**
+- **场景:**  用户通过工具及简单系统提示，将外文网页内容翻译成母语。
+- **工具:**  沉浸式翻译
+<figure><img src="assets/20241216084737.png" style="zoom:40%;" /></figure>
+<figure><img src="assets/20241216084744.png" style="zoom:40%;" /></figure>
+<figure><img src="assets/20241216084809.png" style="zoom:40%;" /></figure>
+<figure><img src="assets/20241216085303.png" style="zoom:40%;" /></figure>
+<figure><img src="assets/20241216085311.png" style="zoom:40%;" /></figure>
+   
+2. **学术论文翻译:**
+- **场景:**  用户使用工具翻译外文研究论文，辅助研究工作。
+- **工具:**  沉浸式翻译
+<figure><img src="assets/20241216084751.png" style="zoom:40%;" /></figure>
+<figure><img src="assets/20241216084757.png" style="zoom:40%;" /></figure>
+   
+3. **社交媒体翻译:**
+- **场景:**  用户可以使用模型，将不同语言的社交媒体内容翻译成母语
+- **工具:**  沉浸式翻译
+<figure><img src="assets/20241216084803.png" style="zoom:40%;" /></figure>
+   
+4. **视频字幕翻译:**
+- **场景:**  用户利用工具，结合模型，直接翻译字幕文件并保存为文件。
+- **工具:**  沉浸式翻译
+<figure><img src="assets/20241216085700.png" style="zoom:30%;" /></figure>
+
+5. **PDF文件翻译:**
+- **场景:**  用户利用工具，结合模型，将PDF等文档翻译或作为双语对照。
+- **工具:**  PDFMathTranslate
+<figure><img src="assets/20241218080815.png" style="zoom:50%;" /></figure>
+
+6. **数据集翻译:**
+- **场景:**  用户利用模型，将外语数据集进行翻译。
+- **工具:**  wingpt-web-client
+<figure><img src="assets/093402.png" style="zoom:35%;" /></figure>
+
+7. **视频网站实时翻译:**
+- **场景:**  用户利用工具，结合模型，在观看互联网视频时实时生成字幕。
+- **工具:**  沉浸式翻译
+<figure><img src="assets/IMG_6875.GIF" style="zoom:60%;" /></figure>
+<figure><img src="assets/IMG_6877.GIF" style="zoom:65%;" /></figure>
+   
+8. **视频翻译与字幕压制:**
+- **场景:**  用户利用工具，结合模型，将外语视频生成带有翻译字幕的视频。
+- **工具:**  VideoLingo
+<figure><img src="assets/IMG_6878.GIF" style="zoom:100%;" /></figure>
+
+**注意：**  以上示例展示了如何利用工具并结合 WiNGPT-Babel 模型进行文本翻译。你可以根据自己的需求和习惯，通过工具并将其应用到更多场景。
+
+
+###  🌱 局限性
+- **专业术语翻译：** 在法律、医学等高度专业领域、代码等，翻译结果可能存在偏差
+- **文学作品翻译：**  对于文学作品中的修辞、隐喻等，可能无法完美传达原文意境
+- **长文本翻译：** 在处理超长文本时，可能会出现翻译错误或者幻觉问题，需要进行分段处理
+- **多语言适配：** 目前主要在中英语言场景里进行使用，其他语言需要更多的测试和反馈
+
+## 许可证
+
+1. 本项目授权协议为 Apache License 2.0
+2. 使用本项目包括模型权重时请引用本项目：https://huggingface.co/winninghealth/WiNGPT-Babel
+3. 遵守 [Qwen2.5-1.5B](https://huggingface.co/Qwen/Qwen2.5-1.5B)， [immersive-translate](https://github.com/immersive-translate/immersive-translate)， [VideoLingo](https://github.com/Huanshere/VideoLingo) 相关协议及其许可证，详细内容参照其网站。
+
+## 联系我们
+
+- 通过 [WiNGPT 测试平台](https://wingpt.winning.com.cn) 申请密钥
+
+- 或通过 [wair@winning.com.cn](mailto:wair@winning.com.cn) 与我们取得联系申请接口测试 API_KEY

WiNGPT-Babel-Q4_K_M.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f12e9bf63bddbf42216d5997e5c4bb7da5ee4f363e659d4bb84d144642a606ec
+size 986045568

WiNGPT-Babel-Q5_K_M.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:38115acb8856f50192c16c6a4bf9380d40b5e813a4677b68f2847b1adf5e43f1
+size 1125047424

WiNGPT-Babel-Q8_0.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6d1f61f21ccff8f049fee431367a5d046f56028485202789ea573f6bc996f403
+size 1646570112

assets/20241216085311.png

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8fe166e99f4149d6554dac3c2a917cf0ab3e7073208a0ccf95e9f78071c108de
+size 1077530

assets/IMG_6875.GIF

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b82c0219118312ca5b30b782203b579a580b5517cc4e259329dbcf7cb603ae0b
+size 6112919

assets/IMG_6877.GIF

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8e5c1a7b65985b9229cc89f0a39d8c8d2b72377c5cc8aa040baf32f047123025
+size 6507247

assets/IMG_6878.GIF

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b1acfdda4d59fdff1c1d5746508c74a2475c17828a08818e2745bb35bc686dc9
+size 9412171

config.json

@@ -0,0 +1,27 @@
+{
+  "architectures": [
+    "Qwen2ForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": 151643,
+  "eos_token_id": 151645,
+  "hidden_act": "silu",
+  "hidden_size": 1536,
+  "initializer_range": 0.02,
+  "intermediate_size": 8960,
+  "max_position_embeddings": 32768,
+  "max_window_layers": 21,
+  "model_type": "qwen2",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 28,
+  "num_key_value_heads": 2,
+  "rms_norm_eps": 1e-06,
+  "rope_theta": 1000000.0,
+  "sliding_window": 32768,
+  "tie_word_embeddings": true,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.43.1",
+  "use_cache": true,
+  "use_sliding_window": false,
+  "vocab_size": 151936
+}

generation_config.json

@@ -0,0 +1,14 @@
+{
+  "bos_token_id": 151643,
+  "pad_token_id": 151643,
+  "do_sample": true,
+  "eos_token_id": [
+    151645,
+    151643
+  ],
+  "repetition_penalty": 1.1,
+  "temperature": 0.7,
+  "top_p": 0.8,
+  "top_k": 20,
+  "transformers_version": "4.37.0"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c9154afd388d25237ed675a9bd4ab9def70b99fdee7a5107e29e8da0a935172e
+size 3087467144

tokenizer_config.json

@@ -0,0 +1,207 @@
+{
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "151643": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151644": {
+      "content": "<|im_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151645": {
+      "content": "<|im_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151646": {
+      "content": "<|object_ref_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151647": {
+      "content": "<|object_ref_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151648": {
+      "content": "<|box_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151649": {
+      "content": "<|box_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151650": {
+      "content": "<|quad_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151651": {
+      "content": "<|quad_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151652": {
+      "content": "<|vision_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151653": {
+      "content": "<|vision_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151654": {
+      "content": "<|vision_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151655": {
+      "content": "<|image_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151656": {
+      "content": "<|video_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151657": {
+      "content": "<tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151658": {
+      "content": "</tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151659": {
+      "content": "<|fim_prefix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151660": {
+      "content": "<|fim_middle|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151661": {
+      "content": "<|fim_suffix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151662": {
+      "content": "<|fim_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151663": {
+      "content": "<|repo_name|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151664": {
+      "content": "<|file_sep|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "bos_token": null,
+  "chat_template": "{% for message in messages %}{% if not loop.first %}{{- '\n' }}{% endif %}{{- '<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' }}{% if loop.last and add_generation_prompt %}{{- '\n<|im_start|>assistant\n' }}{% endif %}{% endfor %}",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|im_end|>",
+  "errors": "replace",
+  "model_max_length": 131072,
+  "pad_token": "<|endoftext|>",
+  "split_special_tokens": false,
+  "tokenizer_class": "Qwen2Tokenizer",
+  "unk_token": null,
+  "add_bos_token": false
+}