READ

READ.md

@@ -12,7 +12,7 @@ pipeline_tag: text-generation
 ## 介绍
 * 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点
 * 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
-* 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k
+* 此模型上下文原生长度28K
 * 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B)
   
 
@@ -73,10 +73,10 @@ outputs = pipeline(
         prompt,
         max_new_tokens=2048,
         eos_token_id=terminators,
-        do_sample=False,
+        do_sample=True,
         temperature=0.6,
         top_p=1,
-        repetition_penalty=1.1
+        repetition_penalty=1.15
 )
 print(outputs[0]["generated_text"][len(prompt):])
 ```

README.md

@@ -12,7 +12,7 @@ pipeline_tag: text-generation
 ## 介绍
 * 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点
 * 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
-* 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k
+* 此模型上下文原生长度28K
 * 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B)
   
 
@@ -73,10 +73,10 @@ outputs = pipeline(
         prompt,
         max_new_tokens=2048,
         eos_token_id=terminators,
-        do_sample=False,
+        do_sample=True,
         temperature=0.6,
         top_p=1,
-        repetition_penalty=1.1
+        repetition_penalty=1.15
 )
 print(outputs[0]["generated_text"][len(prompt):])
 ```
@@ -84,4 +84,4 @@ print(outputs[0]["generated_text"][len(prompt):])
 ## 资源
 更多模型,数据集和训练相关细节请参考:
 * Github：[**Unichat-llama3-Chinese**](https://github.com/UnicomAI/Unichat-llama3-Chinese)
-  
+  

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "/data/Chinese-Llama-2-7b/checkpoints2_llama3-8b-0419/checkpoint-1600",
+  "_name_or_path": "/data/checkpoints2_llama3-8b",
   "architectures": [
     "LlamaForCausalLM"
   ],

pytorch_model-00001-of-00002.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:349d753e16ad717660dff329309ce9697e98adee9eec9224a568cdd2fef73141
+oid sha256:c4e3ba94f139d695e4038934ccedf09ab282bf9ed7d437fe5f6b2fb959413a24
 size 9976543957

pytorch_model-00002-of-00002.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2a90a5cddb56f56b12ae17c152f915e7720dc95d1ab70374e186e408a8c524a5
+oid sha256:12489248efa09dd68ab65c801bd5d3bc579d9bc3ae3af7ef338e21efad3ddef1
 size 6084078398