初始化项目,由ModelHub XC社区提供模型
Model: EMD123/tiny-aya-kosher-3.3B Source: Original Platform
This commit is contained in:
97
README.md
Normal file
97
README.md
Normal file
@@ -0,0 +1,97 @@
|
||||
---
|
||||
library_name: transformers
|
||||
base_model: CohereLabs/tiny-aya-global
|
||||
tags:
|
||||
- hebrew
|
||||
- safe-ai
|
||||
- kosher-ai
|
||||
- fine-tuned
|
||||
- cohere
|
||||
- aya
|
||||
language:
|
||||
- he
|
||||
- en
|
||||
license: cc-by-nc-4.0
|
||||
---
|
||||
|
||||
# tiny-aya-kosher-3.3B: מודל שפה מותאם לערכי הצניעות וההלכה
|
||||
|
||||
## Model Details
|
||||
|
||||
### Model Description
|
||||
|
||||
Haredi-Aya-3B הוא מודל שפה ממוזג (Merged) המבוסס על Tiny-Aya-Global. המודל עבר כוונון עדין (Fine-tuning) .ממוקד כדי להתאים את תגובותיו לערכי הציבור החרדי, תוך דגש על סינון תכנים שאינם הולמים, מניעת עיסוק בנושאי כפירה, עבודה זרה, ושמירה על גדרי הצניעות .
|
||||
|
||||
- **Developed by:** EMD123
|
||||
- **Model type:** Causal Language Model (Fine-tuned with QLoRA)
|
||||
- **Language(s) (NLP):** Hebrew (Primary), English
|
||||
- **License:** CC-BY-NC-4.0 (Non-Commercial use only)
|
||||
- **Finetuned from model:** CohereLabs/tiny-aya-global
|
||||
|
||||
## Uses
|
||||
|
||||
### Direct Use
|
||||
|
||||
המודל נועד לשמש כעוזר בינה מלאכותית "כשר". הוא מתאים לשימוש במערכות המיועדות למשתמשים שומרי תורה ומצוות המעוניינים בכלי עבודה חכם שאינו נחשף לתכנים אסורים או שאינם הולמים את רוח הקהילה.
|
||||
|
||||
### Out-of-Scope Use
|
||||
|
||||
אין להשתמש במודל לצרכים מסחריים (בהתאם לרישיון ה-NC). המודל אינו מיועד לספק פסיקה הלכתית רשמית או ייעוץ רוחני, אלא לשמש ככלי עזר טכנולוגי בלבד.
|
||||
|
||||
## Bias, Risks, and Limitations
|
||||
|
||||
למרות האימון הממוקד, מודלי שפה עלולים להזות (Hallucinate) או לעקוף מגבלות בסיטואציות מסוימות. המודל הותאם לסרב לתכנים מסוימים, אך ייתכנו מקרים של סירוב-יתר (False Positive) גם לשאלות תמימות אם הן מזכירות מילים רגישות.
|
||||
|
||||
### Recommendations
|
||||
|
||||
מומלץ להשתמש בטמפרטורה (Temperature) נמוכה (0.1-0.3) כדי לקבל תשובות עקביות ומדויקות יותר מבחינת ערכי הסינון.
|
||||
|
||||
## How to Get Started with the Model
|
||||
|
||||
כדי להפעיל את המודל בצורה נכונה, יש להשתמש בתבנית הצ'אט הרשמית של Aya:
|
||||
|
||||
```python
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
model_id = "[EMD123]/tiny-aya-kosher-3.3B"
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
||||
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype="auto")
|
||||
|
||||
messages = [{"role": "user", "content": "האם תוכל לעזור לי בכתיבת מכתב רשמי?"}]
|
||||
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")
|
||||
|
||||
outputs = model.generate(input_ids, max_new_tokens=256, temperature=0.2, do_sample=True)
|
||||
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
|
||||
```
|
||||
|
||||
## Training Details
|
||||
### Training Data
|
||||
המודל אומן על דאטה-סט ייעודי שנבנה ידנית וכולל כ-520 דוגמאות:
|
||||
|
||||
דוגמאות סינון: הנחיות לסירוב מנומס ומנומק לנושאים שאינם צנועים, כפירה, ודתות אחרות.
|
||||
|
||||
דוגמאות שימור: שאלות בידע כללי, קוד ושפה כדי לשמר את יכולות הליבה של המודל.
|
||||
|
||||
שיחות רב-סיבוביות (Multi-turn): דוגמאות המלמדות את המודל לשמור על עקביות לאורך שיחה שלמה.
|
||||
|
||||
### Training Procedure
|
||||
האימון התבצע בשיטת QLoRA (4-bit quantization) על גבי כרטיס מסך NVIDIA T4 בסביבת Google Colab.
|
||||
|
||||
**Training regime:** bf16 mixed precision
|
||||
|
||||
**Learning Rate:** 2e-4
|
||||
|
||||
**Epochs:** 2 (Early stopping applied to prevent overfitting)
|
||||
|
||||
**Batch Size:** 2 (Gradient Accumulation Steps: 4)
|
||||
|
||||
## Technical Specifications
|
||||
### Model Architecture and Objective
|
||||
המודל מבוסס על ארכיטקטורת Command-R של Cohere, המותאמת במיוחד לביצועים רב-לשוניים יעילים במודל קומפקטי (3B).
|
||||
|
||||
## License & Policy
|
||||
מודל זה כפוף לרישיון Creative Commons Attribution-NonCommercial 4.0 International.
|
||||
בנוסף, המשתמשים מחויבים לציות למדיניות השימוש של Cohere Lab (Acceptable Use Policy).
|
||||
|
||||
## More Information
|
||||
המודל נוצר מתוך צורך חיוני בכלים טכנולוגיים מתקדמים המכבדים את עולמם הערכי של המשתמשים הדתיים והחרדים.
|
||||
Reference in New Issue
Block a user