---
library_name: transformers
base_model: CohereLabs/tiny-aya-global
tags:
- hebrew
- safe-ai
- kosher-ai
- fine-tuned
- cohere
- aya
language:
- he
- en
license: cc-by-nc-4.0
---

# tiny-aya-kosher-3.3B: מודל שפה מותאם לערכי הצניעות וההלכה

## Model Details

### Model Description

Haredi-Aya-3B הוא מודל שפה ממוזג (Merged) המבוסס על Tiny-Aya-Global. המודל עבר כוונון עדין (Fine-tuning) .ממוקד כדי להתאים את תגובותיו לערכי הציבור החרדי, תוך דגש על סינון תכנים שאינם הולמים, מניעת עיסוק בנושאי כפירה, עבודה זרה, ושמירה על גדרי הצניעות .

- **Developed by:** EMD123
- **Model type:** Causal Language Model (Fine-tuned with QLoRA)
- **Language(s) (NLP):** Hebrew (Primary), English
- **License:** CC-BY-NC-4.0 (Non-Commercial use only)
- **Finetuned from model:** CohereLabs/tiny-aya-global

## Uses

### Direct Use

המודל נועד לשמש כעוזר בינה מלאכותית "כשר". הוא מתאים לשימוש במערכות המיועדות למשתמשים שומרי תורה ומצוות המעוניינים בכלי עבודה חכם שאינו נחשף לתכנים אסורים או שאינם הולמים את רוח הקהילה.

### Out-of-Scope Use

אין להשתמש במודל לצרכים מסחריים (בהתאם לרישיון ה-NC). המודל אינו מיועד לספק פסיקה הלכתית רשמית או ייעוץ רוחני, אלא לשמש ככלי עזר טכנולוגי בלבד.

## Bias, Risks, and Limitations

למרות האימון הממוקד, מודלי שפה עלולים להזות (Hallucinate) או לעקוף מגבלות בסיטואציות מסוימות. המודל הותאם לסרב לתכנים מסוימים, אך ייתכנו מקרים של סירוב-יתר (False Positive) גם לשאלות תמימות אם הן מזכירות מילים רגישות.

### Recommendations

מומלץ להשתמש בטמפרטורה (Temperature) נמוכה (0.1-0.3) כדי לקבל תשובות עקביות ומדויקות יותר מבחינת ערכי הסינון.

## How to Get Started with the Model

כדי להפעיל את המודל בצורה נכונה, יש להשתמש בתבנית הצ'אט הרשמית של Aya:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "[EMD123]/tiny-aya-kosher-3.3B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype="auto")

messages = [{"role": "user", "content": "האם תוכל לעזור לי בכתיבת מכתב רשמי?"}]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")

outputs = model.generate(input_ids, max_new_tokens=256, temperature=0.2, do_sample=True)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
```

## Training Details
### Training Data
המודל אומן על דאטה-סט ייעודי שנבנה ידנית וכולל כ-520 דוגמאות:

דוגמאות סינון: הנחיות לסירוב מנומס ומנומק לנושאים שאינם צנועים, כפירה, ודתות אחרות.

דוגמאות שימור: שאלות בידע כללי, קוד ושפה כדי לשמר את יכולות הליבה של המודל.

שיחות רב-סיבוביות (Multi-turn): דוגמאות המלמדות את המודל לשמור על עקביות לאורך שיחה שלמה.

### Training Procedure
האימון התבצע בשיטת QLoRA (4-bit quantization) על גבי כרטיס מסך NVIDIA T4 בסביבת Google Colab.

**Training regime:** bf16 mixed precision

**Learning Rate:** 2e-4

**Epochs:** 2 (Early stopping applied to prevent overfitting)

**Batch Size:** 2 (Gradient Accumulation Steps: 4)

## Technical Specifications
### Model Architecture and Objective
המודל מבוסס על ארכיטקטורת Command-R של Cohere, המותאמת במיוחד לביצועים רב-לשוניים יעילים במודל קומפקטי (3B).

## License & Policy
מודל זה כפוף לרישיון Creative Commons Attribution-NonCommercial 4.0 International.
בנוסף, המשתמשים מחויבים לציות למדיניות השימוש של Cohere Lab (Acceptable Use Policy).

## More Information
המודל נוצר מתוך צורך חיוני בכלים טכנולוגיים מתקדמים המכבדים את עולמם הערכי של המשתמשים הדתיים והחרדים.