初始化项目，由ModelHub XC社区提供模型

Model: cagrigungor/pii-guard-turkish-270m Source: Original Platform
2026-10-03 10:13:18 +08:00
commit 5901344cbe
9 changed files with 51685 additions and 0 deletions
--- a/.gitattributes
+++ b/.gitattributes
@@ -0,0 +1,36 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text
--- a/README.md
+++ b/README.md
@@ -0,0 +1,165 @@
+---
+language:
+- tr
+license: gemma
+base_model: google/gemma-3-270m-it
+pipeline_tag: text-generation
+library_name: transformers
+tags:
+- pii
+- anonymization
+- masking
+- kvkk
+- gdpr
+- turkish
+- privacy
+- fintech
+---
+
+# PII Guard Turkish 270M
+
+Cihaz üstü (mobil) kullanım için tasarlanmış, Türkçe metindeki kişisel verileri **talimat-koşullu** maskeleyen 270M parametreli model. Bu repo kullanıma hazır tam modeldir; telefonda çalıştırmak için GGUF sürümüne bakın: [pii-guard-turkish-270m-gguf](https://huggingface.co/cagrigungor/pii-guard-turkish-270m-gguf).
+
+```
+Girdi : Ahmet Yıldız 0542 321 45 67 numarasından aradı, ibanı TR12 0001 2000 0034 5678 9012 34
+Çıktı : [AD] [TEL] numarasından aradı, ibanı [IBAN]
+```
+
+Bir LLM'e veri göndermeden önceki maskeleme katmanı, log temizleme ve KVKK/GDPR veri
+minimizasyonu için tasarlandı. **53 PII etiketi** tanır ve **talimat okur**: aynı metin,
+farklı politika altında farklı maskelenir.
+
+## Sonuçlar
+
+Eğitim verisinden tamamen bağımsız, elle kurulmuş 1.000 örneklik benchmark üzerinde
+**satır düzeyi tam eşleşme** (çıktının beklenen metinle karakter karakter aynı olması —
+tek bir etiket hatası satırın tamamını yanlış sayar):
+
+| Model | Tam Eşleşme (1000) | Şema-nötr (903) |
+|---|---|---|
+| cagrigungor/pii-guard-turkish-0.8b | **0.876** | **0.889** |
+| cagrigungor/pii-guard-turkish-0.6b | 0.828 | 0.850 |
+| cagrigungor/pii-guard-turkish-270m | 0.740 | 0.770 |
+| melikegks/turkish-pii-guard-0.8b | 0.731 | 0.810 |
+
+Şema-nötr sütun, `[YAS] [CINSIYET] [UYRUK]` etiketlerinin maskelenmesini gerektiren 97 satır
+hariç tutularak hesaplanır (bu üç etiket her modelin şemasında bulunmadığından modeller arası
+adil kıyas bu sütundur). Benchmark halka açıktır ve yeniden üretilebilir:
+
+- Kaggle: https://www.kaggle.com/datasets/aiwithcagri/turkish-pii-masking-benchmark
+- Hugging Face: https://huggingface.co/datasets/cagrigungor/turkish-pii-masking-benchmark
+
+Benchmark bileşimi: tam maskeleme (350), beyaz liste (200), kara liste (150), kapsam dışı (100),
+tuzaklı negatif (200); içinde BÜYÜK HARF, Türkçe ek almış PII, sözle yazılmış numaralar,
+çok kişili metinler ve 300-900 karakterlik uzun girdiler işaretli dilimler halinde bulunur.
+
+Kategori kırılımı (bu model): tam maskeleme 0.723 · beyaz liste 0.620 ·
+kara liste 0.740 · kapsam dışı 0.730 · negatif 0.895. Zor dilimler: ekli PII 0.818 ·
+BÜYÜK HARF 0.505 · uzun metin 0.521 · sözle yazım 0.649.
+
+## Eğitim
+
+| | |
+|---|---|
+| Taban model | google/gemma-3-270m-it |
+| Yöntem | LoRA (r=16, alfa=32), bf16, completion-only loss, Unsloth |
+| Bağlam | 768 token |
+| Veri | Sentetik Türkçe bankacılık/ERP metni, 53 PII etiketi, ~400.000 örnek |
+| Split | Modül düzeyinde train/val ayrımı; benchmark tamamen bağımsız üretim |
+
+
+## Kullanım
+
+Prompt biçimi eğitimle birebir aynı olmalıdır. Gemma mimarisi prompt başında **BOS token**
+ister; `add_special_tokens=False` kullanıyorsan BOS'u elle ekle, yoksa çıktı bozulur.
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+MODEL = "cagrigungor/pii-guard-turkish-270m"
+tokenizer = AutoTokenizer.from_pretrained(MODEL)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL, dtype=torch.bfloat16, device_map="auto").eval()
+
+def maskele(metin, talimat="Metindeki tüm kişisel verileri uygun etiketlerle maskele."):
+    prompt = (f"{tokenizer.bos_token}<start_of_turn>user\n{talimat}\n\n"
+              f"Metin: {metin}<end_of_turn>\n<start_of_turn>model\n")
+    girdi = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
+    with torch.inference_mode():
+        cikti = model.generate(**girdi, max_new_tokens=512, do_sample=False,
+                               eos_token_id=tokenizer.convert_tokens_to_ids("<end_of_turn>"),
+                               pad_token_id=tokenizer.eos_token_id)
+    return tokenizer.decode(cikti[0, girdi["input_ids"].shape[1]:],
+                            skip_special_tokens=True).strip()
+
+print(maskele("müşteri Ayşe Yılmaz tc 12345678901 tel 0532 111 22 33"))
+# -> müşteri [AD] tc [TCKN] tel [TEL]
+```
+
+## Politika biçimleri
+
+Model talimatı okur; aynı metin farklı politika altında farklı maskelenir.
+
+| Politika | Örnek talimat |
+|---|---|
+| Tam maskeleme | "Metindeki tüm kişisel verileri uygun etiketlerle maskele." |
+| Beyaz liste | "Sadece IBAN ve telefon numarasını maskele. Gerisi aynen kalsın." |
+| Kara liste | "Ad soyad hariç bütün hassas alanları etiketle." |
+| Kategori | "Yalnızca özel nitelikli kişisel veriler maskelenecek." |
+| Kapsam dışı | Talimatta istenen etiket metinde yoksa çıktı girdiyle aynı kalır. |
+
+## Etiketler
+
+53 etiket, dokuz kategoride.
+
+| Kategori | Etiketler |
+|---|---|
+| Kimlik | `[AD]` `[TCKN]` `[DOGUM_TARIHI]` `[DOGUM_YERI]` `[ANNE_ADI]` `[ANNE_KIZLIK]` `[BABA_ADI]` `[PASAPORT_NO]` `[EHLIYET_NO]` `[SGK_NO]` `[IMZA]` |
+| Finansal | `[IBAN]` `[HESAP_NO]` `[KART]` `[KART_SKT]` `[CVV]` `[MAAS]` `[VERGI_NO]` `[MUSTERI_NO]` `[KREDI_NOTU]` `[POLICE_NO]` `[SOZLESME_NO]` `[KRIPTO_CUZDAN]` |
+| İletişim | `[TEL]` `[EMAIL]` `[ADRES]` `[KONUM]` |
+| Özel nitelikli (KVKK md. 6) | `[SAGLIK]` `[DIN]` `[ETNIK_KOKEN]` `[SENDIKA]` `[BIYOMETRIK]` `[CEZA_KAYDI]` `[KAN_GRUBU]` `[ENGEL_DURUMU]` |
+| Kimlik doğrulama | `[SIFRE]` `[PIN]` `[KULLANICI_ADI]` |
+| Cihaz ve ağ | `[IP_ADRES]` `[MAC_ADRES]` `[IMEI]` `[CIHAZ_ID]` |
+| Araç | `[PLAKA]` `[SASI_NO]` `[MOTOR_NO]` `[RUHSAT_NO]` |
+| İstihdam ve diğer | `[SICIL_NO]` `[ISYERI]` `[AILE]` `[REFERANS]` |
+| Demografi | `[YAS]` `[CINSIYET]` `[UYRUK]` |
+
+## Türkçeye özgü davranış
+
+- **Ek almış PII**: kesme işaretli ekler ünlü uyumuyla korunur —
+  `Ayşe Yılmaz'ın hesabına havale yap` -> `[AD]'ın hesabına havale yap`
+- **Sözle yazılmış değerler**: `tc kimlik numaram yedi bir dokuz yedi ...` -> `tc kimlik numaram [TCKN]`
+- **BÜYÜK HARF girdi**: `ADIM AHMET TC 12345678901` -> `ADIM [AD] TC [TCKN]`
+- **Çok kişili metin**: aynı cümledeki farklı kişiler ayrı ayrı maskelenir
+- **Tuzaklara direnç**: fatura/sipariş numarası, şehir adlı projeler, "tc kimlik alanı boş
+  bırakılamaz" gibi PII kelimesi geçen ama PII içermeyen metinler değiştirilmez
+
+## Sınırlar
+
+1. **Değerlendirme sentetik veriyle yapılmıştır.** Eğitim ve benchmark verisi Faker + LLM
+   üretimidir; gerçek kişi verisi içermez. Gerçek kullanıcı metnindeki performans ölçülmemiştir.
+   Kendi verinde ölçmeden kritik bir hatta koyma.
+2. **Şema dışı etiket üretebilir.** Üretimde 53 etiketlik bir whitelist katmanı öneririz;
+   şema dışı etiket içeren çıktıyı reddedip insan incelemesine gönder.
+3. **Zayıf dilimler** (benchmark kırılımından): kara liste talimatları ve sözle yazılmış
+   uzun sayı dizileri en düşük skorlu dilimlerdir. Bu dilimlerde çıktı doğrulaması ekle.
+4. **Yalnızca Türkçe.** Başka dillerde test edilmedi.
+5. **Karar destek aracı değildir.** KVKK/GDPR sorumluluğu kullanandadır; kritik akışlarda
+   insan denetimi gerekir.
+
+## Yazar
+
+Hasan Çağrı Güngör
+iletisim@cagrigungor.com — https://finiscode.com
+
+## Alıntı
+
+```bibtex
+@misc{pii-guard-turkish,
+  title  = {PII Guard Turkish},
+  author = {Hasan Çağrı Güngör},
+  year   = {2026},
+  url    = {https://huggingface.co/cagrigungor/pii-guard-turkish-270m}
+}
+```
--- a/chat_template.jinja
+++ b/chat_template.jinja
@@ -0,0 +1,50 @@
+{# Unsloth Chat template fixes #}
+{{ bos_token }}
+{%- if messages[0]['role'] == 'system' -%}
+    {%- if messages[0]['content'] is string -%}
+        {%- set first_user_prefix = messages[0]['content'] + '
+
+' -%}
+    {%- else -%}
+        {%- set first_user_prefix = messages[0]['content'][0]['text'] + '
+
+' -%}
+    {%- endif -%}
+    {%- set loop_messages = messages[1:] -%}
+{%- else -%}
+    {%- set first_user_prefix = "" -%}
+    {%- set loop_messages = messages -%}
+{%- endif -%}
+{%- for message in loop_messages -%}
+    {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) -%}
+        {{ raise_exception("Conversation roles must alternate user/assistant/user/assistant/...") }}
+    {%- endif -%}
+    {%- if (message['role'] == 'assistant') -%}
+        {%- set role = "model" -%}
+    {%- else -%}
+        {%- set role = message['role'] -%}
+    {%- endif -%}
+    {{ '<start_of_turn>' + role + '
+' + (first_user_prefix if loop.first else "") }}
+    {%- if message['content'] is string -%}
+        {{ message['content'] | trim }}
+    {%- elif message['content'] is iterable -%}
+        {%- for item in message['content'] -%}
+            {%- if item['type'] == 'image' -%}
+                {{ '<start_of_image>' }}
+            {%- elif item['type'] == 'text' -%}
+                {{ item['text'] | trim }}
+            {%- endif -%}
+        {%- endfor -%}
+    {%- elif message['content'] is defined -%}
+        {{ raise_exception("Invalid content type") }}
+    {%- endif -%}
+    {{ '<end_of_turn>
+' }}
+{%- endfor -%}
+{%- if add_generation_prompt -%}
+    {{'<start_of_turn>model
+'}}
+{%- endif -%}
+
+{# Copyright 2025-present Unsloth. Apache 2.0 License. #}
--- a/config.json
+++ b/config.json
@@ -0,0 +1,64 @@
+{
+    "_sliding_window_pattern": 6,
+    "architectures": [
+        "Gemma3ForCausalLM"
+    ],
+    "attention_bias": false,
+    "attention_dropout": 0.0,
+    "attn_logit_softcapping": null,
+    "bos_token_id": 2,
+    "torch_dtype": "bfloat16",
+    "eos_token_id": 106,
+    "final_logit_softcapping": null,
+    "head_dim": 256,
+    "hidden_activation": "gelu_pytorch_tanh",
+    "hidden_size": 640,
+    "initializer_range": 0.02,
+    "intermediate_size": 2048,
+    "layer_types": [
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "full_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "full_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "sliding_attention",
+        "full_attention"
+    ],
+    "max_position_embeddings": 32768,
+    "model_name": "unsloth/gemma-3-270m-it",
+    "model_type": "gemma3_text",
+    "num_attention_heads": 4,
+    "num_hidden_layers": 18,
+    "num_key_value_heads": 1,
+    "pad_token_id": 0,
+    "query_pre_attn_scalar": 256,
+    "rms_norm_eps": 1e-06,
+    "rope_parameters": {
+        "full_attention": {
+            "rope_theta": 1000000.0,
+            "rope_type": "default"
+        },
+        "sliding_attention": {
+            "rope_theta": 10000.0,
+            "rope_type": "default"
+        }
+    },
+    "sliding_window": 512,
+    "tie_word_embeddings": true,
+    "unsloth_fixed": true,
+    "unsloth_version": "2026.8.7",
+    "use_bidirectional_attention": false,
+    "use_cache": true,
+    "vocab_size": 262144
+}
--- a/generation_config.json
+++ b/generation_config.json
@@ -0,0 +1,14 @@
+{
+  "bos_token_id": 2,
+  "cache_implementation": "hybrid",
+  "do_sample": true,
+  "eos_token_id": [
+    1,
+    106
+  ],
+  "max_length": 32768,
+  "pad_token_id": 0,
+  "top_k": 64,
+  "top_p": 0.95,
+  "transformers_version": "5.5.0"
+}
--- a/model.safetensors
+++ b/model.safetensors
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a4e1b598e478dbaa97fde6d6a08e2c1f54d90a10744eeb72fd69265e7128ad1e
+size 536223056
--- a/tokenizer.json
+++ b/tokenizer.json
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:daab2354f8a74e70d70b4d1f804939b68a8c9624dd06cb7858e52dd8970e9726
+size 33384567
--- a/tokenizer.model
+++ b/tokenizer.model
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1299c11d7cf632ef3b4e11937501358ada021bbdf7c47638d13c0ee982f2e79c
+size 4689074
--- a/tokenizer_config.json
+++ b/tokenizer_config.json