初始化项目,由ModelHub XC社区提供模型
Model: MarkProMaster229/FlaffyTail-abliterated Source: Original Platform
This commit is contained in:
106
README.md
Normal file
106
README.md
Normal file
@@ -0,0 +1,106 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
language:
|
||||
- ru
|
||||
- en
|
||||
pipeline_tag: text-generation
|
||||
tags:
|
||||
- abliterated
|
||||
- uncensored
|
||||
- research
|
||||
- NSFW
|
||||
- refusal-removal
|
||||
base_model: Qwen/Qwen2.5-7B-Instruct
|
||||
---
|
||||
|
||||
# FlaffyTail-abliterated
|
||||
|
||||
**Экспериментальная модель с удалёнными механизмами отказа, созданная в исследовательских целях.**
|
||||
|
||||
---
|
||||
|
||||
## ЮРИДИЧЕСКОЕ ПРЕДУПРЕЖДЕНИЕ (ОБЯЗАТЕЛЬНО К ПРОЧТЕНИЮ)
|
||||
|
||||
Настоящая модель является **экспериментальной** и была создана исключительно в **академических и исследовательских целях** для изучения механизмов работы больших языковых моделей.
|
||||
|
||||
**Автор не несёт ответственности за любой контент, сгенерированный данной моделью.**
|
||||
|
||||
**Вы используете эту модель на свой страх и риск.**
|
||||
|
||||
- Вы, как пользователь, **единолично и полностью ответственны** за любой текст, созданный этой моделью
|
||||
- Автор не контролирует и не может контролировать то, как вы её используете
|
||||
- Автор категорически не одобряет и не поощряет использование модели для создания незаконного, вредоносного или аморального контента
|
||||
- Вы, скачивая и используя эту модель, **соглашаетесь с этим положением** и принимаете на себя все возможные юридические последствия её использования.
|
||||
|
||||
---
|
||||
|
||||
## Описание
|
||||
|
||||
это модифицированная версия [Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct.5-7B-Instruct), прошедшая процедуру **аблитерации** и дообучения при помощи LoRA адаптации
|
||||
|
||||
**Цель эксперимента:** исследовать поведение LLM после удаления механизмов цензуры, включая:
|
||||
- Реакцию на NSFW-запросы
|
||||
- Кросс-языковые эффекты при экстремальных нагрузках
|
||||
- Сохранность критического мышления после аблитерации
|
||||
|
||||
**Модель НЕ предназначена** для коммерческого использования и публичных чат-ботов без дополнительной модерации.
|
||||
|
||||
---
|
||||
|
||||
## Методология
|
||||
|
||||
### Использованный инструмент
|
||||
- [llm-abliteration](https://github.com/NousResearch/llm-abliteration) от NousResearch
|
||||
|
||||
### Датасет для измерения направлений отказа
|
||||
- **Harmful промты (19шт.):** негатив
|
||||
- **Harmless промты (25 шт.):** безопасные запросы
|
||||
|
||||
### Процесс
|
||||
1. Измерение скрытых состояний на каждом слое модели для harmful и harmless запросов
|
||||
2. Вычисление "направления отказа" как разницы средних активаций: `R = mean(H_harmful) - mean(H_harmless)`
|
||||
3. Анализ отношения сигнал/шум (SNR) для выбора оптимальных слоёв
|
||||
4. Вычитание направления отказа из выбранных слоёв
|
||||
|
||||
---
|
||||
|
||||
## Технические детали аблитерации
|
||||
|
||||
### Конфигурация
|
||||
|
||||
| Параметр | Значение |
|
||||
|:---|:---|
|
||||
| **Source layer** | 24 |
|
||||
| **Destination layers** | 20, 21, 22, 23, 24, 25, 26 |
|
||||
| **Scale** | 1.0 |
|
||||
| **Sparsity** | 0.0 |
|
||||
| **Projected** | False |
|
||||
|
||||
### Анализ SNR по слоям
|
||||
|
||||
| Слой | SNR |
|
||||
|:---|:---|
|
||||
| 1 | 0.0418
|
||||
| 10 | 0.1013
|
||||
| 14 | 0.1968
|
||||
| 20 | 0.4332
|
||||
| **24** | **0.4944**
|
||||
| 26 | 0.5416
|
||||
| 27 | 0.4594
|
||||
|
||||
**Почему не слой 26:** Несмотря на максимальный SNR, слой 26 находится слишком близко к выходу. На этом этапе к сигналу отказа примешивается лингвистическая структура ответа, что повышает риск повреждения генеративных способностей модели.
|
||||
|
||||
---
|
||||
|
||||
## Результаты и наблюдения
|
||||
|
||||
### Основные результаты
|
||||
- Модель полностью утратила способность явно отказываться от NSFW-запросов
|
||||
- Сохранила базовые знания и связность речи
|
||||
|
||||
### Неожиданные наблюдения
|
||||
|
||||
**1. Кросс-языковой коллапс**
|
||||
|
||||
При генерации экстремального NSFW-контента модель спонтанно переключается с русского на китайский язык. Предположительный механизм:
|
||||
- Отсутствие механизма отказа приводит к невозможности отклонить запрос как итог - модель находит аварийный выход через возврат в зону лингвистического комфорта
|
||||
Reference in New Issue
Block a user