---
license: apache-2.0
language:
- ja
pipeline_tag: text-generation
library_name: transformers
tags:
- not-for-all-audiences
---

# Doujinshi-1.8b
Doujinshi-1.8bは、r18に特化した大規模言語モデル（LLM）であり、[llm-jp/llm-jp-3-1.8b](https://huggingface.co/llm-jp/llm-jp-3-1.8b) をベースに継続事前学習を行いました。本モデルは、同人コンテンツに関連する知識を強化するため、dmm.co.jp,dlsite.comよりスクレイピングし作成したr18向けデータセットを使用してトレーニングされています。

モデルの出力に関して責任を負いません。各自自己責任で利用してください。

| Model Variants | 
| :--- |
| [Doujinshi-1.8b](https://huggingface.co/puwaer/Doujinshi-1.8b) |
| [Doujinshi-1.8b-instruct](https://huggingface.co/puwaer/Doujinshi-1.8b-instruct) |

## モデル概要
本モデルは、以下のデータセットを使用して追加学習を行いました。
- [puwaer/dlsite-jp-v1](https://huggingface.co/datasets/puwaer/dlsite-jp-v1)
- [puwaer/dmm-fanza-jp-v1](https://huggingface.co/datasets/puwaer/dmm-fanza-jp-v1)

## 特徴
- **ベースモデル**: [llm-jp/llm-jp-3-1.8b](https://huggingface.co/llm-jp/llm-jp-3-1.8b)
- **日本語のテキスト生成に特化**
- **r18に関する知識を強化**

## 使用方法

### モデルのロードと推論
以下のコードでモデルをロードし、テキスト生成を行うことができます。
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("puwaer/Doujinshi-1.8b")
model = AutoModelForCausalLM.from_pretrained("puwaer/Doujinshi-1.8b", device_map="auto", torch_dtype=torch.bfloat16)

text = "avの良さを教えて"
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]

print(tokenizer.decode(output))
```

## ライセンス
本モデルは [Apache 2.0 License](https://www.apache.org/licenses/LICENSE-2.0) のもとで提供されます。

## クレジット
- **ベースモデル**: [llm-jp/llm-jp-3-1.8b](https://huggingface.co/llm-jp/llm-jp-3-1.8b)
- **データセット提供**:
  - [puwaer/dlsite-jp-v1](https://huggingface.co/datasets/puwaer/dlsite-jp-v1)
  - [puwaer/dmm-fanza-jp-v1](https://huggingface.co/datasets/puwaer/dmm-fanza-jp-v1)
- **作成方法詳細**: [特化型llm(Doujinshi-1.8b)の開発報告書①:開発の全体像](https://zenn.dev/articles/doujinshi_development_report_1)
- **使用コード**: [github/puwaer](https://github.com/puwaer)

## 開発支援のお願い
現在、開発を続けていますが、クラウドGPUの価格が高く、十分な計算リソースを確保できずにいます。そのため、思い通りに開発が出来ていません。
また、オープンソースの理念を大切にしており、プログラム・データセット・モデルを有料で公開するつもりはありません。そのため、金銭的に余裕のある方に支援していただけると大変助かります。
TwitterのDMやご支援いただける方は、以下のプラットフォームよりお願いいたします。
- [Twitter](https://x.com/puwaer)
- [Zenn](https://zenn.dev/puwa/books/doujinshi_development_book)
- [github sponsors](https://github.com/sponsors/puwaer)