78 lines
3.5 KiB
Markdown
78 lines
3.5 KiB
Markdown
---
|
||
license: apache-2.0
|
||
language:
|
||
- ja
|
||
pipeline_tag: text-generation
|
||
library_name: transformers
|
||
tags:
|
||
- not-for-all-audiences
|
||
---
|
||
|
||
# Doujinshi-1.8b
|
||
Doujinshi-1.8bは、r18に特化した大規模言語モデル（LLM）であり、[llm-jp/llm-jp-3-1.8b](https://huggingface.co/llm-jp/llm-jp-3-1.8b) をベースに継続事前学習を行いました。本モデルは、同人コンテンツに関連する知識を強化するため、dmm.co.jp,dlsite.comよりスクレイピングし作成したr18向けデータセットを使用してトレーニングされています。
|
||
|
||
モデルの出力に関して責任を負いません。各自自己責任で利用してください。
|
||
|
||
| Model Variants |
|
||
| :--- |
|
||
| [Doujinshi-1.8b](https://huggingface.co/puwaer/Doujinshi-1.8b) |
|
||
| [Doujinshi-1.8b-instruct](https://huggingface.co/puwaer/Doujinshi-1.8b-instruct) |
|
||
|
||
## モデル概要
|
||
本モデルは、以下のデータセットを使用して追加学習を行いました。
|
||
- [puwaer/dlsite-jp-v1](https://huggingface.co/datasets/puwaer/dlsite-jp-v1)
|
||
- [puwaer/dmm-fanza-jp-v1](https://huggingface.co/datasets/puwaer/dmm-fanza-jp-v1)
|
||
|
||
## 特徴
|
||
- **ベースモデル**: [llm-jp/llm-jp-3-1.8b](https://huggingface.co/llm-jp/llm-jp-3-1.8b)
|
||
- **日本語のテキスト生成に特化**
|
||
- **r18に関する知識を強化**
|
||
|
||
## 使用方法
|
||
|
||
### モデルのロードと推論
|
||
以下のコードでモデルをロードし、テキスト生成を行うことができます。
|
||
```python
|
||
import torch
|
||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||
|
||
tokenizer = AutoTokenizer.from_pretrained("puwaer/Doujinshi-1.8b")
|
||
model = AutoModelForCausalLM.from_pretrained("puwaer/Doujinshi-1.8b", device_map="auto", torch_dtype=torch.bfloat16)
|
||
|
||
text = "avの良さを教えて"
|
||
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)
|
||
|
||
with torch.no_grad():
|
||
output = model.generate(
|
||
tokenized_input,
|
||
max_new_tokens=100,
|
||
do_sample=True,
|
||
top_p=0.95,
|
||
temperature=0.7,
|
||
repetition_penalty=1.05,
|
||
)[0]
|
||
|
||
print(tokenizer.decode(output))
|
||
```
|
||
|
||
## ライセンス
|
||
本モデルは [Apache 2.0 License](https://www.apache.org/licenses/LICENSE-2.0) のもとで提供されます。
|
||
|
||
## クレジット
|
||
- **ベースモデル**: [llm-jp/llm-jp-3-1.8b](https://huggingface.co/llm-jp/llm-jp-3-1.8b)
|
||
- **データセット提供**:
|
||
- [puwaer/dlsite-jp-v1](https://huggingface.co/datasets/puwaer/dlsite-jp-v1)
|
||
- [puwaer/dmm-fanza-jp-v1](https://huggingface.co/datasets/puwaer/dmm-fanza-jp-v1)
|
||
- **作成方法詳細**: [特化型llm(Doujinshi-1.8b)の開発報告書①:開発の全体像](https://zenn.dev/articles/doujinshi_development_report_1)
|
||
- **使用コード**: [github/puwaer](https://github.com/puwaer)
|
||
|
||
## 開発支援のお願い
|
||
現在、開発を続けていますが、クラウドGPUの価格が高く、十分な計算リソースを確保できずにいます。そのため、思い通りに開発が出来ていません。
|
||
また、オープンソースの理念を大切にしており、プログラム・データセット・モデルを有料で公開するつもりはありません。そのため、金銭的に余裕のある方に支援していただけると大変助かります。
|
||
TwitterのDMやご支援いただける方は、以下のプラットフォームよりお願いいたします。
|
||
- [Twitter](https://x.com/puwaer)
|
||
- [Zenn](https://zenn.dev/puwa/books/doujinshi_development_book)
|
||
- [github sponsors](https://github.com/sponsors/puwaer)
|
||
|
||
|