license, language, pipeline_tag, library_name, tags

license	language	pipeline_tag	library_name	tags
apache-2.0	ja	text-generation	transformers	not-for-all-audiences

Doujinshi-1.8b

Doujinshi-1.8bは、r18に特化した大規模言語モデル（LLM）であり、llm-jp/llm-jp-3-1.8b をベースに継続事前学習を行いました。本モデルは、同人コンテンツに関連する知識を強化するため、dmm.co.jp,dlsite.comよりスクレイピングし作成したr18向けデータセットを使用してトレーニングされています。

モデルの出力に関して責任を負いません。各自自己責任で利用してください。

Model Variants
Doujinshi-1.8b
Doujinshi-1.8b-instruct

モデル概要

本モデルは、以下のデータセットを使用して追加学習を行いました。

• puwaer/dlsite-jp-v1
• puwaer/dmm-fanza-jp-v1

特徴

• ベースモデル: llm-jp/llm-jp-3-1.8b
• 日本語のテキスト生成に特化
• r18に関する知識を強化

使用方法

モデルのロードと推論

以下のコードでモデルをロードし、テキスト生成を行うことができます。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("puwaer/Doujinshi-1.8b")
model = AutoModelForCausalLM.from_pretrained("puwaer/Doujinshi-1.8b", device_map="auto", torch_dtype=torch.bfloat16)

text = "avの良さを教えて"
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]

print(tokenizer.decode(output))

ライセンス

本モデルは Apache 2.0 License のもとで提供されます。

クレジット

• ベースモデル: llm-jp/llm-jp-3-1.8b
• データセット提供:
  • puwaer/dlsite-jp-v1
  • puwaer/dmm-fanza-jp-v1
• 作成方法詳細: 特化型llm(Doujinshi-1.8b)の開発報告書①:開発の全体像
• 使用コード: github/puwaer

開発支援のお願い

現在、開発を続けていますが、クラウドGPUの価格が高く、十分な計算リソースを確保できずにいます。そのため、思い通りに開発が出来ていません。 また、オープンソースの理念を大切にしており、プログラム・データセット・モデルを有料で公開するつもりはありません。そのため、金銭的に余裕のある方に支援していただけると大変助かります。 TwitterのDMやご支援いただける方は、以下のプラットフォームよりお願いいたします。

• Twitter
• Zenn
• github sponsors