8.4 KiB
Auto 클래스auto-classes
많은 경우, 사용하려는 아키텍처는 from_pretrained() 메소드에서 제공하는 사전 훈련된 모델의 이름이나 경로로부터 유추할 수 있습니다. AutoClasses는 이 작업을 위해 존재하며, 사전 학습된 모델 가중치/구성/단어사전에 대한 이름/경로를 제공하면 자동으로 관련 모델을 가져오도록 도와줍니다.
[AutoConfig], [AutoModel], [AutoTokenizer] 중 하나를 인스턴스화하면 해당 아키텍처의 클래스를 직접 생성합니다. 예를 들어,
model = AutoModel.from_pretrained("google-bert/bert-base-cased")
위 코드는 [BertModel]의 인스턴스인 모델을 생성합니다.
각 작업에 대해 하나의 AutoModel 클래스가 있으며, 각각의 백엔드(PyTorch, TensorFlow 또는 Flax)에 해당하는 클래스가 존재합니다.
자동 클래스 확장extending-the-auto-classes
각 자동 클래스는 사용자의 커스텀 클래스로 확장될 수 있는 메소드를 가지고 있습니다. 예를 들어, NewModel이라는 커스텀 모델 클래스를 정의했다면, NewModelConfig를 준비한 후 다음과 같이 자동 클래스에 추가할 수 있습니다:
from transformers import AutoConfig, AutoModel
AutoConfig.register("new-model", NewModelConfig)
AutoModel.register(NewModelConfig, NewModel)
이후에는 일반적으로 자동 클래스를 사용하는 것처럼 사용할 수 있습니다!
만약 NewModelConfig가 [~transformers.PretrainedConfig]의 서브클래스라면, 해당 model_type 속성이 등록할 때 사용하는 키(여기서는 "new-model")와 동일하게 설정되어 있는지 확인하세요.
마찬가지로, NewModel이 [PreTrainedModel]의 서브클래스라면, 해당 config_class 속성이 등록할 때 사용하는 클래스(여기서는 NewModelConfig)와 동일하게 설정되어 있는지 확인하세요.
AutoConfigtransformers.AutoConfig
autodoc AutoConfig
AutoTokenizertransformers.AutoTokenizer
autodoc AutoTokenizer
AutoFeatureExtractortransformers.AutoFeatureExtractor
autodoc AutoFeatureExtractor
AutoImageProcessortransformers.AutoImageProcessor
autodoc AutoImageProcessor
AutoProcessortransformers.AutoProcessor
autodoc AutoProcessor
일반적인 모델 클래스generic-model-classes
다음 자동 클래스들은 특정 헤드 없이 기본 모델 클래스를 인스턴스화하는 데 사용할 수 있습니다.
AutoModeltransformers.AutoModel
autodoc AutoModel
일반적인 사전 학습 클래스generic-pretraining-classes
다음 자동 클래스들은 사전 훈련 헤드가 포함된 모델을 인스턴스화하는 데 사용할 수 있습니다.
AutoModelForPreTrainingtransformers.AutoModelForPreTraining
autodoc AutoModelForPreTraining
자연어 처리natural-language-processing
다음 자동 클래스들은 아래의 자연어 처리 작업에 사용할 수 있습니다.
AutoModelForCausalLMtransformers.AutoModelForCausalLM
autodoc AutoModelForCausalLM
AutoModelForMaskedLMtransformers.AutoModelForMaskedLM
autodoc AutoModelForMaskedLM
AutoModelForMaskGenerationtransformers.AutoModelForMaskGeneration
autodoc AutoModelForMaskGeneration
AutoModelForSeq2SeqLMtransformers.AutoModelForSeq2SeqLM
autodoc AutoModelForSeq2SeqLM
AutoModelForSequenceClassificationtransformers.AutoModelForSequenceClassification
autodoc AutoModelForSequenceClassification
AutoModelForMultipleChoicetransformers.AutoModelForMultipleChoice
autodoc AutoModelForMultipleChoice
AutoModelForNextSentencePredictiontransformers.AutoModelForNextSentencePrediction
autodoc AutoModelForNextSentencePrediction
AutoModelForTokenClassificationtransformers.AutoModelForTokenClassification
autodoc AutoModelForTokenClassification
AutoModelForQuestionAnsweringtransformers.AutoModelForQuestionAnswering
autodoc AutoModelForQuestionAnswering
AutoModelForTextEncodingtransformers.AutoModelForTextEncoding
autodoc AutoModelForTextEncoding
컴퓨터 비전computer-vision
다음 자동 클래스들은 아래의 컴퓨터 비전 작업에 사용할 수 있습니다.
AutoModelForDepthEstimationtransformers.AutoModelForDepthEstimation
autodoc AutoModelForDepthEstimation
AutoModelForImageClassificationtransformers.AutoModelForImageClassification
autodoc AutoModelForImageClassification
AutoModelForVideoClassificationtransformers.AutoModelForVideoClassification
autodoc AutoModelForVideoClassification
AutoModelForKeypointDetectiontransformers.AutoModelForKeypointDetection
autodoc AutoModelForKeypointDetection
AutoModelForMaskedImageModelingtransformers.AutoModelForMaskedImageModeling
autodoc AutoModelForMaskedImageModeling
AutoModelForObjectDetectiontransformers.AutoModelForObjectDetection
autodoc AutoModelForObjectDetection
AutoModelForImageSegmentationtransformers.AutoModelForImageSegmentation
autodoc AutoModelForImageSegmentation
AutoModelForImageToImagetransformers.AutoModelForImageToImage
autodoc AutoModelForImageToImage
AutoModelForSemanticSegmentationtransformers.AutoModelForSemanticSegmentation
autodoc AutoModelForSemanticSegmentation
AutoModelForInstanceSegmentationtransformers.AutoModelForInstanceSegmentation
autodoc AutoModelForInstanceSegmentation
AutoModelForUniversalSegmentationtransformers.AutoModelForUniversalSegmentation
autodoc AutoModelForUniversalSegmentation
AutoModelForZeroShotImageClassificationtransformers.AutoModelForZeroShotImageClassification
autodoc AutoModelForZeroShotImageClassification
AutoModelForZeroShotObjectDetectiontransformers.AutoModelForZeroShotObjectDetection
autodoc AutoModelForZeroShotObjectDetection
오디오audio
다음 자동 클래스들은 아래의 오디오 작업에 사용할 수 있습니다.
AutoModelForAudioClassificationtransformers.AutoModelForAudioClassification
autodoc AutoModelForAudioClassification
AutoModelForAudioFrameClassificationtransformers.AutoModelForAudioFrameClassification
autodoc AutoModelForAudioFrameClassification
AutoModelForCTCtransformers.AutoModelForCTC
autodoc AutoModelForCTC
AutoModelForSpeechSeq2Seqtransformers.AutoModelForSpeechSeq2Seq
autodoc AutoModelForSpeechSeq2Seq
AutoModelForAudioXVectortransformers.AutoModelForAudioXVector
autodoc AutoModelForAudioXVector
AutoModelForTextToSpectrogramtransformers.AutoModelForTextToSpectrogram
autodoc AutoModelForTextToSpectrogram
AutoModelForTextToWaveformtransformers.AutoModelForTextToWaveform
autodoc AutoModelForTextToWaveform
멀티모달multimodal
다음 자동 클래스들은 아래의 멀티모달 작업에 사용할 수 있습니다.
AutoModelForTableQuestionAnsweringtransformers.AutoModelForTableQuestionAnswering
autodoc AutoModelForTableQuestionAnswering
AutoModelForDocumentQuestionAnsweringtransformers.AutoModelForDocumentQuestionAnswering
autodoc AutoModelForDocumentQuestionAnswering
AutoModelForVisualQuestionAnsweringtransformers.AutoModelForVisualQuestionAnswering
autodoc AutoModelForVisualQuestionAnswering
AutoModelForVision2Seqtransformers.AutoModelForVision2Seq
autodoc AutoModelForVision2Seq
Time Series
AutoModelForTimeSeriesPredictiontransformers.AutoModelForTimeSeriesPrediction
autodoc AutoModelForTimeSeriesPrediction