Huggingface 核心模块(三): AutoModel

nlp huggingface

transformers 库是 Hugging Face 团队开发的一个非常流行的自然语言处理库，它提供了大量预训练模型，可以用于文本分类、信息抽取、问答系统等多种任务。from_pretrained 是该库中一个非常重要的方法，用于加载预训练模型和其权重。

from_pretrained 方法

from_pretrained 是 transformers 库中一个非常重要的方法，用于加载预训练模型和其权重,这个方法主要接受以下几个参数：

• pretrained_model_name_or_path：预训练模型的名称或者是模型文件的路径。如果是模型的名称，库会自动从 Hugging Face 的模型仓库下载模型和配置文件。如果是文件路径，库会从指定路径加载模型
• cache_dir：指定模型下载后的缓存目录。如果不指定，将使用默认的缓存目录，一般在 ~/.cache/huggingface 目录下
• force_download：是否强制重新下载模型，即使本地已经有缓存的模型。默认为 False。
• resume_download：如果下载过程中断，是否继续之前的下载。默认为 False。
• proxies：用于下载模型的代理设置。
• local_files_only：是否只从本地文件加载模型，不从互联网下载。默认为 False。
• use_auth_token：如果设置为 True 或者是一个字符串，将使用该 token 来进行认证，用于私有模型或者需要权限的模型下载。如果是 True，将使用 HUGGINGFACE_TOKEN 环境变量的值。
• revision：指定模型的版本。默认是"main"，表示最新版本。
• from_tf：是否从 TensorFlow 权重加载模型。默认为 False。
• from_flax：是否从 Flax 权重加载模型。默认为 False。
• config：可以提供一个配置字典来覆盖默认的配置设置。

示例代码

以下是如何使用 from_pretrained 方法加载一个 BERT 模型的示例：

from transformers import BertModel, BertTokenizer

model = BertModel.from_pretrained('bert-base-uncased') # 加载预训练的BERT模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')  # 加载预训练的BERT tokenizer

如果你有一个本地的模型，你可以通过指定路径来加载它：

model = BertModel.from_pretrained('/path/to/my/bert-model')  # 加载本地模型
tokenizer = BertTokenizer.from_pretrained('/path/to/my/bert-model')

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:13 pm