跳转至

将微调后的模型发布至 Hugging Face

发布微调后的 BERT 模型到 Hugging Face 模型库是一个很好的方式，可以让社区成员共享和使用你的工作。本文介绍了如何准备和发布你的模型到 Hugging Face。

image-20240223110029966

save_pretrained

使用以下代码将微调后的模型保存到本地：

Python
# 假设 model 是你微调后的模型，tokenizer 是对应的 tokenizer
model.save_pretrained("your_model_directory")
tokenizer.save_pretrained("your_model_directory")

model.save_pretrained('your_model_directory') 会生成

Text Only
config.json
model.safetensors

safetensors 是 Hugging Face 推出的一种新的模型存储格式。如果想得到传统的 pytorch_model.bin 文件，可以参考https://github.com/huggingface/transformers/issues/28863，使用

Python
model.save_pretrained("your_model_directory", safe_serialization=False)

tokenizer.save_pretrained('your_model_directory') 会生成

Text Only
tokenizer_config.json
special_tokens_map.json
vocab.txt
tokenizer.json

最终得到：

image-20240223105622904

生成适用于多个框架的模型文件

如果需要使 PyTorch 模型文件也能被 TensorFlow 使用，可以参考 https://huggingface.co/docs/transformers/v4.15.0/model_sharing#make-your-model-work-on-all-frameworks

在 Hugging Face 新建 Model

最后，在 https://huggingface.co/new 上新建 Model，再点击 Add File 即可将文件拖拽上传。

image-20240223110029966

这样以后，所有人都能通过下面的代码导入该模型：

Python
# Load model directly
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("JeremyFeng/machine-generated-text-detection")
model = AutoModelForSequenceClassification.from_pretrained(
    "JeremyFeng/machine-generated-text-detection"
)

评论