1. 更换主题 配置完 hexo 之后，我们可以自由更换主题，有很多主题的选择，官网主题，本博客使用的是hexo-theme-pure主题 安装...

1. BLIP-2 代码解析 BLIP-2: Bootstrapping Language-Image Pre-training with Fr...

1. snapshot_download 用于从 HuggingFace下载整个 repository 的快照。可以使用这个函数下载一个 rep...

1. peft 库安装 本文参考huggingface 微调，peft 库是一个高效微调 LLM 的库，与 Transformers 和 Acc...

1. deepspeed 的基本用法 1.1 deepspeed 安装 deepspeed 的安装非常简单，只需要运行以下命令即可 pip in...

1. .bashrc 文件的使用 在 linux 中，.bashrc 文件是一个脚本文件，它在用户登录时执行。.bashrc 文件包含一些用户惯...

1. Trainer 快速入门 1.1 基础示例 让我们通过一个简单的文本分类示例来了解 Trainer 的基本用法： from dataset...

transformers 库是 Hugging Face 团队开发的一个非常流行的自然语言处理库，它提供了大量预训练模型，可以用于文本分类、信息...

Huggingface 中的 datasets 是一个非常重要的类，他可以帮助我们快速地加载数据集，同时还可以对数据集进行处理，包括数据集的划分...

本文的内容和核心代码参考Huggingface Tokenizer 1. Tokenizer 的基本方法 Tokenizer（标记器）是 NLP...