scheduler 学习率设置

原创 python

在炼丹的过程中，学习率的调整是必不可少的，下面给出 scheduler 模块的调学习率的方法，后面会慢慢补充

调整学习率：PyTorch 官方文档

1. CyclicLR

torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=2000, step_size_down=None)

• optimizer: wrapped optimizer
• base_lr: 学习率的最低值
• max_lr：学习率的最大值
• step_size_up: lr 从最小值到最大值所需的步骤（即半个循环）
• step_size_down: lr 从最大值到最小值所需的步骤（即半个循环）

2. CosineAnnealingLR

torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1, verbose=False)

• optimizer: wrapped optimizer
• T_max: 最大迭代次数（就是学习率降到最小值的迭代次数）
• eta_min：学习率的最小值，默认为 0
• last_epoch:
• verbose：如果为 True，每次更新 lr 的时候都会打印出来

学习率会随着 epoch 成周期性的变化，例如最大迭代次数为 100，一共有 300 个 epoch，那么前 100 个 epoch 学习率从 0.0009 降到 0，然后 100-200 个周期从 0 又升到 0.0009，200-300 个 epoch 从 0.0009 降到 0

更新公式：

$$
\eta_{t} = \eta_{min} + \frac{1}{2}(\eta_{max}-\eta_{min})(1+cos(\frac{T_{cur}}{T_{max}}\pi))
$$

import torch.optim as optim
from torch.optim import lr_scheduler
from torchvision.models import AlexNet
import matplotlib.pyplot as plt


def plot(lr_list):
    f = plt.figure()

    plt.plot(lr_list)
    plt.show()


epochs = 50
model = AlexNet()
optimizer = optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-5)
scheduler = lr_scheduler.CosineAnnealingLR(optimizer, epochs, eta_min=1e-4, last_epoch=-1)
# scheduler = lr_scheduler.CosineAnnealingLR(optimizer, epochs - 10, eta_min=1e-4, last_epoch=-1)

# this zero gradient update is needed to avoid a warning message, issue #8.
optimizer.zero_grad()

lr_list = list()
for epoch in range(epochs*3):
    optimizer.step()
    scheduler.step()

    print('{} - {}'.format(epoch, scheduler.get_last_lr()))
    lr_list.append(scheduler.get_last_lr()[0])

plot(lr_list)

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:13 pm