在optimizer 优化器一节中讲解了四个优化器，分别是 GD, SGD, SGDM, Adagrad, RMSProp, Adam，在 P...

本文用最小二乘法来简述 PyTorch 中的梯度下降具体执行过程 之前已经推到过最小二乘法的矩阵求导过程：链接 1. 数学形式 之前虽然知道矩...

本文主要讲解 各种优化器 ，对应的 PyTorch 实现放在下篇 torch.optim 1. GD GD（gradient descent）梯...

1. Linear torch.nn.Linear(in_features, out_features, bias=True) in_feat...

1. shape && size shape 和 size 是在 numpy 中使用的属性/方法 shape：返回矩阵的形状...

PyTorch 并行计算 nn.DataParallel 1.1 官网实例 PyTorch 官网的例子:DATA PARALLELISM Py...

一般我们使用 git 进行上传或者下载时会很慢，连接错误，设置好代理以后就会很快，如果用如下命令需要每次都设置代理，很麻烦 git confi...

1. 求导法则 本文采用矩阵求导中的分母布局，即：分子横向，分母纵向 乘法公式：$\frac{dv^{T}u}{dx} = \frac{du...

1. GAN 基本介绍 GAN 是一个生成网络，他有两个网络 G 和 D Generator：生成图片的网络，他可以接受一个随机噪声，这里我...

1. 正则化 在统计机器学习中，我们常常希望将我们的变量或者权重进行一定的约束，假设我们的模型为 y=ax+b，我们希望对 a 加以限制，一般...