1. 具体定义 从其他的文章中我们可以了解到极大似然估计和最大后验概率估计的公式,这里不做介绍直接给出 极大似然估计 MLE:\(P(D|\...

1. add_param_group() add_param_group() 此函数是向 optimizer 中添加优化参数 param 参...

Oct 12, 2021

在optimizer 优化器一节中讲解了四个优化器,分别是 GD, SGD, SGDM, Adagrad, RMSProp, Adam,在 P...

Oct 12, 2021

本文用最小二乘法来简述 PyTorch 中的梯度下降具体执行过程 之前已经推到过最小二乘法的矩阵求导过程:链接 1. 数学形式 之前虽然知道矩...

本文主要讲解 各种优化器 ,对应的 PyTorch 实现放在下篇 torch.optim 1. GD GD(gradient descent)梯...

1. Linear torch.nn.Linear(in_features, out_features, bias=True) in_feat...

NumPy 中数组维度、拼接、筛选、排序、随机数和矩阵计算的方法比较多,之前我把这些方法分别记录在了多篇文章中,这里将它们合并到一起,方便后续查...

PyTorch 并行计算 nn.DataParallel 1.1 官网实例 PyTorch 官网的例子:DATA PARALLELISM Py...

Oct 08, 2021

一般我们使用 git 进行上传或者下载时会很慢,连接错误,设置好代理以后就会很快,如果用如下命令需要每次都设置代理,很麻烦 git confi...

1. 求导法则 本文采用矩阵求导中的分母布局,即:分子横向,分母纵向 乘法公式:\(\frac{dv^{T}u}{dx} = \frac{d...

1. GAN 基本介绍 GAN 是一个生成网络,他有两个网络 G 和 D Generator:生成图片的网络,他可以接受一个随机噪声,这里我...

1. 正则化 在统计机器学习中,我们常常希望将我们的变量或者权重进行一定的约束,假设我们的模型为 y=ax+b,我们希望对 a 加以限制,一般...

Oct 04, 2021