in-place operation

python pytorch 计算机视觉

1. In-place Operation

In-place operation 在 pytorch 中指的是支持原位修改 tensor，这样就可以避免新的内存开销，主要是为了降低显存的消耗

但是在 pytorch 反向传播得到计算图的时候需要获取中间变量的值，如果使用 in-place 操作以后中间值就失去了，无法获得计算图，但是为什么有的激活函数写的 in-place 操作呢？

以 ReLU 函数为例，当输入值为正值时不变 in-place 与否不影响结果；当输入为负值时为 0 不进行反向传播了所以不影响

2. 常见的 In-place 操作

1. 符号计算

*= += 等操作

在 pytorch 中尽量避免

tensor = torch.tensor([[1,2,3], [4,5,6]])
print(tensor.data_ptr())
tensor += 2
print(tensor.data_ptr())
tensor = tensor+2
print(tensor.data_ptr())
'''
140430616339712
140430616339712	# in-place
140430616321664 # out-of-place
'''

（继续补充）

3. 常见的 Out-of-place 操作

1. 符号计算

a=a+b 等，参考 In-place 操作

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:13 pm